수술실에서 수술 영상 스트림의 지연 시간과 안정성은 환자 결과에 큰 영향을 미칠 수 있습니다. 차세대 AI 애플리케이션을 지원하는 센서 입력의 초고속 프레임 레이트는 외과의에게 새로운 수준의 실시간 인식과 제어 기능을 제공할 수 있습니다.
수술 내비게이션, 내시경과 같은 이미지 유도 개입, 의료 로보틱스와 같은 사용 사례를 위해 의료 기기에 실시간 AI 기능을 구축하려면 개발자는 여러 채널에서 결합된 센서 데이터를 저지연으로 처리할 수 있는 파이프라인이 필요합니다.
GTC 2022에서 발표된 것과 같이 NVIDIA Clara Holoscan SDK v0.3은 이제 Emergent Vision Technologies의 고속 이더넷 지원 카메라를 사용하여 4K 비디오에 240Hz의 초고속 프레임 레이트를 제공합니다.
이를 통해 개발자는 더 많은 센서의 데이터를 결합하고 수술 지침을 제공할 수 있는 AI 애플리케이션을 구축할 수 있습니다. 고속 이더넷 연결 센서를 사용하여 데이터를 더 빠르게 전송함에 따라 개발자는 가속화된 AI 파이프라인을 구축할 수 있는 도구를 훨씬 더 많이 갖게 됩니다.
프론트 엔드 센서의 실시간 AI 처리
NVIDIA Clara Holoscan은 CPU를 우회하는 GPUDirect RDMA로 ConnectX SmartNIC 및 NVIDIA Rivermax SDK를 통해 고속 센서 입력을 가능하게 합니다. 이를 통해 고속 이더넷을 사용하여 센서에 있는 데이터를 AI 컴퓨팅 시스템으로 출력할 수 있습니다. 그 결과 엣지 AI는 압도적인 성능을 발휘하게 됩니다.
이 기능을 시연하기 위해 NVIDIA Clara Holoscan은 Emergent Vision Technologies의 고속 이더넷 지원 카메라와 통합되었습니다.
기존의 GStreamer 및 OpenGL 기반 내시경 검사 파이프라인은 1,080p 60Hz 스트림에서 엔드 투 엔드 220ms만큼 지연되지만, Clara Holoscan을 사용한 고속 파이프라인은 4K 240Hz 스트림에서 엔드 투 엔드 지연 시간이 단 10ms밖에 걸리지 않습니다.
팀은 NVIDIA IGX Orin 개발자 키트에서 50ms 미만의 4K 60Hz로 데이터를 스트리밍하여 15개의 동시 AI 영상 스트림과 30개의 동시 모델을 실행할 수 있습니다.
NVIDIA Rivermax SDK
NVIDIA Clara Holoscan에 포함된 NVIDIA Rivermax SDK를 통해 GPU와 직접 데이터를 주고받을 수 있습니다. 호스트 메모리를 우회하고 ConnectX SmartNIC의 오프로드 기능을 사용하여 스트리밍 워크로드 활용률을 최소화하면서 동급 최고의 처리량 및 지연 시간을 제공합니다. NVIDIA Clara Holoscan은 Rivermax 기능을 활용하여 고대역폭 네트워크 센서를 위한 확장 가능한 연결성을 제공하고 매우 빠른 데이터 전송을 지원합니다.
NVIDIA G-SYNC
NVIDIA G-SYNC는 디스플레이 주사율을 GPU에 동기화하여 화면 깨짐 현상을 없애고 왜곡 현상과 입력 지연 현상을 최소화함으로써 높은 디스플레이 성능을 구현합니다. 그 결과, AI 추론은 지연 시간이 거의 없이 표시될 수 있습니다.
NVIDIA Clara HoloViz
Clara HoloViz는 데이터를 시각화하는 Holoscan의 모듈입니다. Clara HoloViz는 분할 마스크 레이어, 지오메트리 레이어, GUI 레이어와 같은 서로 다른 레이어와 프레임의 실시간 스트림을 합성합니다.
최대 성능을 위해 Clara HoloViz는 이미 NVIDIA 드라이버의 일부로 설치된 Vulkan을 사용합니다.
Clara HoloViz는 API에 즉각적 모드 디자인 패턴의 개념을 사용합니다. 애플리케이션에서 개체를 생성하고 저장하지 않습니다. 이에 따라 Holoscan 애플리케이션에서 시각화를 신속하게 구축하고 변경할 수 있습니다.
개발 경험 개선
NVIDIA Clara Holoscan SDK v0.3 릴리스는 개발 환경을 크게 개선했습니다. 첫째, GXF 확장 생성을 위한 새로운 C++ API 추가는 개발자가 원하는 애플리케이션을 구축할 수 있는 추가 경로를 제공합니다. 둘째, x86 프로세서에 대한 지원을 통해 개발자는 AI 애플리케이션 개발을 빠르게 시작한 후 IGX 개발 키트에 쉽게 배포할 수 있습니다. 셋째, 이 최신 버전에서는 BYOM(Bring Your Own Model) 지원이 강화되었습니다.
Holoscan C++ API
Holoscan C++ API는 YAML 파일을 작성할 필요 없이 GXF 워크플로우를 작성하는 새롭고 편리한 방법을 제공합니다. Holoscan C++ API를 사용하면 애플리케이션을 생성하는 데 더욱 유연하고 확장 가능한 접근 방식을 사용할 수 있습니다. Holoscan C++ API는 GXF 프레임워크 API의 드롭인 대체품으로 사용하도록 설계되었으며 GXF 구성 요소에 대한 공통 인터페이스를 제공합니다.
애플리케이션: 애플리케이션은 스트리밍 데이터를 획득하고 처리합니다. 애플리케이션은 각 조각이 Holoscan 클러스터의 물리적 노드에서 실행되도록 할당할 수 있는 조각 모음입니다.
조각: 조각은 애플리케이션의 구성 요소입니다. 연산자의 방향성 비순환 그래프(DAG)입니다. 조각은 실행 중에 Holoscan 클러스터의 물리적 노드에 할당될 수 있습니다. 런타임 실행은 조각 간의 통신을 관리합니다. 조각에서 연산자(그래프 노드)는 흐름(그래프 엣지)에 의해 서로 연결됩니다.
연산자: 연산자는 이 프레임워크에서 가장 기본적인 작업 단위입니다. 연산자는 입력 포트에서 스트리밍 데이터를 수신하여 처리하고 출력 포트 중 하나에 게시합니다. GXF의 코드렛은 프레임워크의 연산자로 대체됩니다. 연산자는 GXF 엔티티의 수신기와 송신기를 연산자의 I/O 포트로 캡슐화합니다.
리소스: 연산자가 작업을 수행하는 데 필요한 시스템 메모리 또는 GPU 메모리 풀과 같은 리소스입니다. 리소스는 애플리케이션의 초기화 단계에서 할당됩니다. 이 리소스는 GXF 메모리 할당자의 의미 체계 또는 GXF의 구성 요소 클래스에서 파생된 다른 모든 구성 요소와 일치합니다.
조건: 조건은 연산자를 실행해야 하는지를 결정하기 위해 런타임에 평가할 수 있는 조건자입니다. 이는 GXF 스케줄링 기간 클래스의 의미 체계와 일치합니다.
포트: 두 연산자 간의 상호 작용 지점입니다. 연산자는 입력 포트에서 데이터를 수집하고 출력 포트에서 데이터를 게시합니다. GXF의 수신기, 송신기, MessageRouter는 연산자의 I/O 포트 개념으로 대체됩니다.
실행자: 실행자는 물리적 노드에서 조각의 실행을 관리합니다. 프레임워크는 GXF 스케줄러를 사용하여 애플리케이션을 실행하는 기본 실행자를 제공합니다.
SDK 문서에서 새로운 C++ API에 대한 자세한 정보를 찾을 수 있습니다. 공개 소스 코드 리포지토리에서 새로운 C++ API를 사용하여 내시경 도구를 추적하는 전체 AI 애플리케이션의 예를 확인하세요.
x86 시스템 지원
NVIDIA Clara Holoscan SDK는 다양한 하드웨어 시스템을 염두에 두고 설계되었습니다. NVIDIA IGX DevKit 및 Clara AGX DevKit 외에도 x86 시스템에서 SDK 사용을 지원합니다. 개발자 키트가 없는 연구원과 개발자는 x86 지원을 통해 x86 시스템에서 Holoscan SDK를 사용하여 의료 기기용 AI 애플리케이션을 신속하게 구축할 수 있습니다.
Bring Your Own Model
Holoscan SDK는 자신만의 AI 애플리케이션을 구축하기 위한 타임라인을 바로 시작할 수 있도록 AI 라이브러리와 사전 트레이닝된 AI 모델을 제공합니다. 또한 BYOM(Bring Your Own Model) 지원을 통해 내시경 및 초음파분야의 애플리케이션을 참조할 수 있습니다.
개발자는 SDK의 일부로 제공되는 레퍼런스 애플리케이션에 개발자 모델을 드롭하여 AI 파이프라인을 빠르게 구축할 수 있습니다. 마지막으로 SDK에는 생산 배포를 위해 AI 애플리케이션을 최적화하는 센서 I/O 통합 옵션 및 성능 도구도 포함되어 있습니다.
소프트웨어 스택 업데이트
NVIDIA Clara Holoscan SDK v0.3 릴리스는 또한 NVIDIA JetPack HP1를 Holopack 1.1로 업그레이드하고 Tegra BSP(Board Support Package) 버전 34.1.2를 실행하며 GXF를 버전 2.4.2에서 버전 2.4.3으로 업그레이드합니다.
의료 기기용 AI 구축 시작하기
Clara Holoscan은 AI 모델을 트레이닝하는 것에서부터 AI 애플리케이션 확인 및 검증하여 궁극적으로는 상용 프로덕션에 배포하기까지 AI 개발 및 배포를 간소화하는 데 도움이 됩니다.
최신 개발에 관해 자세히 알아보려면 GTC 2022 세션의 MONAI와 Clara Holoscan을 사용하여 연구에서 임상 생산까지 의료 AI 활용을 시청하세요.
Clara Holoscan SDK 웹 페이지를 방문하여 헬스케어 관련 가속 라이브러리, 사전 트레이닝된 AI 모델, 샘플 애플리케이션, 문서 등에 액세스하여 소프트웨어 정의 의료 기기의 구축을 시작하세요.
NVIDIA LaunchPad가 포함된 무료 핸즈온 랩도 요청하여 Clara Holoscan이 내시경 및 초음파용 AI 파이프라인 개발을 간소화하는 방법을 경험할 수 있습니다.
이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.
