NVIDIA Holoscan 및 RTI Connext를 통해 실현하는 AI 지원 의료 기기의 미래

Reading Time: 5 minutes

실시간 인사이트와 자율 의사 결정에 대한 수요는 산업 전반에 걸쳐 증가하고 있으며 헬스케어 및 의료 기기도 예외는 아닙니다. 실시간 엣지 AI를 활용하는 차세대 헬스케어는 더욱 정밀한 치료를 제공하고, 환자의 치료 결과를 개선하며, 운영 효율성을 높일 것을 약속합니다.

예를 들어, 미래의 수술실은 상호 연결된 AI를 지원 장치를 점점 더 많이 통합하여 전체적인 환자 데이터, 수술 인사이트, 결정 및 조치를 실시간으로 활용하고 교환할 수 있게 될 것입니다.

그러한 미래에 의료 기기 소프트웨어(SaMD)는 엄격한 요구 사항 하에 사용해야 하며, 분산 헬스케어 시스템에 배포되는 동안 엄격한 성능 및 지연 시간 제약에 맞춰 대규모 데이터를 처리해야 합니다. 이를 위해서는 성능이나 지연 시간의 저하 없이 다양한 센서, 디스플레이, 컨트롤 및 애플리케이션 간의 효율적이고 신뢰할 수 있으며 안전한 데이터 연결 및 교환을 보장할 수 있는 상호 운용성이 필요합니다.

이 게시물에서는 NVIDIA Holoscan과 RTI Connext를 통합하여 넓게 연결되어 있고 높은 상호 운용성, 짧은 지연 시간을 갖춘 AI 기반 의료 기기 애플리케이션을 만드는 방법을 보여줍니다. 이러한 통합을 통해 최소한의 오버헤드로 구현 노력과 복잡성을 줄이면서도 이와 같은 이점을 달성할 수 있습니다.

실시간 AI 센서 처리를 위한 NVIDIA Holoscan

NVIDIA Holoscan은 센서 데이터 수신부터 가속 컴퓨팅 및 AI 추론, 실시간 시각화, 작동 및 데이터 스트림 송신에 이르기까지 엔드 투 엔드 실시간 AI 센서 처리 파이프라인을 구축하기 위한 단일 프로덕션 지원 프레임워크를 개발자에게 제공합니다.

이 포괄적인 솔루션은 다양한 엣지 AI 개발 문제를 효과적으로 해결합니다. Holoscan은 하위 언어 고성능 인프라에서 개발 복잡성을 일반화하고 시장 출시 기간을 단축하며 Python 및 C++ 코딩의 편의성을 제공하는 동시에 최적의 애플리케이션 성능을 보장합니다. 간단히 말해서 Holoscan은 고속 I/O를 GPU에 확장 가능한 모듈식, 소프트웨어 정의 및 GPU 중심 방식으로 연결하기 위한 프레임워크입니다.

*그림 1. NVIDIA Holoscan은 의료 기기 등을 위한 실시간 AI를 지원합니다.*

실시간 데이터 중심 연결을 위한 RTI Connext

데이터 배포 서비스(DDS) 표준을 기반으로 하는 RTI Connext는 분산된 실시간 소프트웨어 통신 프레임워크를 통해 복잡하고 확장 가능한 시스템 전반에서 연결을 간소화합니다. Holoscan 애플리케이션은 Connext를 통해 오버헤드가 거의 없이 분산된 데이터 소스 및 애플리케이션과 통합할 수 있는 동시에 그러한 헬스케어 시스템에 필요한 성능, 안정성 및 보안을 확보하는 데 드는 구현 노력과 복잡성을 최소화할 수 있습니다.

Connext는 복잡한 시스템 구성 요소 사이에 실시간으로 정보를 교환하는 동시에 엄격한 안정성, 사이버 보안 및 성능 요구 사항을 지원합니다. Connext는 중복된 내결함성 아키텍처에서 짧은 지연 시간으로 대량의 실시간 데이터를 처리, 분석하고 조치를 취할 수 있는 프레임워크를 제공합니다. Connext에 구축된 의료 시스템은 단일 실패 지점 없이 탄력성이 있고, 자체적으로 형성되며, 자체 회복됩니다.

광범위한 서비스 품질 조정 옵션은 분산된 지능형 수술 시스템에서 실시간 비디오 및 상관 데이터에 대한 요구를 충족하는 데 도움이 됩니다. 또한 Connext에는 큰 대역폭 오버헤드를 추가하지 않고도 사용할 수 있는 자동 검색 및 보안과 같은 기능이 포함되어 있습니다. 입증된 DDS 보안 표준을 기반으로 하는 내장형 보안은 인증 및 암호화뿐 아니라 보안 로깅 및 세분화된 액세스 제어를 위한 기반도 제공합니다. 이를 통해 중요한 시스템을 보안 위협으로부터 안전하게 보호하고 FDA와 같은 규제 기관에서 시행하는 사이버 보안 요구 사항을 충족합니다.

*그림 2. RTI Connext 데이터 중심 연결을 통해 가장 중요한 자산인 데이터 흐름을 중심으로 시스템을 설계할 수 있습니다*

NVIDIA Holoscan과 RTI Connext의 통합

오늘날의 헬스케어 시스템은 원래 AI 기능을 염두에 두고 설계되지 않았으며 현재 NVIDIA Holoscan이 기본적으로 지원되지 않는 수많은 기존 시스템에 기반하고 있습니다. 또한, 오늘날의 헬스케어 시스템 및 의료 기기에는 센서, 액추에이터, 제어 시스템 및 인터페이스 간의 복잡한 연결이 필요합니다.

Connext와 Holoscan을 통합하면 Holoscan 개발자는 기존 레거시 설치 기반을 AI 지원 및 SW 정의 디바이스로 변환할 수 있습니다. Holoscan이 기본적으로 지원되지 않는 디바이스에 사이드카(컴패니언 컴퓨팅 모듈)로 Holoscan을 통합하면 됩니다.

예를 들어, 현재 기존 의료 기기는 대부분 Windows 기반이며(특히 메디컬 이미징 분야의 경우) 이러한 시스템에서는 Holoscan이 기본적으로 지원되지 않습니다. 두 번째 예로, Holoscan을 사이드카로 사용하면 NVIDIA 기반이 아닌 시스템에서 실시간 운영 체제(RTOS)를 실행하는 로봇 수술 시스템에 고급 AI 기능을 도입할 수 있습니다. 세 번째 예는 ‌환자 모니터링과 같은 저가형 센서 의료 기기로, 이 경우 레거시 시스템을 구성하는 하드웨어나 소프트웨어로 인해 새로운 기능의 추가가 제한되는 와중에도 강력한 AI 알고리즘으로 장치를 증강할 수 있습니다.

RTI Connext DDS를 통한 Holoscan DDS 상호 운용성은 이러한 세 가지 예 모두에 대한 솔루션을 제공하여 실시간으로 레거시 시스템과 원활하게 통신하는 확장형 AI 기반 Holoscan 사이드카를 제공합니다.

Holoscan은 GPU 가속 SaMD(Software as a Medical Device)를 위한 탁월한 인프라를 제공하여 차세대 헬스케어 시스템 내에서 AI 기반 워크플로우의 혁신과 배포를 지원합니다. 이러한 워크플로우는 일반적으로 매우 엄격한 지연 시간 제한을 준수하며 대규모 데이터에서 작동해야 합니다. 따라서 데이터가 효율적이고 신뢰할 수 있으며 안전한 방식으로 다양한 센서, 디스플레이, 컨트롤 및 Holoscan 애플리케이션 간에 전달될 수 있어야 합니다.

Holoscan 애플리케이션은 RTI Connext를 사용하여 오버헤드가 거의 없이 분산된 헬스케어 시스템과 통합하는 동시에 그러한 시스템에 필요한 성능, 안정성, 보안을 확보하는 데 따르는 구현 노력과 복잡성을 최소화할 수 있습니다. Connext가 이미 사용되고 있는 경우에는 기존 시스템을 수정하지 않고도 새로운 Holoscan 기반 AI 워크플로우를 도입할 수 있습니다.

RTI Connext 통합을 통한 예시 Holoscan 애플리케이션

이 섹션에서는 예제 사용 사례를 제공합니다. 특히 사이드카 역할을 하는 전용 시스템에서 실행 중인 Holoscan 애플리케이션을 보여줍니다. 이 애플리케이션은 RTI Connext를 사용하여 DDS 데이터버스에서 프레임을 읽고, Holoscan 워크플로우 내에서 프레임 데이터를 처리한 다음, Connext를 통해 결과를 다시 게시하여 처리된 프레임 데이터를 다른 디바이스에서 읽어서 표시할 수 있도록 합니다.

이 예에서는 여러 센서가 데이터를 캡처한 집계해서 다음 별도의 모니터링 시스템에 표시하는 헬스케어 시스템의 일반적인 시나리오를 개선합니다. 이 데이터 흐름의 중간에 AI 기반 Holoscan 워크플로우를 추가하면 기존 구성 요소를 거의 수정하지 않아도 되는 경우가 많습니다. 센서 획득 및 디스플레이 출력 역시 Holoscan을 기본적으로 지원하지 않는 시스템을 사용하여 수행되는 경우가 많습니다. Connext는 이러한 격차를 해소하는 데 도움이 됩니다.

이 예시의 핵심 구성 요소는 GitHub의 nvidia-holoscan/holohub를 통해 제공되는 Holoscan DDS 영상 스트리밍 연산자입니다. 이러한 연산자를 통해 Holoscan 애플리케이션은 DDS 데이터버스에서 실시간으로 영상 프레임을 읽고 쓸 수 있습니다. 이러한 연산자를 활용하면 Holoscan 애플리케이션은 데이터버스에서 영상 프레임(워크플로우 처리의 소스로 사용됨)을 읽고 처리된 결과를 (다른 구성 요소에서 사용하기 위해) 다시 데이터버스에 쓸 수 있습니다.

또한 다음의 새로운 애플리케이션 지원은 사이드카 사용 사례를 단독 예시로도 보여줍니다.

dds_video 애플리케이션은 영상 프레임을 DDS 데이터버스에 쓰거나(USB 카메라와 같은 V4L2 영상 디바이스에서 캡처) DDS에서 프레임을 읽고 Holoscan 시각화 모듈인 Holoviz를 통해 디스플레이에 렌더링하는 데 사용할 수 있습니다.
입력 영상 프레임이 DDS 데이터버스에서 시작되고 신체 포즈 추정 오버레이를 포함하는 출력 비디오 프레임이 DDS 데이터버스에 다시 게시될 수 있도록 body_Pose_estimation 애플리케이션이 수정되었습니다.

이 두 애플리케이션을 결합하면 다음 세 가지 프로세스를 사용하는 사이드카 데이터 흐름을 시연할 수 있습니다.

dds_video 프로세스는 카메라 센서에서 프레임을 캡처하여 DDS에 게시합니다.
body_pose_estimation 프로세스는 DDS에서 입력 센서 프레임을 수신하여 신체 포즈 추정 모델을 통해 프레임을 처리한 다음 이미지 위에 오버레이된 추론 결과가 있는 프레임을 DDS로 출력합니다.
또 다른 dds_video 프로세스는 처리된 프레임을 수신하고 디스플레이에 렌더링합니다.

그림 3은 이 예시의 설정을 보여줍니다. 세 가지 프로세스 각각은 동일한 DDS 도메인에서 서로를 검색할 수 있는 한 어떤 시스템에서도 실행할 수 있습니다. 멀티캐스트 지원 네트워크를 통한 실행을 예로 들 수 있습니다.

*Holoscan을 사이드카로 사용하여 DDS에 게시된 비디오 프레임을 처리하는 예시 애플리케이션의 데이터 흐름*

이 예시를 로컬에서 실행하려면 먼저 RTI Connext 설정을 위한 종속성 요구 사항에 관한 HoloHub DDS 운영자 문서를 읽어보세요. 애플리케이션을 구축하고 실행하는 방법을 알아보려면 신체 포즈 추정 문서의 DDS 지원 섹션을 참조하세요.

요약

NVIDIA Holoscan을 RTI Connext와 통합하면 의료 기기 업계의 Holoscan 개발자가 AI 향상 시스템 및 디바이스로 전환하여 수많은 이점을 누릴 수 있습니다. 여기에는 최소한의 오버헤드로 분산된 헬스케어 시스템과의 원활한 통합, 고급 AI 알고리즘을 활용한 레거시 시스템의 개선 등이 포함됩니다.

시작하려면 Holoscan 2.0을 다운로드하고 nvidia-holoscan/holohub에서 다음을 포함한 Holoscan 및 DDS 통합 참조 애플리케이션을 확인하세요.

NVIDIA 개발자 Holoscan 포럼을 방문하여 ‌질문하고 정보를 공유하세요.

관련 리소스