헬스케어를 위한 NVIDIA Isaac 기반 AI 로보틱스 개발 가속화

Reading Time: 4 minutes

세계보건기구(WHO)는 2030년까지 외과의, 영상의학과 전문의, 간호사를 포함해 전 세계적으로 1,500만 명 이상의 의료 인력이 부족할 것으로 전망하고 있습니다. 미국의 경우, 2034년까지 최대 12만 4천 명의 의사가 부족할 것으로 예상됩니다. 의료 수요 증가, 고령화, 한정된 인력은 현재 의료 시스템을 한계까지 몰아붙이고 있습니다.

AI 기반 로보틱 시스템은 이러한 위기를 극복할 수 있는 대안으로 주목받고 있습니다. 수술 보조 작업 자동화, 수술실 환경 최적화, 진단 속도 향상, 원격 시술 지원 등 로보틱스 기술은 진료 범위를 넓히고, 의료진의 부담을 줄이며, 특히 의료 소외 지역에서 치료 성과를 개선하는 데 기여하고 있습니다.

현재 FDA 승인을 받은 AI 기반 의료기기는 1,000건 이상, 개발 중인 의료 로보틱 플랫폼은 400건이 넘을 정도로 활발한 혁신 생태계가 조성되고 있습니다. 하지만 실제 임상 환경에 적용하는 데는 여전히 많은 어려움이 따릅니다. 개발자들은 다음과 같은 핵심 과제에 직면해 있습니다.

정밀한 생체역학 시뮬레이션
고급 의료 센서 및 영상 시뮬레이션·에뮬레이션
시뮬레이션-실환경 간 전이(Sim-to-Real Transfer)
로보틱스 데이터 부족, 데이터 획득, 전문가 학습 통합 문제

NVIDIA Isaac for Healthcare란?

NVIDIA Isaac for Healthcare는 AI 기반 의료 로보틱스의 시뮬레이션, 학습, 배포를 가속화하기 위해 설계된 전용 플랫폼입니다. NVIDIA의 강력한 3컴퓨터 아키텍처(three-computer architecture)를 의료 로보틱스에 적용하여, 시뮬레이션부터 실시간 실행까지 전체 개발 스택을 하나의 프레임워크로 통합합니다.

이 플랫폼은 AI 의료 로보틱스 개발에 필요한 도구들을 다음의 다섯 가지 통합 구성 요소를 통해 제공합니다:

시뮬레이션부터 시작

로봇 모델링, 환자 맞춤 해부 구조의 불러오기, RGB/초음파/힘 센서 등 물리 기반 센서 시뮬레이션을 통해, 실제 환자와 상호작용하지 않고도 고품질 합성 학습 데이터를 생성할 수 있습니다. 예를 들어, GPU 가속 기반 초음파 시뮬레이터는 실제 장비와 거의 구분되지 않는 B모드 이미지를 생성할 수 있습니다.

사전 학습된 AI 적용

π0, NVIDIA Isaac GR00T N1 등 의료 작업에 특화된 사전 학습 모델을 활용해 인식 및 제어 기능을 빠르게 시작할 수 있습니다. 이 모델들은 범용 AI가 아닌, 실제 의료 현장 시나리오를 위해 특별히 훈련된 모델입니다.

전체 워크플로우 구축

플랫폼에는 세 가지 레퍼런스 애플리케이션이 포함되어 있어 로보틱 초음파 검사, 수술 하위 작업 자동화, 원격 수술 등 엔드 투 엔드 구현 사례를 제공합니다. 각 예제는 평가 지표를 포함하고 있으며, 특정 활용 사례에 맞게 자유롭게 커스터마이징할 수 있습니다.

학습 데이터 생성

실제 의료 데이터를 확보하기 어려운 상황에서, MAISI 같은 도구는 해부학적으로 정확한 합성 환자를 생성하며, NVIDIA Cosmos는 다양한 수술 시나리오에 대한 절차적 변형 데이터를 생성합니다. 이는 의료 AI 개발에서 가장 큰 장애물인 학습 데이터 부족 문제를 해결합니다.

의료 자산 활용

수술 기구, 해부학 구조, 병원 환경 등의 사전 검증된 3D 모델을 활용해 개발 속도를 높일 수 있습니다. 자산 카탈로그에는 da Vinci 수술 기구부터 환자 해부 구조까지 다양한 시뮬레이션 대응 리소스가 포함되어 있습니다.

주요 도구 소개

자율 워크플로우: 로보틱 초음파 영상 및 수술 작업 자동화를 위한 레퍼런스 파이프라인 제공
초음파 센서 시뮬레이션: AI 학습 및 테스트용으로 물리 기반 B모드 영상을 정밀하게 시뮬레이션
시뮬레이션 대응 자산(Sim-ready assets): dVRK, Franka 등 다양한 로봇과 해부학 모델을 플러그 앤 플레이 방식으로 지원
사전 학습 정책: 초음파 가이드를 위한 π0, 모방 학습 및 강화 학습용 ACT(Action Chunking Transformer) 등 즉시 활용 가능한 모델 포함
원격 수술 워크플로우: GPUDirect 기반 센서 I/O를 활용한 엣지 최적화 저지연 제어 파이프라인
모델 라이브러리 확장: 보다 안정적인 작업 수행을 위한 신규 π0 및 GR00T N1 정책 추가
Cosmos 기반 합성 데이터 전이: 합성 이미지에서 실제 임상 환경으로의 도메인 전이 지원

초기 액세스 프로젝트 주요 사례

수술, 의료 영상, 환자 서비스 등 다양한 분야에서 500명 이상의 개발자가 NVIDIA Isaac for Healthcare 초기 액세스 프로그램에 참여하였습니다. 주요 사례는 다음과 같습니다:

Moon Surgical – 지능형 로봇 위치 조정을 통한 수술실 자동화

Moon Surgical은 수술 준비 단계에서 로봇이 스스로 설정을 수행하도록 가르치며 시스템 수준의 자동화를 선도하고 있습니다. 온보드 카메라와 수술 선호 설정(preference card)에 기반한 AI 정책을 활용해 트로카 위치를 감지하고, 수술 케이스와 외과의의 선호에 맞춰 자동으로 위치를 조정합니다. 테이블 자동 도킹부터 로봇 팔의 이상적인 배치까지 자동화하여 수술실 세팅을 간소화하고, 케이스 간 일관성을 높입니다.

Virtual Incision – MIRA 플랫폼에서 바늘 이관 자동화

Virtual Incision은 소형 복강경 수술 플랫폼 MIRA에서 바늘 이관(needle transfer) 작업을 자동화하여, 전임상 단계에서 수술 하위 작업의 자율화를 시연했습니다. 트랜스포머 기반 모방 학습을 통해 전문가의 동작을 모사하는 AI 정책을 훈련하였으며, 높은 정밀도로 실행해 제한된 공간 내 자율 수술의 가능성을 높였습니다.

Virtuoso Surgical – 동심관 로봇을 활용한 AI 기반 연조직 조작

Virtuoso Surgical은 연조직 수축 및 절개와 같은 섬세한 작업을 수행하도록 AI를 학습시켜, 자사의 유연한 동심관(concentric-tube) 내시경 로봇에 자율성을 부여하고 있습니다. NVIDIA Isaac Sim에서 생성된 내부 변형(strain) 피드백 데이터를 바탕으로, 연조직 환경에서 정밀한 조작이 가능한 정책을 개발하고 있습니다

Sovato – 엣지 최적화 워크플로우 기반 저지연 원격 수술

Sovato는 원격 수술을 위해 지연 시간을 최소화한 워크플로우를 구현하고 있으며, GPU 가속 연산 및 센서 I/O 통합을 엣지 단에서 처리함으로써 성능을 획기적으로 향상시켰습니다. 이를 통해 지리적으로 분산된 환경에서도 고정밀 실시간 로봇 제어가 가능해졌습니다.

시작하기

레포지토리를 클론하고 구축을 시작하세요.

git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
git clone https://github.com/isaac-for-healthcare/i4h-sensor-simulation.git
git clone https://github.com/isaac-for-healthcare/i4h-asset-catalog.git

사용자 자산 통합: 모델 / 환자 / 로봇 / XR

Isaac for Healthcare는 사용자의 기존 자산, 모델, 하드웨어와 함께 작동하도록 설계되었습니다. 이 플랫폼은 성능과 신뢰성을 유지하면서도 맞춤형 구성을 위한 명확한 통합 경로를 제공합니다.

플랫폼은 ONNX, NVIDIA TensorRT, PyTorch(TorchScript), TensorFlow 등 표준 형식의 AI 모델을 지원합니다. 통합은 학습된 모델을 내보내고, 추론을 위한 Holoscan operator를 생성한 다음, 이를 센서 파이프라인에 연결하는 방식으로 이루어집니다. 프레임워크는 최적화 및 하드웨어 가속을 자동으로 처리합니다.

환자 데이터를 직접 활용: CT나 MRI 스캔 등 의료 영상을 3D 모델로 변환하여 시뮬레이션에 활용할 수 있습니다. MONAI의 통합 도구를 사용하면, DICOM, NIFTI, NRRD 형식의 파일과 분할 마스크를 USD 형식으로 변환하여 수술 계획 및 교육에 사용할 수 있습니다. 이 워크플로우에는 메시 생성, 좌표 정렬, 물리 시뮬레이션 통합 과정이 포함됩니다.
로봇을 직접 활용: 맞춤형 수술 로봇을 보유하고 있거나 기존 플랫폼을 수정하려는 경우, 프레임워크는 URDF 가져오기 및 CAD 파일 변환을 지원합니다. 이 과정에는 로봇 설명 파일을 USD 형식으로 변환하고, 운동학 체인을 구성한 뒤 제어 시스템에 통합하는 절차가 포함됩니다. 예를 들어, 그리퍼를 초음파 프로브로 교체하거나 완전히 새로운 로봇 플랫폼을 추가하는 작업이 가능합니다.
XR 기기를 직접 활용: OpenXR을 지원하는 혼합현실 헤드셋을 연결하여 몰입형 원격 조작이 가능합니다. 이 플랫폼은 Apple Vision Pro부터 Meta Quest에 이르기까지 다양한 장치를 표준 OpenXR 인터페이스를 통해 지원합니다. 이를 통해 입체적 시각화와 직관적인 손 추적 제어가 가능하며, 수술 교육 및 원격 시술에 활용할 수 있습니다.

각 BYO 항목에는 i4h-workflows 및 i4h-asset-catalog 저장소에 상세한 튜토리얼과 예제 코드가 포함되어 있어, 사용자 요구에 맞게 플랫폼을 손쉽게 확장할 수 있습니다.

헬스케어를 위한 NVIDIA Isaac 기반 AI 로보틱스 개발 가속화