世界卫生组织预测，到 2030 年，全球将短缺外科医生、放射科医生和护士等 1500 多万医护人员。在美国，到 2034 年，医生缺口可能达到 124000 名。不断增长的需求、人口老龄化以及有限的人力资源正在将医疗健康系统推向崩溃边缘。
AI 机器人系统提供了前进的道路。从自动化手术子任务和优化手术室设置，到加速诊断和实现远程程序，机器人技术正在帮助扩展护理、减轻临床工作人员的负担并改善治疗效果，尤其是在服务水平落后的地区。
1000 多台通过 FDA 认证的 AI 医疗设备和 400 多个医疗机器人平台正在开发中，一个充满活力的创新生态系统正在形成。然而，实际部署仍然困难重重。开发者面临的主要挑战包括：
- 高保真生物力学模拟。
- 先进的医疗传感器和成像仿真以及仿真。
- 仿真到现实的传输。
- 机器人数据鸿沟、数据采集和专家学习集成。
适用于医疗保健行业的 NVIDIA Isaac 是什么？
适用于医疗健康行业的 NVIDIA Isaac 是一个专用平台，可加速 AI 医疗机器人的仿真、训练和部署。它将强大的 NVIDIA 三计算机架构引入医疗机器人，统一了从仿真到实时执行的整个开发堆栈。
该平台通过五个集成组件提供 AI 医疗机器人开发所需的工具：
从仿真开始从机器人建模到导入患者特定的解剖结构和基于物理性质的传感器 (例如 RGB、超声波、力) 仿真，开发者无需与患者互动即可生成高质量的合成训练数据。例如，GPU 加速的超声波模拟器生成的 B 模式图像与真实设备几乎别无二致。
应用预训练的 AID 领域特定模型，例如后训练的 0 和 NVIDIA Isaac GR00T N1，这些模型为感知和控制提供了起点。这些模型并非通用模型，而是专门针对医疗任务进行训练的。
构建完整的工作流程演示端到端实施的三个参考应用：机器人超声波扫描、手术子任务自动化和远程远程手术。每项指标均包含评估指标，并可针对您的特定用例进行定制。
生成训练数据当真实数据稀缺时，MAISI 等工具可以创建符合解剖学的合成患者，而 NVIDIA Cosmos 则可以为手术场景生成程序变化。这解决了在医疗健康领域训练数据可用性的基本挑战。
利用医疗资产预先验证的手术设备、解剖结构和医院环境 3D 模型加速开发。资产目录包括从达芬奇仪器到患者解剖学的所有内容，所有这些内容都可模拟。
特色工具包括：
- 自主工作流程：用于机器人超声成像和手术任务自动化的参考流程。
- 超声波传感器仿真：物理级准确的 B 模式图像仿真，用于 AI 训练和测试。
- Sim – Ready 资产：即插即用的解剖模型和机器人支持 (例如 dVRK、Franka 等正在进行中的模型) 。
- 预训练策略：用于超声波引导的即用型 0，以及动作分块转换器 (ACT) 等模仿和强化学习基准。
- 远程手术工作流程：采用 GPUDirect 传感器 I/ O 的边缘优化低延迟控制流程。
- 扩展的模型库：新的 0 和 GR00T N1 策略可实现更稳健的任务执行
- 用于合成数据生成的 Cosmos 迁移：适用于临床成像环境的合成到现实领域的适应性
抢先体验项目亮点：
超过 500 名开发者加入了抢先体验计划，涵盖从手术和成像到患者服务的用例。亮点包括：
Moon Surgical：使用智能机器人定位实现自动化或设置
Moon Surgical 是系统级自动化的先驱，通过教其机器人自主配置自己进行手术。该系统使用机载摄像头和偏好卡驱动的 AI 策略，可检测穿刺器的位置，并根据手术病例和外科医生的偏好优化其设置。从工作台自动对接到以理想配置部署机械臂，此工作流程简化了手术室设置，并提高了各个病例的一致性。
虚拟切口 (Virtual Incision) ：在 MIRA 平台上自动进行针头移植
Virtual Incision 在其微型腹腔镜平台 MIRA 上展示了通过自动执行转针任务实现的临床前手术子任务自动化。借助基于 Transformer 的模仿学习，他们训练了一种 AI 策略，该策略可以模仿专家动作并以高精度执行，从而使我们在受限的手术环境中更接近可扩展的自主性。
Virtuoso Surgical：使用同心管内窥镜机器人进行 AI 驱动的组织处理
Virtuoso Surgical 通过训练 AI 处理组织收缩和切割等棘手任务，为其可变形体同心管机器人带来自主性。使用来自 NVIDIA Isaac Sim 中模拟数据的内部压力反馈，开发在软组织环境中实现精确操作的策略
Sovato：具有边缘优化工作流的低延迟远程机器人
Sovato 正在通过实施专为远程手术定制的延迟优化工作流程来推进远程机器人手术。通过在边缘使用 GPU 加速计算和传感器 I/ O 集成，他们实现了显著的性能提升，将高精度、实时的机器人控制引入到分布在各地的操作环境中。
开始使用
克隆存储库并开始构建：
git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
git clone https://github.com/isaac-for-healthcare/i4h-sensor-simulation.git
git clone https://github.com/isaac-for-healthcare/i4h-asset-catalog.git
自带模型/ 患者/ 机器人/ XR
Isaac for Healthcare 旨在与您现有的资产、模型和硬件配合使用。该平台为定制提供了清晰的集成路径，同时保持了性能和可靠性。
该平台支持标准格式的 AI 模型，包括 ONNX、NVIDIA TensorRT、PyTorch (TorchScript) 和 TensorFlow。集成包括导出经过训练的模型、创建用于推理的 Holoscan 运算符，以及将其连接到传感器工作流。该框架可自动处理优化和硬件加速。
- 将您自己的患者带入医院：将您的医学成像数据 ( CT/ MRI 扫描) 转换为 3D 模型以进行模拟。借助 MONAI 的集成工具，您可以将带有分割遮罩的 DICOM、NIFTI 或 NRRD 文件转换为 USD 格式，以便在手术规划和训练中使用。该工作流包括网格生成、坐标对齐以及与物理模拟的集成。
- 自带机器人：无论您是拥有定制的手术机器人，还是想修改现有平台，该框架都支持 URDF 导入和 CAD 文件转换。该过程包括将机器人描述转换为 USD 格式、设置运动学链以及与控制系统集成。例如更换终端执行器 (例如将机械手替换为超声波探头) 或添加全新的机器人平台。
- 自带 XR 设备：连接任何兼容 OpenXR 的混合现实头显设备，实现沉浸式远程操作。该平台通过标准 OpenXR 接口支持从 Apple Vision Pro 到 Meta Quest 的设备。这可为手术训练和远程手术实现立体可视化和直观的手部追踪控制。
每个 BYO 路径都包含 i4h-workflows 和 i4h 资产目录资源库中的详细教程和示例代码，因此您可以根据自己的特定要求轻松扩展平台。
了解详情
