医疗科技的未来是机器人，医院将实现完全自动化，AI 驱动的手术系统、机器人助手和自主患者护理将改变我们所知的医疗保健行业。
构建 AI 驱动的机器人系统带来了一些关键挑战。将数据收集与专家见解相集成就是其中之一。为逼真的解剖结构、传感器和机器人创建详细的生物力学模拟是另一回事。这些仿真对于生成合成数据和训练机器人至关重要。确保从虚拟部署无缝过渡到现实世界部署至关重要，同时在操作期间管理具有超低延迟的高带宽、多模态传感器 AI 也至关重要。
这些限制凸显了对整体框架的需求，包括用于训练高级模型的 AI 计算、用于在高保真虚拟环境中开发和验证机器人行为的模拟计算，以及用于在临床环境中实时执行的运行时计算。
适用于医疗健康领域的 NVIDIA Isaac 是一个 AI 医疗健康机器人开发者框架，可助力医疗健康机器人开发者解决这些挑战。适用于医疗健康领域的 Isaac 是一个特定领域专用的框架，利用 NVIDIA 三计算机系统实现物理 AI。
它包括用于预训练模型和代理式 AI 框架的 MONAI，其中 MAISI 和 Vista-3D 等模型可以生成模拟工作流程所需的解剖合成数据。其次，它包括用于仿真的 NVIDIA Omniverse（NVIDIA Isaac Sim 和 NVIDIA Isaac Lab），使开发者能够引入医疗设备/机器人、传感器和解剖结构，以创建特定领域的物理精准虚拟环境，机器人系统可以在其中安全地学习技能。第三，它包含 NVIDIA Holoscan，用于机器人上部署和实时传感器处理。
该框架提供数字原型设计、硬件在环（HIL）产品开发和测试、用于 AI 训练的合成数据生成、策略训练以及医疗机器人实时部署等功能，涵盖以下领域：
- 手术和介入机器人
- 成像和诊断机器人
- 康复、辅助、服务型机器人
Isaac for Healthcare：助力医疗健康领域的下一波 AI 机器人开发浪潮
Isaac for Healthcare 将数字孪生和物理 AI 的组合功能用于：
- 新一代医疗健康机器人系统、传感器和仪器的数字原型设计 ，使用 GPU、DPU 和 Jetson 等技术。
- 使用高保真仿真环境生成的真实合成数据训练 AI 模型。
- 使用硬件在环 (HIL) 在数字孪生环境中评估 AI 模型。
- 通过在数字孪生中启用 XR 和/或触觉反馈支持的机器人系统远程操作， 通过模仿学习收集数据来训练机器人策略 。
- 训练机器人策略以增强灵活性 (例如，在机器人辅助手术中)，使用 GPU 并行化来训练强化和模仿学习算法。
- 通过 HIL 数字孪生系统对机器人系统进行 Continuous Testing (CT)。
- 创建部署应用程序 ，将仿真连接到现实世界，并在物理手术机器人上进行部署，例如使用 GPU 和 Jetson 等技术进行部署。
最新版本具有 手术子任务自动化 和自主机器人超声波的两个端到端参考工作流，涵盖了手术和成像机器人的用例，旨在为您的用例快速跟踪自主机器人功能的发展。
下文将介绍这些工作流程。
机器人手术子任务自动化工作流程
此工作流可作为模板，供开发者构建和部署手术子任务自动化解决方案。结合数字孪生、强化学习和模仿学习、高保真合成数据生成以及实时机器人评估，为 AI 驱动的手术自动化提供了一种可扩展的方法。
该工作流以 ORBIT-Surgical 为基础，ORBIT-Surgical 是 NVIDIA、 PAIR Lab (多伦多大学和佐治亚理工学院) 和 AUTOLAB (加州大学伯克利分校) 在 ETH Zurich 的合作研究项目。
ORBIT-Surgical 正在向 Isaac 过渡，并发展为机器人手术子任务自动化工作流，学术界、行业和临床环境中的现有和新协作者将在其中进一步发展。
约翰・霍普金斯大学 和斯坦福大学的协作者将一个视觉语言模型（VLM）与 da Vinci Research Kit（ dVRK ）集成在一起，该系统在其中自主执行三项关键的手术任务：小心提起身体组织、使用手术针和缝合伤口（如上图所示）。
借助此工作流，开发者可以将自己的手术机器人、传感器、仪器和患者模型引入 NVIDIA Omniverse，以创建高保真手术数字孪生。这使他们能够在不接触患者的情况下模拟缝合、切割和组织操作等复杂程序，同时大规模生成大量基于物理性质的逼真合成数据来训练机器人策略。
然后，在 Isaac Lab 中使用合成生成的数据集来训练强化和模仿学习流程，或微调现有的通用视觉语言动作模型（例如π0）来捕捉人类外科医生在手术机器人方面的技能和灵活性。
最后，这些策略在数字孪生中经过全面训练，将仿真连接到现实世界，并部署在物理手术机器人（在本例中即为 dVRK）上。
在手术子任务自动化工作流程中，Isaac 在医疗健康领域的主要功能：
- 自带 (BYO) 组件：使用定制机器人、仪器、用品和解剖结构。
- 仿真就绪型环境：逼真、支持物理效果的数字孪生环境，例如 NVIDIA 的数字孪生环境，支持 GPU 和 cuOpt 等技术。
- 数据生成和收集：合成数据和专家演示。
- 策略训练：用于技能获取的强化学习和模仿学习。
- 评估和测试：通过 HIL 测试对数字孪生进行 Benchmark。
- Sim2Real transfer：将 AI 从模拟部署到现实世界的外科手术。
BYO 解剖学
此用于创建 逼真解剖模型 的工作流从合成 AI 辅助 CT 合成 (由 NVIDIA MAISI) 和分割 (由 NVIDIA VISTA3D 或 Auto3DSeg) 开始，然后是网格转换、网格清理和细化、逼真纹理，最后是将所有纹理器官组装到一个统一的 OpenUSD 文件中。
该工作流支持 创建特定于患者的模型 ，以模拟罕见或复杂的病例。这一点尤为重要，因为此类病例的真实患者数据通常很少，因此模拟成为训练和准备的宝贵工具。
逼真的人体器官模型可在 GitHub 上获取。
BYO 机器人/ 仪器
该工作流在 da Vinci Research Kit (dVRK)上执行，但提供的模板可泛化到其他机器人平台。手术机器人的导入过程遵循通用的 Isaac Sim 导入指南。有关详细指导，请参阅 Isaac Sim URDF 导入教程 。Isaac Sim 4.5 可让您将机器人 CAD 模型转换为 USD 格式，从而提供简化的工作流，以便为仿真准备机器人模型。转换为 USD 后，您可以继续执行 关节装配 的基本步骤，其中包括添加关节物理特性和定义机器人的运动属性。完成这些关键准备工作后，您的机器人模型就可以集成到模拟场景（数字孪生）中，以物理精准的方式与器官或其他物体进行交互。
BYO 传感器
该工作流为 AI 策略学习提供了多种感知模式。开发者可以集成不同的成像传感器 (例如立体摄像头、内窥镜摄像头、深度传感器) 来定制 AI 感知管道。
专家演示集合 (通过 teleoperation)
此工作流还提供 recipes/examples，以便在各种手术任务中利用 teleoperation 生成高质量的演示数据，这对于训练和评估手术机器人中的 AI 模型至关重要。
键盘、Spacemouse、游戏手柄、VR 控制器、da Vinci Research Kit (dVRK) Master Tool Manipulator (MTM) 等各种外围设备可以与数字孪生通信，并提供输入命令来控制 Cartesian 空间中的机器人。
策略学习
对于任务自动化，我们支持各种先进的强化和模仿学习算法 (例如，Action Chunking Transformer (ACT) 和 https://arxiv.org/abs/2303.04137)，以便高效获取手术技能
自主机器人超声波工作流程（Autonomous robotic ultrasound workflow）
超声成像主要采用非侵入性、便携式和安全技术。但是，要获取高质量的超声波图像，需要技能熟练的超声波检查技术人员。随着训练有素的工作人员日益短缺，超声波成像很好地展示了任务自动化的潜在优势，即扩大护理范围并支持及时、准确的诊断。
此参考工作流提供了一个可复制、可定制的模块化框架，用于使用 AI、数字孪生和更广泛的三台计算机框架构建超声波机器人自动化。许多此工作流程的主要功能与机器人手术子任务自动化工作流程的功能重叠。因此，我们在这里仅回顾超声波工作流程特有的功能。
使用此工作流，开发者可以将自己的机械臂、摄像头传感器、超声波探针和患者模型引入 NVIDIA Omniverse，以创建高保真超声检查数字孪生。您可以构建逼真的解剖模型和虚拟探针，模拟超声波如何与不同密度的组织相互作用，从而为训练提供丰富的数据集。
这种方法使您能够探索不同的扫描角度、压力水平和解剖变化，而不受物理实验室的限制。开发者可以利用 Isaac Lab 从模拟和专家演示中提取数据，以采用强化学习或模仿学习，并训练机器人系统进行最佳定位，并调整超声波探针的方向以捕获高质量图像。
Isaac for Healthcare 的早期采用者和生态系统合作伙伴
Isaac for Healthcare 通过与外科、介入治疗和成像机器人领域的行业领导者以及机械臂供应商合作，加速 AI 驱动的医疗机器人技术的未来。
在手术机器人领域，Virtual Incision 正在评估用于手术合成数据生成（SDG）的 Isaac for Healthcare，以便为其未来的机器人手术系统开发机器人任务自主性，并利用逼真的模拟环境提高手术精度。
Moon Surgical 正在对 自主机器人设置 进行原型设计，以动态适应外科医生的技术和程序化工作流程，从而提高精度和效率。
在 介入式机器人领域 ， Neptune Medical 正在使用 NVIDIA Omniverse 和 Isaac Sim 设计和模拟 机器人内窥镜检查 ，从而增强诊断能力。
XCath 正在使用 Isaac for Healthcare 为其血管内机器人、治疗设备和人体血管创建全面的数字孪生，在其基于导管的机器人系统中实现自主导航的运动规划和控制。
Kinova 和 Franka 等领先的 机械臂 提供商 正在为开发者生态系统提供支持，在 Isaac for Healthcare 中提供 仿真就绪的预构建机械臂 。
与全面的参考工作流搭配使用，这些解决方案为开发者提供了强大的技术基础，使其能够快速对自主功能进行原型设计并将其部署到医疗设备中，从而推动医疗健康机器人的创新，例如使用 Python、PyTorch 和 GPU 等技术。
开始使用
利用我们全面的资源套件探索 Isaac for Healthcare ，旨在加速您进入 AI 驱动的医疗健康机器人开发之旅。如果您有兴趣，请访问我们的 早期访问页面 。
从手术子任务自动化工作流（Surgical Subtask Automation Workflow）或自主机器人超声工作流（Autonomous Robotic Ultrasound Workflow）中进行选择，以启动您的项目。
