Related Resources
边缘计算

使用远程手术工作流程入门 NVIDIA Isaac 进行医疗保健应用开发

2025年 8月 28日
By , , , and

远程手术已不再是一种未来主义理念，正迅速成为提供医疗服务的关键手段。到2030年，全球外科医生预计短缺450万人，而农村医院尤其难以吸引专家，因此通过远程方式由专家进行手术操作的能力，正从实验性技术转变为不可避免的现实。

有何变化？

  • 网络建设已迎而解. 5G 和低延迟主干使跨大陆的实时视频协作成为可能。
  • AI 和仿真已经成熟. 外科医生现在可以在逼真的环境中训练和验证系统，然后再进入手术室。
  • 标准化平台已经到来. 开发者无需将传感器、视频和机器人的自定义工作流拼接在一起，而是可以在共享基础设施上进行构建，从而加速进展。

但远程手术面临巨大的技术挑战：

  • 超低延迟视频，可实现手术精度。
  • 具有触觉反馈的可靠远程机器人控制。
  • 跨不同解决方案的无缝硬件集成。

这正是NVIDIA Isaac在医疗健康领域大显身手之处。它为开发者提供了一个模块化、可投入生产的远程手术工作流，涵盖视频与传感器流、机器人控制、触觉反馈及仿真等功能，支持在训练和临床环境中灵活调整、扩展与部署。

在本文中，您将了解远程手术工作流程的运行原理、入门方法，以及为何它是构建新一代手术机器人最快捷的途径。

适用于医疗保健行业的 Isaac 是什么？

Isaac for Healthcare 将功能强大的 三台计算机架构 ( NVIDIA DGX、NVIDIA OVX、NVIDIA IGX/ NVIDIA AGX) 引入医疗健康机器人领域，实现了整个开发堆栈的统一。它提供了一整套工具和基础模块，包括：

  • 端到端样本工作流程 (手术和成像) 。
  • 高保真医疗传感器仿真。
  • 仿真就绪型资产目录 (机器人、工具、解剖结构)
  • 预训练 AI 模型和策略基准。
  • 合成数据生成工作流。

在此基础上，您可以采用相同的架构，从模拟阶段顺利过渡到临床部署。

远程手术工作流程的原理

远程手术工作流通过高速网络将外科医生的控制站与患者侧的手术机器人连接起来。

  • 外科医生侧: 查看多个摄像头输入 (概述 = 机器人眼) ，并通过 Xbox 或触觉反馈控制器发出命令。
  • 患者侧: 摄像头捕获手术区域，而机器人根据外科医生输入的信息执行精确操作。
  • 模拟模式: 在 Isaac Sim 中采用相同设置，可实现安全训练和技能转移。

结果：临床医生能够在危机现场、偏远医院或跨大陆环境中开展手术，且不会影响响应速度。

Complete architecture of telesurgery use case demonstrating remote surgeon control.
图 1。远程手术工作流程图

系统架构 

组件 它做什么 为什么重要
GPU Direct Sensor IO 通过 Holoscan 传感器桥接器 将视频直接传输到 GPU 摄像头/传感器的超低延迟集成
视频流 多摄像头捕获 (机器人+ 房间)，硬件加速 高质量，几乎无延迟
RTI Connext DDS 通过 QoS 控制管理跨域视频、控制和遥测 安全、可靠的医疗级通信
控制接口 Xbox 控制器或 Haply Inverse3 力学设备 熟悉的工具，力反馈高达 3.3N
管理视频、控制和遥测跨域与 QoS 控制 姿势重置，工具归零，死区 在临床场景中保证安全恢复

让我们深入了解具体细节，并概述该解决方案背后的架构。

系统架构：

  • GPUDirect 传感器 IO: 系统使用 NVIDIA Holoscan 传感器桥接器 (HSB) 将视频实时直接流式传输到 GPU。HSB 通过以太网上基于 FPGA 的接口将高速传感器连接到处理管线，从而实现低延迟数据传输。这简化了边缘 AI 医疗健康应用中传感器和执行器的集成。
  • 视频流: 系统可捕获两个摄像头视图、一个房间概览和一个详细的机器人视角。视频编码使用 NVIDIA 硬件加速来保持质量，同时更大限度地减少延迟。您可以在 H.264 兼容性或 NVJPEG (用于需要尽可能低延迟的场景) 之间进行选择。
    • 多摄像头支持: 从安装在机器人上的摄像头和房间概览摄像头 (兼容 RealSense/ CV2) 中同时捕捉视频源。
    • 硬件加速编码:
      • 适用于 H.264/ H.265 的 NVIDIA 视频编解码器 (NVC) : 带宽受限场景的理想选择。
      • NVJPEG 编码: 具有可配置质量 (1-100) 的超低延迟选项。
  • 通信层: RTI Connect 数据分布式服务 (DDS) 可处理站点之间的所有数据传输，确保医疗级可靠性、低延迟和数据完整性。视频流、控制命令和机器人反馈在不同的通道上传输，每个通道都通过服务质量控制进行优化，以满足其特定需求。
    • RTI Connect DDS 基础设施: 安全的医疗级可靠性，消息传输有保证
    • 域隔离: 用于视频流、控制命令和遥测的独立 DDS 域
    • 时间同步: 可选的网络时间协议 (NTP) 服务器集成可确保在所有系统中实现完美的时间对齐
    • 网络优化: 根据手术要求定制的自动同行发现和服务质量配置文件
  • 控制界面: 外科医生可以使用 Xbox 控制器进行基本操作，或使用 Haply Inverse3 设备 在 3D 空间中直观控制机器人。控制系统与患者侧机器人协同工作，将外科医生的输入转化为精确的机器人动作。
    • 双控制模式:
      • Cartesian 模式: 直接 X-Y -Z 定位，实现直观控制。
      • Polar 模式: 用于复杂操作的联合空间控制。
    • 输入设备:
      • Xbox 控制器: 具有双摇杆的熟悉界面，可同时控制 MIRA 手臂。
      • Haply Inverse 3: 强制反馈高达 3.3 N，可实现逼真的组织相互作用。
    • 安全功能: 自动姿态重置、工具追踪序列和可配置盲区。
This diagram demonstrates the components necessary for the telesurgery workflow.
图 2。远程手术系统架构图

证明对 OR：Latency benchmarks 的准备情况

低延迟对于远程手术至关重要，以下基准测试结果表明，该工作流程满足临床要求。

  1. 配备 IMX274 摄像头的 HSB
    使用 NVIDIA HSB 板和 IMX274 MIPI 摄像头，实现超低延迟工作流。
  2. 采用 YUAN HSB 主板的 HDMI 摄像头
    现有医疗机构通常配备具有 HDMI 或 SDI 输出的摄像头。在这种情况下，我们的合作伙伴 YUAN HSB 板是一个很棒的解决方案，可以从 HDMI 或 SDI 中拍摄视频，并将数据直接传输到 GPU。此基准测试中使用的 HDMI 摄像头是富士 X-T4 摄像头。

显示器基准测试采用支持 G-Sync 的显示器，以 240 Hz 刷新率在 Vulkan 独占全屏模式下进行。延迟测量数据由 NVIDIA 延迟和显示分析工具 (LDAT) 捕获。

配备 IMX274 摄像头的 HSB

  • 1080p@60fps ( H.264，比特率设置为 10 Mbps)
    • 光子到玻璃：35.2+/- 4.77 毫秒
    • 编码+ 解码：10.58+/- 0.64 毫秒
  • 4k@60fps ( H.265，比特率设置为 30 Mbps)
    • 光子到玻璃：44.2+/- 4.38 毫秒
    • 编码+ 解码：14.99+/- 0.69 米

您可以通过我们生态系统中的 FPGA 合作伙伴 Lattice 和 Microchip 获取 Holoscan 传感器桥接器。

这里的要点是，两种设置均实现了约 50 毫秒的延迟，速度足够快，能够支持安全的远程操作。

部署灵活性 

由于工作流程采用容器化，因此可在不同环境中运行：

  • 物理手术室：连接真实的摄像头和机器人进行实际手术。
    • 即插即用地集成现有的手术基础设施。
    • 支持多种摄像头类型：Intel RealSense、标准 USB 摄像头、带 HSB 板的 MIPI 摄像头以及带 YUAN HSB 板的 HDMI/ SDI 摄像头。
    • 使用游戏控制器或 Haply Inverse3 设备直接控制 MIRA 机器人。
    • 通过远程操作者隔离实现与现场的无菌兼容性。
  • 仿真环境：使用 Isaac Sim 进行训练，而不会给患者带来风险。
    • Isaac Sim 集成可提供逼真的手术场景。
    • 通过准确的物理和组织建模进行无风险训练。
    • 技能评估工具可跟踪精度、速度和技术。
    • 用于回顾和改进的场景录制和回放。

两种部署模式采用相同的控制方案和网络协议，确保在仿真环境中开发的技能可直接迁移至实际应用。平台的模块化设计使机构能够从基于模拟的训练起步，并在准备就绪后无缝过渡到现场手术。

临床影响 

早期试点部署已显示出积极的成效：

  • 急诊程序的患者转诊时间减少了 50%。
  • 农村地区获得专业手术护理的机会增加了 3 倍。
  • 通过模拟，手术训练效率提高 40%。
  • 在 1000 多例手术中，与延迟相关的并发症报告为零。

构建外科手术的后续功能

远程手术不仅仅是一项工作流程，更是构建医疗健康新模式的基石。它不仅关乎架构设计，更是一种工程化的响应，旨在弥合全球医疗健康领域存在的种种差距。

  • 无论身处何地，专家都会为患者提供手术服务。
  • 学员在接触患者之前先进行模拟练习。
  • 医院可扩展稀缺的专业知识，而无需进行昂贵的转诊。

Isaac for Healthcare 通过为开发者提供连接仿真环境与手术室的可靠、低延迟工作流，使这一切成为可能。

构建远程手术工作流程：

git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
cd i4h-workflows
workflows/telesurgery/docker/real.sh build

在这里，您可以连接摄像头，配置 DDS，然后开始尝试机器人控制。

现在轮到你了。分叉代码库，尝试新的控制设备，集成新型成像系统，或对自身的延迟设置进行基准测试。每一次贡献，都在推动远程手术更接近日常现实。

文档与代码：

相关项目：

社区：

 

标签

机器人 | 模拟/建模/设计 | 边缘计算 | Beginner Technical | Deep dive | Holoscan | Isaac SDK | 仿真/建模/设计 | 医疗健康和生命科学 | 医疗设备 | 机器人学

关于作者

Michael Zephyr 是 NVIDIA Clara 团队的开发者传道者，负责帮助设计所有 NVIDIA Clara 产品的开发者体验。他通过博客帖子、网络研讨会和会议来开发和展示内容，帮助开发人员快速入门。迈克尔获得了佐治亚理工大学计算机科学硕士学位，专攻机器学习和交互智能。
Nic Ma 是 NVIDIA MedTech 工程团队的高级经理。他领导先进的端到端深度学习和物理 AI 工作流的工程开发，并具有优化的性能。他专注于面向机器人的 NVIDIA Isaac、Holoscan 和 MONAI，构建了变革医疗机器人的 3 台计算机解决方案。
Victor Chang 是一名高级云软件工程师，在软件架构、医学成像和 AI 基础设施方面拥有 20 多年的经验。在 NVIDIA，他领导了医疗健康 AI 平台的开发，包括由英国 NHS 采用的 MONAI Deploy，并为 Holoscan SDK、CLI 和 Holohub 项目做出了贡献。此前，Victor 曾在 GE Healthcare 和 Hologic 担任要职，在 Azure 和 AWS 上构建安全的云原生医疗系统。他热衷于利用技术改善生活，专注于 DICOM、Kubernetes、微服务和安全医疗健康数据管道。
Ansley Dunn 是 NVIDIA Holoscan 的产品营销经理，负责监督实时边缘 AI 平台 Holoscan 的上市活动。在加入 NVIDIA 之前，Ansley 曾在英特尔公司担任英特尔旗舰边缘 AI 平台 OpenVINO 的产品营销主管，并一直从事代理和客户方面的工作，为 LG、Intuit、Broadcom 和 Sage 等领先的技术公司创建全球活动和需求生成工作。Ansley 对高等教育充满热情，曾担任纽约大学数字营销教学的兼职教师。
Mostafa Toloui 是 NVIDIA Holoscan 平台的产品管理负责人。他的热情是让医疗科技公司能够提供智能的、以患者为中心的解决方案，并颠覆疾病的预防、诊断和治疗方式。在 NVIDIA 之前，Mostafa 曾在医疗科技行业担任各种职务，从战略经理到科学家，将产品（软件和硬件）从概念到发布。Mostafa 拥有明尼苏达大学机械工程博士学位和工商管理硕士学位。