各行各业对实时见解和自主决策的需求与日俱增，医疗健康和医疗设备也不例外。依靠实时边缘 AI，新一代医疗健康有望提供更精确的治疗、改善患者治疗效果并提高运营效率。
例如，未来的手术室将越来越多地采用支持人工智能和互联的设备，以便实时访问和交换整体患者数据、手术见解、决策和行动。
在这样的未来，软件即医疗设备（SaMD）必须在严格的要求下运行，在分布式医疗系统中部署时，需要处理具有严格性能和延迟限制的大规模数据，同时确保高效、可靠和安全的数据连接，并在不影响性能或延迟的情况下在各种传感器、显示器、控制器和应用之间进行交换。
本文将介绍如何集成NVIDIA Holoscan和RTI Connext，以创建具有高互操作性、低延迟和分布式连接的 AI 驱动的医疗设备应用程序。此集成可在尽可能减少开销的情况下实现这些优势，并减少实施工作和复杂性。
NVIDIA Holoscan 用于实时 AI 传感器处理
NVIDIA Holoscan 为开发者提供了一个单一的生产就绪型框架，用于构建端到端实时 AI 传感器处理流程，从传感器数据输入到加速计算和 AI 推理、实时可视化、驱动和数据流输出。
这种全面的解决方案有效地解决了众多边缘 AI 开发挑战。Holoscan 可确保最佳应用程序性能，同时消除开发复杂性，缩短上市时间，并在低代码、高性能的基础设施中提供 Python 和 C++ 编码的便利性。在简言之，Holoscan 是一个框架，用于以模块化、可扩展、软件定义和以 GPU 为中心的方式将高速 I/O 连接到 GPU。
RTI Connext 支持实时数据为中心的连接
RTI Connext 基于数据分发服务（DDS）标准，通过分布式实时软件通信框架简化了跨复杂和可扩展系统的连接。借助 Connext，Holoscan 应用程序可以与分布式数据源和应用程序集成，同时还可以最大限度地减少实现此类医疗健康系统所需的性能、可靠性和安全性所需的实施工作和复杂性。
Connect 可在复杂的系统组件之间提供实时信息交换，同时满足严格的可靠性、网络安全和性能要求。Connect 提供了一个框架，用于在冗余、容错的架构中处理、分析和对低延迟的大量实时数据进行处理。基于 Connect 构建的医疗系统具有弹性、自形成和自愈功能，没有单点故障。
广泛的服务质量调整选项有助于满足分布式智能手术系统对实时视频和相关数据的需求。Connext 还包括自动发现和安全等功能，而不会增加大量带宽开销。基于成熟的 DDS 安全标准的内置安全功能提供了身份验证和加密的基础，同时还提供了安全日志记录和精细访问控制，从而保护关键系统免受安全漏洞的影响，并满足 FDA 等监管机构实施的网络安全要求。
集成 NVIDIA Holoscan 和 RTI Connext
当今的医疗健康系统基于许多已安装的传统系统构建，这些系统最初的设计并没有考虑到 AI 功能，而 NVIDIA Holoscan 目前也不受原生支持。此外，当今的医疗健康系统和医疗设备需要在传感器、致动器、控制系统和接口之间进行复杂的连接。
Connect 与 Holoscan 的集成使 Holoscan 开发者能够将现有的传统安装基础转换为支持 AI 和软件定义的设备。这通过在原生不支持 Holoscan 的设备中将 Holoscan 作为 sidecar（配套计算模块）集成来实现。
例如，现有的医疗设备中有很大一部分目前基于 Windows (尤其是在医学成像领域)，而 Holoscan 在原生环境中不受支持。作为第二个例子，Holoscan 作为 SideCar 可以将高级 AI 功能引入在非 NVIDIA 系统上运行实时操作系统 (RTOS) 的机器人手术系统中。第三个例子是低端感知医疗设备，例如患者监护，这些设备可以使用强大的 AI 算法增强设备，而构成传统系统的硬件或软件会限制此类新功能的添加。
通过 RTI Connext 实现 Holoscan DDS 互操作性，DDS 为所有这三个示例提供了解决方案，提供了可扩展、AI-enabled 的 Holoscan sidecar，可与传统系统实时无缝通信。
Holoscan 为作为医疗设备 (SaMD) 的 GPU 加速软件提供了出色的基础架构，从而能够在新一代医疗健康系统中创新和部署 AI 驱动的工作流程，这些工作流程通常需要在具有非常严格的延迟限制的大规模数据上运行，因此，必须以高效、可靠和安全的方式在各种传感器、显示器、控制器和 Holoscan 应用程序之间传输数据。
通过使用 RTI Connext，Holoscan 应用程序可以与分布式医疗系统集成，而无需多少开销，同时还可以最大限度地减少实现此类系统所需的性能、可靠性和安全性所需的实施工作和复杂性。如果 Connext 已经在使用中，即使可以在不修改现有系统的情况下引入由 Holoscan 提供支持的新 AI 工作流程。
RTI Connext 集成的 Holoscan 应用示例
本节提供了一个示例用例；具体来说，Holoscan 应用程序运行在充当 sidecar 的专用系统上，该应用程序使用 RTI Connext 从 DDS 数据总线读取帧，在 Holoscan 工作流程中处理帧数据，然后使用 Connext 将结果发布回数据总线，以便处理后的帧数据可以由另一台设备读取以供显示。
此示例增强了医疗保健系统中的常见场景，即多个传感器捕获数据，然后将这些数据聚合在一个单独的监控系统上显示。通常只需对现有组件进行少量修改即可将 AI 驱动的 Holoscan 工作流添加到该数据流中间。传感器采集和显示输出也通常使用不原生支持 Holoscan 的系统完成，Connext 有助于弥合这些差距。
此示例的核心组件是通过 GitHub 上的 nvidia-holoscan/holohub 提供的 Holoscan DDS 视频流运算符，这些运算符使 Holoscan 应用程序能够实时读取和写入 DDS 数据总线中的视频帧。借助这些运算符，Holoscan 应用程序可以从数据总线读取视频帧以用作工作流程处理的来源，并将处理的结果写回数据总线供另一个组件使用。
此外，以下新应用支持将 sidecar 用例显示为独立示例：
- dds_video 应用程序可用于将视频帧写入 DDS 数据总线（从 V4L2 视频设备例如 USB 摄像头中捕获），也可用于从 DDS 中读取帧，并通过 Holoviz 将其渲染到显示器通过 Holoscan 可视化模块。
- 已对 body_pose_estimation 应用程序进行修改，使输入视频帧可以来自 DDS 数据总线，而输出视频帧（包括身体姿态估计叠加）则可以发布回 DDS 数据总线。
将这两个应用程序结合起来演示了使用三个进程的 sidecar 数据流：
- 一个 dds_video 进程从摄像头传感器中捕获帧，然后将其发布到 DDS。
- body_pose_estimation 过程从 DDS 接收输入的传感器帧，通过 body pose estimation 模型处理帧，然后输出帧，并将推理结果叠加在图像上输出到 DDS。
- 另一个 dds_video 进程接收已处理的帧并将其渲染到显示器上。
图 3 显示了此示例的设置。请注意，这三个进程都可以在任何系统上运行，只要它们在同一 DDS 域中相互检测。例如，通过支持组播的网络。
要在本地运行此示例，请先阅读 HoloHub DDS Operators 文档，了解设置 RTI Connext 的依赖项要求。要了解如何构建和运行应用程序，请参阅 Body Pose Estimation 文档的 DDS Support 部分。
总结
在向 AI 增强型系统和设备过渡的过程中，将 NVIDIA Holoscan 与 RTI Connext 集成可为医疗设备行业的 Holoscan 开发者提供诸多优势，这些优势包括以最小的开销无缝集成分布式医疗系统、使用高级 AI 算法增强传统系统等。
首先，请下载 Holoscan 2.0 并查看 nvidia-holoscan/holohub 上的 Holoscan 和 DDS 集成参考应用，包括：
访问NVIDIA 开发者 Holoscan 论坛，提出问题并分享信息。
