机器人

使用 NVIDIA Clara Holoscan 部署 AI 加速医疗设备

在诊所和研究设施中部署实时人工智能的能力对于实现外科、诊断和药物发现的下一个前沿至关重要。从机器人手术到研究生物学中的新方法,医生和科学家需要医疗设备演变成连续的传感系统来研究和治疗疾病。

为了实现下一代智能医疗设备,需要人工智能、加速计算和高级可视化的独特组合。 NVIDIA Clara Holoscan 包括 Clara AGX Developer KitClara Holoscan SDK ,它们结合起来为创建支持 AI 的医疗设备提供了强大的开发环境。为了在临床边缘部署这些设备,非常需要基于 NVIDIA IGX Orin 的生产硬件和为医学级认证设计的软件平台。

NVIDIA Clara Holoscan 通过提供一组 OpenEmbedded 构建配方和参考配置,可用于定制和构建 Clara Holoscan 兼容的 Linux4Tegra ( L4T )嵌入式板支持包( BSP ),从而加快生产质量医疗应用程序的部署。随着 Clara Holoscan SDK v0.3 的发布,开发人员可以使用定制的 OpenEmbedded 发行版更快地部署医疗 AI 。

使用 OpenEmbedded 创建定制的 Linux 发行版

OpenEmbedded 是一个构建框架,允许开发人员为嵌入式系统创建完全定制的 Linux 发行版。开发人员可以只使用特定于应用程序的软件组件和配置来完全定制发行版。相比之下,商业 Linux 发行版从预定义的软件集合中提供完整的操作系统,这些软件集合通常包括图形用户界面、包管理软件、 GNU 工具和库以及系统配置工具。

可定制性对于嵌入式部署尤其重要,这样可以优化嵌入式设备的内存、速度、安全性和安全性,同时使用单个预配置的 BSP 简化部署过程。在受监管的医疗器械行业中,从过程开销的角度来看,这种可定制性也很重要,因为它允许将未知来源软件( SOUP )的分析、测试和文档记录限制在医疗器械基本性能所需的最小软件组件集内。

与 HoloPack 的比较

HoloPack 是 Clara Holoscan 专用的 NVIDIA JetPack SDK 的实现。它为 Clara Holoscan 开发工具包提供了完整的开发环境,包括 Jetson Linux 和引导加载程序、 Linux 内核、 Ubuntu 桌面环境,以及一整套加速 GPU 计算、多媒体、图形和计算机视觉的库。这是 Clara Holoscan 开发堆栈。

使用定制的 OpenEmbedded 发行版,作为开发人员,您可以只包含应用程序部署所需的软件组件。最终的运行时 BSP 可以在内存使用、速度、安全性和电源需求方面轻松优化。这是 Clara Holoscan 部署堆栈。

为了说明这一点,下表比较了 HoloPack 安装与基于 OpenEmbedded 的 Clara Holoscan 构建的各种测量结果,包括 GitHub 上提供的 Clara Holoscan Embedded SDK

初始启动后的资源使用情况(空闲时):

  Development Stack Deployment Stack Difference
Processes 408 198 210 (51.4% less processes)
Disk Used 22 GB 7 GB 15 GB (68.1% less disk usage)
Memory Used 1,621 MB 744 MB 877 MB (54.1% less memory usage)

运行tracking_replayer Clara Holoscan SDK 应用程序时的 RTX6000 测量值:

  Development Stack Deployment Stack Difference
Power 71 W 67 W 4 W (5.6% less power)
Temperature 50 C 48 C 2 C (4% cooler)
GPU Usage 15% 11% 4% (26.7% less GPU usage)

tracking_replayer Clara Holoscan SDK 应用程序报告的作业运行时统计信息(以毫秒为单位):

  Development Stack Deployment Stack Difference
Visualizer 4.51 3.18 29.4%
Visualizer Format Converter 1.13 0.85 24.7%
Inference 10.69 5.73 46.3%
Inference Format Converter 1.00 0.93 7%
Replayer 31.11 30.09 3.2%
Total 48.44 40.78 15.8%

定制的 OpenEmbedded / Yocto 发行版仅包含运行 Clara Holoscan SDK 应用程序实际所需的最小包集。因此,它有助于节省磁盘空间、内存和 CPU / GPU 周期,从而提高 Clara Holoscan 示例应用程序的整体性能。

尽管在开发的早期阶段(例如,易于安装新的 apt 包),希望具有使用 HoloPack 桌面体验的灵活性,但本研究显示了在医疗设备产品化的后期阶段使用 OpenEmbedded / Yocto 定制部署堆栈的一些明显好处。

NVIDIA Clara Holoscan 入门

Clara Holoscan OpenEmbedded/Yocto recipes 是开源的,与 NVIDIA Clara Holoscan SDK 的发布一起保持最新。

Clara Holoscan OpenEmbedded / Yocto 配方和 BSP 构建通常依赖于其他开源 OpenEmbedded 组件,包括(但不限于):

如果您已经熟悉 OpenEmbedded 或 Yocto ,请查看 GitHub 上的 meta-tegra-clara-holoscan-mgx 回购。该 repo 中的 README 提供了构建和闪存 Clara Holoscan BSP 所需的指南和完整需求列表。

NVIDIA 还在 NVIDIA GPU 云( NGC )网站上提供 Clara Holoscan OpenEmbedded Builder ,以简化开始使用这些配方的过程。它包括容器内或作为初始化本地构建树的设置脚本的一部分所需的所有工具和依赖项,以便只需几个简单的命令即可完成 Clara Holoscan BSP 的构建和刷新。

要使用默认配置(包括 Clara Holoscan SDK 和示例应用程序)为 IGX Orin 开发工具包构建 Clara Holoscan BSP ,首先确保 Docker 运行时已登录 NGC 。然后在新目录中运行以下命令:

$ export IMAGE=nvcr.io/nvidia/clara-holoscan/holoscan-mgx-oe-builder:v0.3.0
$ docker run --rm -v $(pwd):/workspace ${IMAGE} setup.sh ${IMAGE} $(id -u) $(id -g)
$ ./bitbake.sh core-image-x11

请注意,此构建将需要至少 200 GB 的可用磁盘空间,第一次完整构建将需要三个或更多小时。构建完成后, IGX Orin 开发工具包可以进入恢复模式,并使用以下命令进行刷新:

$ ./flash.sh core-image-x11

Clara Holoscan 部署堆栈的一个主要功能是对开发人员工具包的 i GPU 和 d GPU 。当使用 i GPU 配置时,大多数运行时组件来自 metategra 层使用的标准 Tegra 包,并允许开发人员使用开发套件上的板载 HDMI 或 DisplayPort 连接。您可以访问 GitHub 上的 meta-tegra-clara-holoscan-mgx 查看更多详细信息。

利用超高速帧速率开发定制医疗 AI

凭借 Clara Holoscan SDK v0.3 上的定制 OpenEmbedded 发行版,为临床边缘的独特医疗应用部署生产质量 AI 比以往任何时候都更容易。 SDK 为 4K 视频提供了 240 Hz 的快速帧速率,使开发人员能够结合来自更多传感器的数据,以构建加速的 AI 管道。

要了解如何开始使用 NVIDIA Clara Holoscan ,请遵循 instructions on the Clara Holoscan SDK page

 

Tags