边缘 AI 开发者正在为安全关键型和受监管用例构建 AI 应用和产品。借助 NVIDIA Holoscan 1.0，这些应用可以在几毫秒内整合实时见解和处理功能。
借助近期发布的 NVIDIA Holoscan 1.0，开发者可以更轻松地构建用于多模态实时传感器处理的生产就绪型应用程序。NVIDIA AI Enterprise 现在可为 Holoscan 软件堆栈提供安全补丁和关键错误修复，并具有有保证的 API 稳定性。这降低了产品维护成本，并简化了边缘 AI 应用程序的大规模部署。
什么是 NVIDIA Holoscan？
Holoscan 是一个与领域无关的 NVIDIA 多模态实时 AI 传感器处理平台，为开发者构建端到端传感器处理流程奠定了基础。该平台以性能、可用性和生产就绪型等架构目标为基础而构建。在传感器处理流程的每个步骤中，Holoscan 都能提供优化的性能，同时更大限度地降低开发复杂性。该流程包括：
- 传感器数据输入
- 加速计算和 AI 推理
- 实时可视化、驱动和数据流输出
具体来说，Holoscan 平台包括三个主要组件。第一个组件是其软件。与领域无关、支持 AI 的实时传感器处理流程建立在包括数据移动、加速计算、实时可视化和 AI 推理的基础之上。
NVIDIA Holoscan 是唯一能够将这些功能结合在一起并保证应用程序性能的单一平台，同时降低复杂性并缩短上市时间。NVIDIA Holoscan SDK 为开发者提供了一个低代码量、高性能的环境，以便他们使用 Python 或 C++API 构建工作流。
Holoscan 平台的第二个组件是其硬件。Holoscan 支持多种硬件配置，以满足各种功率、大小、成本、计算和配置需求，包括：
- NVIDIA Jetson Orin 系列产品 (Orin Nano, Orin NX, and AGX Orin)
- NVIDIA IGX Orin
- NVIDIA IGX Orin 与 NVIDIA 独立 GPU 相结合，提供集成和独立 GPU 的强大功能
- 配备 NVIDIA 独立 GPU 的 x86 系统 (工作站或云)
Holoscan 平台的第三个组件是企业支持，旨在满足医疗技术产品的预发布和后发布需求。通过 NVIDIA AI Enterprise 提供的 Holoscan 软件提供全栈、长期 (长达 10 年) 软件支持。
具体来说，此产品为开发者发布了安全补丁和关键错误修复，并保证了 API 的稳定性，从而显著降低了产品维护成本。这不仅简化了运营，而且提高了大规模部署 AI 应用的信心。
生产就绪
AI 计算的引入为寻求新方法以实现差异化和价值并同时更有效地使用数据的企业开辟了一系列可能性。然而，AI 软件堆栈非常复杂，具有数百个依赖项，大量利用了第三方 OSS 库 (图 3)。
软件复杂性的增加等同于漏洞的增加。安全性、稳定性、可靠性和生产就绪性至关重要，但对于希望在其应用程序中利用该软件的开发者和组织而言，这一点具有挑战性。对于医疗设备或机器人等安全关键型和受监管的行业而言，尤其如此。
例如，在 2023 年，FDA 发布了针对 医疗设备网络安全 的说明，指出在上市前提交中可能不包含<fd&c 法=””>第 524B 节 (确保设备网络安全) 要求的信息。根据该法律，制造商必须在产品上市后设计并发布更新和补丁，提供软件材料清单 (SBOM)，并提交识别和解决“上市后网络安全漏洞”的计划。</fd&c>
对于如何为此类开发者和公司构建和维护支持 AI 的平台，这带来了更多挑战：
- 维护安全软件堆栈需要大量资源。
- 在进行 CVE 扫描后，需要进行评估和探索，以便采取进一步的行动和措施。
- 软件包安全更新可能需要后续更改相关 API，这可能会破坏向后兼容性。
- 需要持续监控和更新完整堆栈。
这意味着需要定期进行安全补丁和错误修复，这给公司带来了两种成本高昂的选择：
- 向后移植补丁和修复程序，以避免破坏堆栈并导致潜在的验证、验证和重新认证需求。
- 向前推进会带来破坏产品功能和引入新错误的潜在风险，需要进行代价高昂的验证、验证和可能的重新认证周期。
对于 Holoscan 开发者而言，生产就绪意味着什么
Holoscan 平台提供加速的全栈基础设施，用于在边缘实时处理多模态数据。在过去的版本中，Holoscan 平台的特性和功能专注于高性能计算、低延迟和高吞吐量的多模态传感器流，此外还具有出色的可用性，并缩短了上市时间。
加入 NVIDIA AI Enterprise 后，Holoscan 1.0 增加了生产就绪性，为开发者的端到端产品生命周期提供支持。它还加快了公司的 AI 创新之旅，同时降低了产品拥有和维护的总成本。
在 NVIDIA IGX 上构建产品
借助全栈软件支持 (包括固件、操作系统、驱动、AI 框架、GPU 加速和 SDK)，开发者可以在整个堆栈中依赖单一来源的支持，同时享受有保证的长期 API 稳定性和一致的软件材料清单 (SBOM).此产品经过优化，可满足边缘客户的异构需求，例如：
- CVE 补丁和关键错误修复，具有有保证的 API 稳定性。
- 灵活的软件分支期限不同 (9 个月到 10 年)，旨在满足不同行业和产品开发不同阶段的开发者的需求。为期 9 个月的支持分支每六个月发布一次，10 年分支每 2.5 年发布一次。
- Yocto 嵌入式开发者通常倾向于使用基于 Yocto 的定制发行版来部署他们的产品。
基于 Yocto 的发行版可通过设备运行所需的最低组件集，实现 SBOM 的最小化。它们简化了 FMEA、SW/SOUP 危险分析、网络安全危险分析和渗透测试。它们降低了监管负担和上市后维护成本。它们还支持高效使用嵌入式硬件资源，包括存储、内存、处理能力和电力。
如需详细了解 Holoscan Yocto 如何针对边缘部署优化发行版，请阅读 使用 NVIDIA Clara Holoscan 部署 AI 加速的医疗设备。
在 x86 系统上进行开发、测试或部署
开发者可以在其 x86 系统上受益于不包括操作系统的部分堆栈支持。有关更多信息，请参阅 NVIDIA 认证系统。在 x86 和 IGX 上为相同的分支维护一致的软件堆栈可最大限度地减少开发到部署的障碍。通过在用于测试、验证和部署的开发和部署的 x86 平台之间提供一致性，这一点得以实现。
总结
NVIDIA Holoscan 与工业级 NVIDIA IGX Orin 平台和 NVIDIA AI Enterprise 一起，减轻了组织验证和维护边缘平台的负担。它使团队能够专注于构建 AI，开发具有不断发展的第一方和第三方开发者生态系统的平台，并快速增加业务价值。
尤其是，多个 ODM 合作伙伴可提供医疗级生产 IGX 产品，包括但不限于：
-
- Original:
有关更多信息，请参阅 减少大型 transformer 模型中的激活重新计算 .
想了解更多相关信息，请参阅 减少大型 transformer 模型中的激活重新计算 。
-
- Original:
访问 MONAI 模范动物园，访问MONAI Whole Brain MRI Segmentation Foundation Model.
访问 MONAI 模型园，查看MONAI 全脑 MRI 分割基础模型。
- Original:
- Advantech MIC-735M-IO
- Advantech MIC-735M-IO
- ADLINK MLB-IGX
- Onyx 医疗 ACCEL-JS2000
- Dedicated Computing M1000
首先，下载 Holoscan 1.0，并查看 版本说明。如果您有任何问题或想要分享信息，请访问 NVIDIA 开发者论坛。
无论是面对面还是通过虚拟方式，都欢迎您参加NVIDIA GTC 2024，届时将有机会深入了解NVIDIA Holoscan 和 AI 传感器串流应用的新进展。
