实时边缘 AI 对于医疗、工业和科学计算至关重要,因为这些任务关键型应用程序需要即时数据处理、低延迟和高可靠性,以确保及时准确的决策。这些挑战不仅涉及硬件平台上的高带宽传感器处理和 AI 计算,而且还需要企业级 AI 软件来支持整个边缘计算软件堆栈。
专门为工业和医疗环境设计,NVIDIA IGX 为组织提供边缘人工智能所需的性能、可靠性、安全性和可维护性。IGX 无需花费数年时间设计自定义系统和定制人工智能模型,而是借助 NVIDIA AI Enterprise 上的 GPU 加速计算,加速各行业先进的人工智能解决方案的开发,从而大幅减少时间和成本。
在 COMPUTEX 2024 上,IGX 通过生产就绪型 NVIDIA AI Enterprise IGX、对 NVIDIA RTX 6000 Ada dGPU 的支持、IGX 系统的扩展等,对平台进行了重大更新。所有增强功能都附带长达 10 年的硬件和软件支持,使您的组织能够放心地提供安全可靠的 AI,以支持人类和机器协作。
NVIDIA IGX 软件堆栈现已可用于生产
随着 NVIDIA IGX-SW 1.0 的公开发布, NVIDIA IGX 上的软件堆栈现已可用于生产。您还可以获得 NVIDIA AI Enterprise IGX 长期支持,并在 NVIDIA 的支持下满怀信心地部署您的产品。
为满足对多模态生成式 AI 部署和高带宽信号处理日益增长的需求,此版本引入了对 NVIDIA RTX 6000 ADA 显卡的支持,将 AI 计算能力扩展到 1705 TOPS.与使用板载 iGPU 相比,AI 性能提升了 7 倍。借助此类高性能 AI 计算,您可以轻松运行要求严苛的 AI 工作负载,并支持生成式 AI 应用程序。
此版本还提供了通过简单易用的 Web 界面安装所有固件的功能,从而简化了安装过程:选择所需的固件,然后单击安装按钮。
下载 NVIDIA IGX-SW 1.0 公开版本,所有软件堆栈均可免费用于开发和评估目的。
在生产方面,软件堆栈由 NVIDIA AI Enterprise IGX 提供支持,可与 NVIDIA 专家联系,提供企业级长期支持。订阅 NVIDIA AI Enterprise IGX 后,您可以访问以下选项:
- 生产分支:采用最新的 NVIDIA 人工智能堆栈,并利用先进技术和优化。每六个月发布一次新的生产分支,每个分支维护 9 个月。这是零售和机器人等用例的理想选择,可确保您可以引入最新的人工智能模型和生成式人工智能工作负载。
- 长期支持分支:版本锁定、维护和支持长达 10 年。新的长期支持分支每 2.5 年发布一次,并带有新版本的技术栈。这是医疗和科学计算等受监管行业的理想选择。
这两个分支均可持续监控安全漏洞、API 稳定性、错误修复、技术支持,并由 NVIDIA 专家和工程师及时解决问题。有关更多信息,请参阅 如何使用 NVIDIA AI Enterprise IGX 支持任务关键型边缘 AI。
首先,将固件、操作系统和计算堆栈下载到 NVIDIA IGX Orin 开发者套件。有关安装的更多信息,请参阅 NVIDIA IGX 用户指南。
要开始使用 NVIDIA AI Enterprise IGX,请申请NVIDIA AI Enterprise IGX 软件试用版,以体验其功能。
专为医疗、工业和机器人使用而设计的企业就绪型应用框架
NVIDIA IGX 支持 NVIDIA 为边缘提供的所有 SDK、应用框架和工具。
它包括以下应用框架:
- NVIDIA Holoscan 用于从边缘到云端的实时感知器处理。
- NVIDIA Metropolis 构建、部署和扩展视觉人工智能应用
- NVIDIA Isaac 用于构建高性能机器人应用程序
使用 NGC 中的预训练模型缩短模型开发时间,使用合成数据生成器为模型训练创建合成数据,并使用 NVIDIA TAO 工具套件[链接]快速训练和优化模型,以获得最佳模型性能。
多模态 AI 和生成式 AI 在处理非结构化数据和多样化环境方面变得越来越重要。
- 在医疗领域,医疗诊断、用于手术的 AI Copilot、AI 手术机器人和用于患者护理的 AI 智能体现已成为可能。
- 在制造仪器中,可以进行实时晶圆检测和高带宽传感器处理。
- 在科学计算领域,雷达处理和射电天文学将由 AI 提供动力支持。
- 在工业机器人领域,AI 将安全地保护工厂自动化和机器人协作。
您可以在 Omniverse 中找到许多此类应用示例和生成式 AI 模型,在 nvidia-holohub GitHub 库中也有相关资源。
借助 NVIDIA 认证系统扩展 IGX 系列
NVIDIA IGX Orin 平台推出了一款全新产品 IGX Orin 500 系统模组。它为 OEM 提供了设计载板和自定义配置的灵活性,以满足客户需求。IGX Orin 500 在不牺牲企业软件支持的情况下,具有与 IGX Orin 700 (以前称为 IGX Orin Boardkit) 相同的 iGPU、CPU、内存和存储,并且能够通过适用于机器人和智能农业应用的附加 sMCU 实现功能安全。
IGX Orin 700 | IGX Orin 500 | |
性能 | 高达 1705 TOPS* | 248 TOPS |
规格 | IGPU:搭载 64 个 Tensor Core 的 2048 核 NVIDIA Ampere CPU:12 核 Arm Cortex A78AE CPU 显存:64 GB LPDDR5 (带 ECC) 存储:64 GB eMMC |
|
功率 | 高达 125 瓦 (无 dGPU) 400 瓦 (使用 dGPU) |
15W-75W |
I/O 吞吐量 | 2X100 Gb/s | 高达 10 Gb/s |
可选 dGPU | 是 | 否 |
集成双路 100 Gb/s ConnectX-7 | 是 | 否 |
BMC | 是 | 否 |
功能安全 | 是 | 是 (需要载板上的 sMCU) |
载板定制 | 否 | 是 |
产品生命周期和企业软件支持 | 10 年 (至 2033 年) | |
价值主张 | 相同的 NVIDIA 认证流程,确保企业级软件支持 适用于各行各业的 AI 安全和功能安全 |
1705 TOPS 248 TOPS (GPU) 1457 TOPS (6000 Ada dGPU)
通过使用 NVIDIA IGX Orin 500 设计指南,OEM 和 ODM 合作伙伴可以开始定制载板设计。对于所有 IGX 系统,OEM 完整系统都需要通过相同的 NVIDIA 认证流程,以确保获得企业级软件支持和出色的人工智能软件性能。这种严格的测试和验证减少了部署专用基础设施所涉及的风险和时间,这些基础设施可以支持复杂、计算密集型生成式人工智能工作负载。
NVIDIA 认证的 IGX 系统将很快通过特定的 OEM 合作伙伴提供。有关 NVIDIA IGX 平台和新突破的更多信息,请参阅 NVIDIA IGX 页面和 IGX 下载中心,了解最新的发展动态。