人工智能驱动的机器人和其他自动机器的开发和部署速度继续快速增长。下一代应用程序需要大幅提高 AI 计算性能，以实时处理并发运行的多模式 AI 应用程序。
在零售空间、食品配送、医院、仓库、工厂地板和其他商业应用中，人机交互越来越多。这些自主机器人必须同时执行 3D 感知、自然语言理解、路径规划、避障、姿势估计，以及许多其他操作，这些操作需要显著的计算性能和高精度的训练神经模型。
NVIDIA Jetson AGX ORIN 模块是 NVIDIA Jetson 家族中表现最高和最新成员。这些模块提供了卓越的性能和一流的能效。他们运行全面的 NVIDIA 人工智能软件栈，为下一代要求苛刻的边缘人工智能应用提供动力。
Jetson AGX-Orin 和 Jetson Orin-NX 系列
在 GTC 2022 年春季 ，我们宣布四个 Jetson Orin 模块将于 2022 年第 4 季度上市。 Jetson Orin 模块的性能达到每秒 275 tera 的运算量（ TOPS ），可以在边缘运行服务器级人工智能模型，并实现端到端的应用程序管道加速。与 Jetson Xavier 模块相比， Jetson Orin 为现代人工智能应用带来了更高的性能、能效和推理能力。
| JETSON AGX XAVIER 64GB | JETSON AGX ORIN 64GB | |
| 32 DENSE INT8 TOPS | 275 SPARSE|138 DENSE, INT8 TOPS | |
| 10W to 30W | 15W to 60W | |
| $1,299 (1KU+) | $1,599 (1KU+) | |
| JETSON AGX XAVIER 32GB | JETSON AGX ORIN 32GB | |
| 32 DENSE INT8 TOPS | 200 SPARSE|100 DENSE, INT8 TOPS | |
| 10W to 30W | 15W to 40W | |
| $899 (1KU+) | $899 (1KU+) | |
| JETSON XAVIER NX 16GB | JETSON ORIN NX 16GB | |
| 21 DENSE INT8 TOPS | 100 SPARSE|50 DENSE, INT8 TOPS | |
| 10W to 20W | 10W to 25W | |
| $499 (1KU+) | $599 (1KU+) | |
| JETSON XAVIER NX 8GB | JETSON ORIN NX 8GB | |
| 21 DENSE INT8 TOPS | 70 SPARSE|35 DENSE, INT8 TOPS | |
| 10W to 20W | 10W to 20W | |
| $399 (1KU+) | $399 (1KU+) |
Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模块。
- Jetson AGX Orin 64GB 可提供多达 275 个顶部，功率可在 15W 和 60W 之间配置。
- Jetson AGX Orin 32GB 可提供多达 200 个顶部，功率可在 15W 至 40W 之间配置。
这些模块具有相同的紧凑外形，并且与 Jetson AGX Xavier 系列模块引脚兼容，为您提供 8 倍的性能升级，或者以相同的价格提供高达 6 倍的性能。
Edge 和嵌入式系统继续受到传感器数量、性能和带宽不断增加的驱动。 Jetson AGX Orin 系列不仅为处理这些传感器带来了额外的计算，还带来了额外的 I / O ：
- PCIe Gen4 最多 22 个通道
- 四个 10Gb 以太网
- 高速 CSI 车道
- 使用 64GB eMMC 5.1 将存储空间翻倍
- 1.5 倍的内存带宽
有关更多信息，请参阅 Jetson Orin 产品页面和 Jetson AGX Orin 系列数据表 .
USB 3.2 、 UFS 、 MGBE 和 PCIe 共享 UPHY 通道。有关支持的 UPHY 配置，请参阅 Design Guide 。
NVIDIA ORIN NX 系列包括 Jetson ORIN NX16GB ，最多有 100 个 AI 性能的顶部，和 Jetson 奥林 NX 8GB ，最多 70 个顶部。在本系列中，我们遵循了与 Jetson Xavier NX 类似的设计理念。我们带来了NVIDIA ORIN 架构，并将其带到最小的 Jetson 形状因子， 260 引脚 SODIMM ，具有更低的功耗。
您可以为下一代小型产品（如无人机和手持设备）带来更高级别的性能。 Jetson Orin NX 16GB 的功率可配置为 10W 至 25W ，而 Jetson Orin NX 8GB 的功率可配置为 10W 至 20W 。
Orin NX 系列的外形与 Jetson Xavier NX 系列兼容，性能最高可达 5 倍，或在同等价格下性能最高可达 3 倍。 Orin NX 系列还提供了额外的高速 I / O 功能，最多七个 PCIe 通道和三个 10Gbps USB 3.2 接口。对于存储，您可以利用额外的 PCIe 通道连接到外部 NVMe 。有关更多信息，请参阅 Jetson Orin 产品页面。
Jetson Agx Xavier 是围绕NVIDIA Xavier SOC 设计的，我们的第一个架构是从地面上开发的用于自主机器的。NVIDIA ORIN 架构将这一类产品推向下一个层次。它继续展示多个不同的片上处理器，但带来了更大的容量、更高的性能和更高的能效。
Jetson Orin 模块包含以下内容：
- 一种 NVIDIA 安培体系结构 GPU ，具有多达 2048 个 CUDA 芯和多达 64 个张量芯
- 最多 12 个臂 A78AE CPU 芯
- 两款新一代深度学习加速器（ DLA ）
- 计算机视觉加速器
- 用于卸载 GPU 和 CPU 的各种其他处理器：
- 视频编码器
- 视频解码器
- 视频图像合成器
- 图像信号处理器
- 传感器处理引擎
- 音频处理引擎
与其他 Jetson 模块一样， Jetson Orin 使用模块上系统（ SOM ）设计构建。所有处理、内存和电源导轨都包含在模块中。所有高速 I / O 均可通过 699 针连接器（ Jetson AGX-Orin 系列）或 260 针 SODIMM 连接器（ Jetson Orin-NX 系列）获得。这种 SOM 设计使您能够轻松地将模块集成到系统设计中。
Jetson AGX Orin 开发套件
在 GTC 2022 年 NVIDIA 还宣布了 Jetson AGX Orin 开发套件 .开发者工具包包含快速启动和运行所需的一切。它包括一个性能最高的 Jetson AGX Orin 模块，并运行世界上最先进的深度学习软件堆栈。该套件提供了灵活性，可以在现在和将来创建复杂的人工智能解决方案。
紧凑的尺寸、高速的接口和大量的连接器使这款开发工具包非常适合制造、物流、零售、服务、农业、智能城市、医疗保健、生命科学等领域的先进人工智能机器人和边缘应用的原型制作。
Jetson AGX Orin Developer Kit features :
- NVIDIA 安培体系结构 GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU ，以及下一代深度学习和视觉加速器
- 高速 I / O 、 204.8 GB / s 的内存带宽和 32 GB 的 DRAM ，能够为多个并发 AI 应用程序管道提供支持
- 功能强大的 NVIDIA AI 软件堆栈，支持 SDK 和软件平台，包括：
- NVIDIA JetPack
- NVIDIA Riva
- NVIDIA DeepStream
- NVIDIA Isaac
- NVIDIA TAO
Jetson AGX Orin 开发者工具包运行最新的 NVIDIA JetPack 5.0 软件。 NVIDIA JetPack 5.0 支持使用 Jetson AGX-Orin 开发工具包模拟 Jetson Orin NX 和 Jetson AGX-Orin 系列模块的性能和时钟频率。现在，您可以启动这些模块的开发。
Jetson AGX Orin 开发者工具包可通过 NVIDIA 全球授权经销商购买。按照 Getting Started 指南从今天开始。
| Developer Kit | AGX Orin 64GB | AGX Orin 32GB | |
| AI Performance | 275 INT8 Sparse TOPs | 200 INT8 Sparse TOPs | |
| GPU | 2048-core NVIDIA Ampere Architecture GPU with 64 Tensor Cores |
1792-core NVIDIA Ampere Architecture GPU with 56 Tensor Cores | |
| CPU | 12-core Arm Cortex-A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 |
8-core Arm Cortex-A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 |
|
| Power | 15W-60W | 15W-40W | |
| Memory | 32 GB | 64 GB | 32GB |
| MSRP | $1,999 | $1,599 | $899 |
表 2 。 Jetson AGX Orin 系列模块和开发工具包的概要比较
最佳表现
Jetson Orin 为您的下一代应用程序提供了巨大的飞跃。使用 Jetson AGX Orin Developer Kit ，我们为计算机视觉和对话人工智能的高精度、生产就绪、预训练模型获取了测量性能的几何平均值。测试包括以下基准：
- NVIDIA PeopleNet 用于人员检测
- NVIDIA ActionRecognitionNet 二维和三维模型
- NVIDIA LPRNet 用于车牌识别
- NVIDIA DashcamNet ， BodyPoseNet 用于多人人体姿势估计
- Citrinet-1024 用于语音识别
- BERT-base 用于自然语言处理
- FastPitchHifiGanE2E 用于文本到语音
与 NVIDIA JetPack5 开发者预览， Jetson AGX ORIN 显示 3.3X 性能提高相比 Jetson AGX 沙维尔。随着未来软件的改进，我们预计这将使性能提高 5 倍。 Jetson AGX Xavier 性能比第一个支持它的软件版本 NVIDIA JetPack 4.1.1 开发者预览版提高了 1.5 倍。
这些基准测试已经在我们的 Jetson AGX Orin 开发工具包上运行。 PeopleNet 和 DashcamNet 提供了可在 GPU 和两个 DLA 上同时运行的密集模型示例。 DLA 可用于从 GPU 卸载一些人工智能应用程序，这种并行功能使它们能够并行运行。
PeopleNet 、 LPRNet 、 DashcamNet 和 BodyPosNet 提供了在 Jetson 上运行的密集 INT8 基准测试的示例。 ActionRecognitionNet 2D 和 3D 以及对话 AI 基准测试提供了密集 FP16 性能的示例。所有这些型号都可以在 NVIDIA NGC 上找到。
此外， Jetson Orin 继续提高 AI 在边缘的门槛，增加了NVIDIA 整体在 最新的 MLPerf 行业推理基准的排名。与 Jetson AGX Xavier之前的结果相比， Jetson AGX Orin在这些MLPerf基准上提供了高达5倍的性能提升，同时提供了平均2倍的能效。
使用 Jetson 软件加快上市时间
Jetson Orin 的一流性能和能效得到了部署在 GPU 加速数据中心、超大规模服务器和功能强大的 AI 工作站上的同样强大的 NVIDIA AI 软件的支持。
NVIDIA JetPack 是 Jetson 平台的基础 SDK 。 NVIDIA JetPack 为硬件加速的人工智能边缘开发提供了完整的开发环境。 Jetson Orin 由 NVIDIA JetPack 5.0 支持，包括以下内容：
- LTS 内核 5.10
- 基于 Ubuntu 20.04 的根文件系统
- 基于 UEFI 的引导加载程序
- CUDA 11.4 、 TensorRT 8.4 和 cuDNN 8.3 的最新计算堆栈
NVIDIA JetPack 5.0 还支持 Jetson Xavier 模块。
为了让您在 Jetson 平台上快速开发完全加速的应用程序， NVIDIA 为各种用例提供了应用程序框架：
- 使用 DeepStream ，快速开发和部署 vision AI 应用程序和服务。 DeepStream 提供了超乎想象的硬件加速，因为它提供了用于端到端人工智能管道加速的硬件加速插件。
- NVIDIA Isaac 提供硬件加速的 ROS 包，使 ROS 开发者更容易构建高性能机器人解决方案。
- NVIDIA Isaac Sim 由 Omniverse 提供动力，是一种工具，可为照片逼真、物理精确的虚拟环境提供动力，以开发、测试和管理基于人工智能的机器人。
- NVIDIA Riva 为自动语音识别（ ASR ）和文本到语音（ TTS ）提供了最先进的预训练模型，可轻松定制。这些模型使您能够快速开发 GPU 加速的对话 AI 应用程序。
为了加快开发生产就绪且高度精确的人工智能模型的时间， NVIDIA 提供了各种工具来生成培训数据、培训和优化模型，并快速创建可部署的人工智能模型。
这个 NVIDIA Omniverse 复制器 for 合成数据生成有助于创建高质量的数据集，以促进模型训练。使用 Omniverse Replicator ，您可以创建大型、多样的合成数据集，这不仅很难，而且有时在现实世界中是不可能创建的。使用合成数据和真实数据来训练模型，可以显著提高模型精度。
NVIDIA 预训练模型 NGC 为您提供了适用于各种用例的高度精确和优化的模型和模型体系结构。经过预训练的模型已经可以生产了。通过使用自己的真实或合成数据进行训练，使用 NVIDIA TAO （训练适应优化）工作流快速构建准确且随时可部署的模型，您可以进一步定制这些模型。
观看这些 NVIDIA 技术在 Jetson AGX Orin 上的机器人用例。
视频 1 。 NVIDIA Jetson AGX Orin ：下一代机器人的下一级人工智能性能
在本入门视频中了解 Jetson AGX Orin 开发者工具包中的所有内容：
视频 2 。 Jetson AGX Orin 开发者工具包入门
有关 NVIDIA 技术的更多信息，我们将在NVIDIA Jetson ORIN 模块中，观看 Jetson 软件网络研讨会 .
开创自主机器和机器人技术的新时代
通过下订单开始开发所有四个 Jetson Orin 模块 Jetson AGX Orin 开发套件 下载 NVIDIA JetPack 5.0 SDK 。 Jetson AGX Orin 的其他文档可在 download center 上找到。有关信息和支持，请访问 NVIDIA 嵌入式开发者 页面和 论坛 获取社区专家的帮助。
