计算机视觉/视频分析

使用 NVIDIA Jetson Orin Nano 解决入门级边缘人工智能挑战

2022 年 GTC , NVIDIA 宣布 Jetson Orin Nano 系列系统模块( SoM )。它们的 AI 性能是 NVIDIA Jetson Nano 的 80 倍,为入门级边缘 AI 和机器人应用设定了新标准。

Jetson 系列现在首次包括基于 NVIDIA Orin 的模块,从入门级的 Jetson Orin Nano 到最高性能的 Jetson AGX Orin 。这使客户能够灵活地轻松扩展其应用程序。

借助 Jetson AGX Orin Developer Kit 提供的完整软件仿真支持,立即启动您的 Jetson Orin Nano 开发。

跨行业的日常用例对增强实时处理能力的需求继续增长。入门级 AI 应用程序,如智能相机、手持设备、服务机器人、智能无人机、智能仪表等,都面临着类似的挑战。

这些应用程序需要在设备上对来自其多模式传感器管道的数据进行更低延迟的处理,同时保持在节能、成本优化的小尺寸尺寸的限制范围内。

Jetson Orin Nano 系列

Jetson Orin Nano 系列生产模块将于 1 月份上市,起价 199 美元。这些模块以最小的 Jetson 外形尺寸提供高达 40 TOPS 的 AI 性能,功率选项低至 5W ,高达 15W 。该系列有两个不同的版本: Jetson Orin Nano 4GB 和 Jetson Orin Nano 8GB 。

Block diagram of Jetson Orin Nano including up to 1024 Core NVIDIA Ampere Architecture GPU, 6 core Arm Cortex-A78AE CPU, 4 or 8 GB of memory, NVDec, ISP, Video Image Compositor, APE, Power Subsystem, and various interfaces including seven lanes of PCIe Gen3, 3x USB 3.2 Gen2, 3x USB, I2C, QSPI, CAN, GPIO, UART, I2S, and PWM.
图 1. Jetson Orin Nano 的方块图

* Jetson Orin Nano 8GB 的 NVIDIA Orin 架构, Jetson Orin Nano 4GB 有 2 个 TPC 和 4 个 SM 。

如图 1 所示, Jetson Orin Nano 展示了带有 NVIDIA 安培架构 GPU 的 NVIDIA -Orin 架构。它有多达 8 个流式多处理器( SM ),由 1024 个 CUDA 核和多达 32 个用于 AI 处理的张量核组成。

NVIDIA Ampere Architecture 第三代 Tensor Cores 的每瓦特性能优于前一代,并在支持稀疏性的情况下带来更高的性能。通过稀疏性,您可以利用深度学习网络中的细粒度结构化稀疏性,将 Tensor Core 操作的吞吐量提高一倍。

为了加速应用程序管道的所有部分, Jetson Orin Nano 还包括一个 6 核 Arm Cortex-A78AE CPU 、视频解码引擎、 ISP 、视频图像合成器、音频处理引擎和视频输入块。

Jetson Orin Nano 模块占地面积小,为 70x45mm , 260 针 SODIMM ,包括各种高速接口:

  • 最多七条 PCIe Gen3 通道
  • 三个高速 10 Gbps USB 3.2 Gen2 端口
  • 八通道 MIPI CSI-2 摄像头端口
  • 各种传感器 I / O

为了减少您的工程工作量,我们已使 Jetson Orin Nano 和 Jetson Orin NX 模块完全兼容引脚和外形。表 1 显示了 Jetson Orin Nano 4GB 和 Jetson Orin Nano 8GB 之间的差异。

  Jetson Orin Nano 4GB Jetson Orin Nano 8GB
AI 性能 20 Sparse TOPs | 10 Dense TOPs 40 Sparse TOPs | 20 Dense TOPs
GPU 512-core NVIDIA Ampere Architecture GPU with 16 Tensor Cores 1024-core NVIDIA Ampere Architecture GPU with 32 Tensor Cores
GPU 最大频率 625 MHz
CPU 6-core Arm Cortex-A78AE v8.2 64-bit CPU 1.5 MB L2 + 4 MB L3
CPU 最大频率y 1.5 GHz
内存 4GB 64-bit LPDDR5 34 GB/s 8GB 128-bit LPDDR5 68 GB/s
储存
(Supports external NVMe)
视频加码 1080p30 supported by 1-2 CPU cores
视频解码 1x 4K60 (H.265) | 2x 4K30 (H.265) | 5x 1080p60 (H.265) | 11x 1080p30 (H.265)
摄像头 Up to 4 cameras (8 through virtual channels*) 8 lanes MIPI CSI-2 D-PHY 2.1 (up to 20 Gbps)
PCIe 1 x4 + 3 x1 (PCIe Gen3, Root Port, & Endpoint)
USB 3x USB 3.2 Gen2 (10 Gbps) 3x USB 2.0
网络 1x GbE
Display 1x 4K30 multimode DisplayPort 1.2 (+MST)/e DisplayPort 1.4/HDMI 1.4*
其他 I/O 3x UART, 2x SPI, 2x I2S, 4x I2C, 1x CAN, DMIC and DSPK, PWM, GPIOs
电量 5W – 10W 7W – 15W
机械 69.6 mm x 45 mm 260-pin SO-DIMM connector
价格 $199 $299
表 1. Jetson Orin Nano 系列规格

*有关 DisplayPort 1.4a 和 HDMI 2.1 以及虚拟通道的其他兼容性的更多信息,请参阅 Jetson Orin Nano 系列数据表。
1KU 容量
有关支持的功能的更多信息,请参阅最新 NVIDIA Jetson Linux 开发人员指南软件特征 部分。

立即使用 Jetson AGX Orin Developer Kit 和模拟开始您的开发

Jetson AGX Orin Developer Kit 和所有 Jetson Orin 模块共享一个 SoC 架构,使开发人员工具包能够模拟任何模块,使您能够轻松开始开发下一个产品。

在开始将其应用程序移植到新的 NVIDIA Orin 体系结构和最新的 NVIDIA JetPack 之前,您无需等待 Jetson Orin Nano 硬件可用。使用 今天发布的新叠加层 ,您可以使用开发人员工具包模拟 Jetson Orin Nano 模块,就像其他 Jetson Orin 模块一样。通过将开发人员工具包配置为模拟 Jetson Orin Nano 8GB 或 Jetson Orin Nano 4GB ,您可以开发和运行完整的应用程序管道。

Image of Jetson AGX Orin Developer Kit with six Jetson Orin m
图 2.模拟所有六个 Jetson Orin 模块

Jetson Orin Nano 的性能基准

凭借 Jetson AGX Orin , NVIDIA 在 MLPerf 的 inference performance 类别中处于领先地位。 Jetson Orin 模块为您的下一代应用程序提供了巨大的飞跃,现在入门级 AI 设备也可以使用相同的 NVIDIA Orin 架构。

我们使用 NVIDIA JetPack 5.0.2 的仿真模式运行 Jetson Orin Nano 的计算机视觉基准测试,结果显示了它是如何设置新标准的。测试包括来自 NGC 的一些密集 INT8 和 FP16 预处理模型,以及标准 ResNet-50 模型。我们还在 Jetson Nano 、 TX2 NX 和 Xavier NX 上运行相同的模型进行比较。

以下是基准的完整列表:

Benchmarks comparing Jetson Nano, Jetson TX2 NX, and Jetson Orin Nano.
图 3. Jetson Orin Nano 系列基准编号
Benchmarks comparing Jetson Nano, Jetson TX2 NX, and Jetson Orin Nano. These demonstrate a 30X performance jump from Jetson Nano to Jetson Orin Nano 8GB, with expected future optimizations raising this to a 45X performance jump.
图 4. Jetson Orin Nano 系列基准图

以这些基准的平均值来看, Jetson Orin Nano 8GB 的性能比 Jetson Nano 提高了 30 倍。随着未来软件的改进,我们预计性能将提高 45 倍。其他 Jetson 设备自其第一个支持软件发布以来,性能提高了 1.5 倍,我们预计 Jetson Orin Nano 也会如此。

Jetson 运行 NVIDIA AI 软件堆栈,并提供特定于用例的应用程序框架,包括用于机器人的 NVIDIA Isaac 、用于视觉 AI 的 NVIDIA DeepStream 和用于会话 AI 的 NVIDIA Riva 。使用 NVIDIA Omniverse Replicator 可以节省大量时间用于合成数据生成( SDG ),使用 NVIDIA TAO Toolkit 可以节省大量的时间用于微调 NGC 目录中的预处理 AI 模型。

Jetson 与整个 NVIDIA AI 加速计算平台的兼容性使开发和无缝迁移变得容易。有关我们引入 Jetson Orin 的 NVIDIA 软件技术的更多信息,请加入我们即将推出的 webinar about NVIDIA JetPack 5.0. 2

使用 NVIDIA ISAAC ROS 增强入门级机器人

Jetson Orin 平台旨在解决最棘手的机器人挑战,并为 70 多万 ROS 开发者带来加速计算。结合 Jetson Orin Nano 强大的硬件功能, ROS 最新 NVIDIA ISAAC 软件的增强功能为机器人专家提供了卓越的性能和生产力。

新的 Isaac ROS DP 版本优化了可以在 Jetson Orin 平台上执行的 ROS2 节点处理管道,并提供了新的基于 DNN 的 GEMS ,旨在提高吞吐量。 Jetson Orin Nano 可以利用那些高度优化的 ROS2 packages 执行定位、实时 3D 重建和深度估计等任务,这些任务可用于避障。

与只能处理简单应用程序的原始 Jetson Nano 不同, Jetson Orin Nano 可以运行更复杂的应用程序。随着不断致力于提高 NVIDIA ISAAC ROS ,您将看到 Jetson Orin 平台的精确度和吞吐量随着时间的推移而不断提高。

对于开发下一代服务机器人、智能无人机等的机器人专家来说, Jetson Orin Nano 是一种理想的解决方案,它具有高达 40 个 TOPS ,可在节能和小尺寸的情况下实现现代 AI 推理管道。

订购 最新的 NVIDIA JetPack 并安装 最新的 NVIDIA JetPack ,开始为所有六个 Jetson Orin 模块开发。

有关用于模拟 Jetson 下载中心 Orin Nano 模块的覆盖层的更多信息,请参阅 Jetson Linux ,并阅读 Jetson 上提供的 NVIDIA Jetson Orion Nano 文档。有关更多信息和支持,请参阅 NVIDIA Embedded D开发者 页面和 Jetson 论坛 。

 

Tags