机器人

利用一个开发工具包的强大功能为所有六个 NVIDIA Jetson Orin 模块开发

 

随着本周在 GTC 的 Jetson Orin Nano 发表 推出,整个 Jetson Orin 模块阵容现已揭晓。 Orin Nano 模块拥有多达 40 个 AI 性能 TOPS ,为入门级 AI 设定了新标准,正如 Jetson AGX Orin 已经通过 275 个服务器级计算 TOPS 重新定义了机器人和其他自主边缘用例一样。

所有 Jetson Orin 模块和 Jetson AGX Orin Developer Kit 基于单个 SoC 架构,带有 NVIDIA 安培架构 GPU 、高性能 CPU 和最新加速器。这种共享架构意味着您可以为一个 Jetson Orin 模块开发软件,然后轻松地将其部署到任何其他模块。

您可以使用 Jetson AGX Orin 开发工具包立即开始开发任何 Jetson Orin 模块。开发人员工具包能够以本机方式模拟任何模块的性能,因此您可以立即开始,缩短上市时间。通过配置硬件特性和时钟以匹配目标模块的时钟,开发人员工具包可以精确模拟任何 Jetson Orin 模块的性能。

开发团队受益于只需要一种类型的开发人员工具包的简单性,而不管生产的目标是什么模块。这也简化了 CI / CD 基础架构。无论您是在开发机器人技术、视频分析还是任何其他用例,这一开发工具包的功能都会带来许多好处。

将 Jetson AGX Orin 开发工具包转换为任何 Jetson Orin 模块

只需一步,您就可以将 Jetson AGX Orin Developer Kit 转换为任何一个 Jetson Orin 模块。我们为这个过程提供了闪存配置文件。

在 Jetson AGX Orin Developer Kit 上模拟 Jetson Orin 模块,遵循中提到的相同步骤 to flash a Jetson AGX Orin Developer Kit using the flashing utilities 。在将开发工具包放入 Force Recovery Mode 后,闪光灯会闪烁。 sh 命令行工具用于用新图像刷新它。例如,以下命令使用默认配置刷新开发人员工具包:

$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1

您使用的确切命令应修改为适用于您要模拟的目标 Jetson Orin 模块的闪存配置名称。例如,要模拟 Jetson Orin NX 16GB 模块,请使用以下命令:

$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1

表 1 列出了 Jetson Orin 模块和闪存。适用于每个命令的 sh 命令。

Jetson Orin module to be emulated Flashing command
Jetson AGX Orin 64GB sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1
Jetson AGX Orin 32GB sudo ./flash.sh jetson-agx-orin-devkit-as-jao-32gb mmcblk0p
Jetson Orin NX 16GB sudo ./flash.sh jetson-agx-orin-devkit-as-onx16gb mmcblk0p1
Jetson Orin NX 8GB sudo ./flash.sh jetson-agx-orin-devkit-as-onx8gb mmcblk0p1
Jetson Orin Nano 8GB* sudo ./flash.sh jetson-agx-orin-devkit-as-nano8gb mmcblk0p1
Jetson Orin Nano 4GB sudo ./flash.sh jetson-agx-orin-devkit-as-nano4gb mmcblk0p1
表 1.闪光灯。 Jetson Orin 模块的 sh 命令

自版本 5.0.2 起, Jetson Orin Nano 模块的闪存配置尚未包含在 NVIDIA JetPack 中。请在 downloading them 之后使用这些新配置,并根据下载文件中的说明在 NVIDI JetPack 5.0.2 之上应用覆盖补丁。

有关用于仿真的闪存配置的更多信息,请参阅 Emulation Flash Configurations

闪存完成后,完成初始启动和配置。然后,您可以使用 SDK Manager 安装其余的 NVIDIA JetPack 组件,或者只需在运行的开发人员工具包上使用软件包管理器即可:

sudo apt update
sudo apt install nvidia-jetpack

现在您已经运行了开发人员工具包并安装了 NVIDIA JetPack 。您的 Jetson AGX Orin Developer Kit 现在可以模拟指定的 Jetson Orin 模块的性能和功率。

准确模拟任何 Jetson Orin 模块

本机模拟非常准确,因为它将开发人员工具包配置为与时钟频率、 GPU 和 CPU 内核的数量以及目标模块可用的硬件加速器相匹配。

例如,在模拟 Jetson Orin NX 16GB 模块时:

  • 显影剂套件 GPU 配置有 1024 个 CUDA 核和 32 个 Tensor 核,最大频率为 918 MHz 。
  • CPU 复合体配置有 8 个 Arm Cortex-A78AE 内核,运行频率为 2 GHz 。
  • DRAM 配置为 16 GB ,带宽为 102 GB / s 。
  • 系统提供了 Jetson Orin NX 16GB 模块支持的相同电源配置文件。
Screenshot shows that the available power modes on a developer kit flashed to emulate Jetson Orin NX 16GB matches the power modes available on Jetson Orin NX 16GB.
图 1 可用电源模式

从桌面上的顶部菜单打开 Jetson Power 图形用户界面,您会看到系统已根据模拟的目标模块进行了准确配置。通过运行以下命令可以配置最大时钟, Jetson Power 图形用户界面将显示更改。

sudo jetson_clocks

图 2 显示了当 Jetson AGX Orin Developer Kit 闪存到模拟的 Jetson AGX-Orin 64GB 模块时,与闪存到模拟 Jetson Orin NX 16GB 模块时相比,配置最大时钟后的 Jetson Power 图形用户界面。

Screenshot shows two sets of various system configurations adapted to the target modules.
图 2. Jetson 显示在开发人员工具包上的电源图形用户界面,用于在选择 MAXN 电源模式的情况下模拟 Jetson AGX Orin 64GB (左)和 Jetson Orin NX 16GB (右)

通过运行 NVIDIA JetPack 提供的各种示例,您可以看到性能已调整为与模拟的模块相匹配。例如,在配置 Jetson AGX Orin Developer Kit 以模拟相应模块后,与 VPI 库打包的基准测试示例可用于显示 Jetson AGX-Orin 64GB 、 Jetson Orin NX 16GB 和 Jetson Orin Nano 8GB 模块的 CPU 、 GPU 和 PVA 性能。

要运行 VPI 基准测试示例,请使用以下命令:

cd /opt/nvidia/vpi2/samples/05-benchmark
sudo cmake .
sudo make
sudo ./vpi_sample_05_benchmark <cpu/cuda/pva>

VPI 基准测试示例输出高斯算法的延迟(毫秒)。表 2 显示了每个目标模块的结果。

Algorithm: 5X5
Gaussian Filter Input Image Size: 1920 X 1080
Input Format: U16
Emulated as Jetson AGX Orin 64GB Emulated as Jetson Orin NX 16GB Emulated as Jetson Orin Nano 8GB
Running on CPU 0.331 0.492 0.838
Running on GPU 0.065 0.143 0.210
Running on PVA 1.169 1.888
表 2.目标模块的延迟(毫秒)

同样,您可以运行多媒体样本进行编码和解码。

要解码,请运行以下命令:

cd /usr/src/jetson_multimedia_api/samples/00_video_decode
sudo make
sudo ./video_decode H264 --disable-rendering --stats --max-perf <input file>

要进行编码,请运行以下命令:

cd /usr/src/jetson_multimedia_api/samples/01_video_encode
sudo make
sudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats

表 3 报告了使用 H.264 1080P 30FPS 视频流运行这些编码和解码样本后的 FPS 数。

Encode/Decoder Sample Emulated as Jetson AGX Orin 64GB Emulated as Jetson Orin NX 16GB Emulated as Jetson Orin Nano 8GB
Encode 178 142 110*
Decode 400 374 231
表 3.运行编码和解码样本后的 FPS 数

* Jetson Orin Nano 不包括 NVEncoder 。对于表 3 , Jetson Orin Nano 的编码是使用 ffmpeg 在 CPU 上完成的。使用四个 CPU 磁芯时,可实现 110 FPS 。当使用两个 CPU 岩芯时, FPS 达到 73 ;当使用单个 CPU 岩心时, FPS 达到 33 。

为了证明仿真的准确性,我们在 Jetson AGX Orin Developer Kit 上运行了一些 AI 模型基准测试,模拟为 Jetson AGX-Orin 32GB 。然后,我们将其与在实际 Jetson AGX-Orin 32GB 模块上运行相同基准测试所获得的结果进行比较。从结果中可以看出,模拟性能和实际性能之间的差异微不足道。

尽管 Jetson AGX Orin Developer Kit 包括 32GB 模块,但它提供了相同级别的性能,并且配备了 275 个 TOPS ,与 Jetson AGX-Orin 64GB 相匹配。 Jetson AGX Orin 64 GB 仿真不需要特殊的闪存配置,但您必须使用适当的闪存配置在 Jetson AGX-Orin Developer Kit 上仿真 Jetson AGX-Orin 32GB 。

Model Jetson AGX Orin 32GB Emulated Jetson AGX Orin 32GB Real
PeopleNet (V2.5) 327 320
Action Recognition 2D 1161 1151
Action Recognition 3D 70 71
LPR Net 2776 2724
Dashcam Net 1321 1303
BodyPose Net 359 363
表 4.真实和模拟 Jetson AGX Orin 模块之间的性能比较

对任何 Jetson Orin 模块进行端到端开发

您可以在模拟 Jetson Orin 模块时使用整个 Jetson 软件堆栈。 NVIDIA DeepStream 、 NVIDIA -Isaac 和 NVIDIA Riva 等框架在仿真模式下工作,而 TAO Toolkit 等工具在 NGC 的预处理模型中的性能如预期。软件堆栈与仿真无关,性能与被仿真的目标精确匹配。

Diagram shows the stack architecture with the NVIDIA JetPack SDK, frameworks such as NVIDIA DeepStream, NVIDIA Isaac, and NVIDIA Riva, and NVIDIA tools like Train-Adapt-Optimize and pretrained models.
图 4. NVIDIA Jetson 软件堆栈

如果您正在开发机器人用例或开发视觉 AI 管道,您现在可以使用 Jetson AGX Orin Developer Kit 和仿真模式对任何 Jetson Orin 模块进行端到端开发。

使用 NVIDIA ISAAC ROS 为任何 Jetson Orin 模块开发机器人应用程序。只需使用正确的闪存配置来闪存并启动 ROS 开发。图 5 显示了在 Jetson AGX Orin Developer Kit 上运行 Isaac ROS Stereo Disparity DNN ,模拟为 Jetson Orin Nano 8GB 。

Stereo disparity is running on a warehouse scene where a front loader is traveling across the screen.
图 5. NVIDIA ISAAC ROS 立体视差 DNN 运行在 Jetson AGX Orin Developer Kit 上,模拟为[ZVK 4] Orin Nano 8GB

使用 Jetson AGX Orin Developer Kit 上的 DeepStream 为任何 Jetson Orin 模块开发视觉 AI 管道。它真的很管用!

图 6 显示了在 Jetson AGX Orin Developer Kit 上使用 DeepStream 运行人员检测的 IVA 管道,模拟为 Jetson Orin Nano 8GB ,具有四个 H.265 1080P 30FPS 流。

People are detected with a blue bounding box and cars with a red bounding box.
图 6. DeepStream 视觉管道运行 Jetson AGX Orin Developer Kit 上的人员和车辆检测,模拟为 Jetson Orin Nano 8GB

使用 Jetson AGX Orin 开发工具包更快地进入市场

有了仿真支持,您可以通过在 Jetson AGX Orin Developer Kit 上启动和完成应用程序开发来更快地投入生产。购买套件并开始开发。我们还将在即将推出的 NVIDIA JetPack 5.0.2 webinar 中详细介绍仿真。立即注册参加网络研讨会!

 

Tags