计算机视觉/视频分析

使用 NVIDIA Jetson Orin Nano 开发套件开发人工智能机器人、智能视觉系统等

NVIDIA Jetson Orin Nano Developer Kit 为创建入门级人工智能机器人、智能无人机和智能视觉系统设定了一个新标准,如 NVIDIA announcedNVIDIA GTC 2023 。它还简化了 NVIDIA Jetson Orin Nano 系列的入门。紧凑的设计、众多的连接器和高达 40 项人工智能性能,使这款开发套件成为将您富有远见的概念转化为现实的理想选择。

该开发套件由一个 Jetson Orin Nano 8GB模块和一个参考承载板组成,该承载板可容纳所有 NVIDIA Jetson Orin Nano-和 NVIDIA ZVK4]Orin NX模块,为下一代边缘人工智能产品的原型设计提供了理想的平台。

Jetson Orin Nano 8 GB 模块采用 NVIDIA Ampere architecture GPU ,具有 1024 个 CUDA 内核、 32 个第三代张量内核和一个 6 核 Arm CPU ,可实现多个并发人工智能应用管道和高性能推理。开发套件载板拥有广泛的连接器阵列,包括两个 MIPI CSI 连接器,支持多达四个通道的相机模块,实现了比以前更高的分辨率和帧速率。

上一代 Jetson 纳米开发套件使每个人都可以访问人工智能。新的 Jetson Orin Nano 开发套件以 80 倍的性能提高了入门级人工智能开发的门槛,使开发人员能够运行任何类型的现代人工智能模型,包括 transformer 和高级机器人模型。与上一代 Jetson Nano 相比,它不仅大大提高了人工智能性能, Jetson Orin Nano 还提供了 5.4 倍的 CUDA 计算、 6.6 倍的 CPU 性能和 50 倍的每瓦性能。

Graph showing performance and efficiency comparison between NVIDIA Jetson Orin Nano and NVIDIA Jetson Nano.
图 1 。 NVIDIA Jetson Orin Nano 和 NVIDIA Jetson Nano 的性能和效率比较

NVIDIA Jetson Orin Nano 开发套件功能

NVIDIA Jetson Orin Nano 开发套件包括一个特殊的 NVIDIA -Orin Nano 8GB 模块,带有 SD 卡插槽、参考承载板、预装散热器/风扇、 19V 直流电源和一个基于 M.2-Key E 的无线网络模块。除了可引导的 microSD 卡插槽外,托架下侧还提供了两个 M.2 Key-M NVMe 插槽,用于高速存储。

Jetson Orin Nano Developer Kit depicted from various angles.
图 2 . Jetson Orin Nano 开发套件包括一个 Jetson Oriin Nano 8 GB 计算模块、参考承载板、散热器/风扇、直流电源和 802.11ac / abgn WLAN + BT 模块

表 1 和表 2 显示了套件承载板的主要功能和接口。

MODULE NVIDIA Jetson Orin Nano 8 GB Module
GPU NVIDIA Ampere architecture with 1024 NVIDIA CUDA Cores and
32 Tensor Cores
CPU 6-core Arm Cortex-A78AE v8.2 64-bit CPU
1.5 MB L2 + 4 MB L3
Memory 8 GB 128-bit LPDDR5
68 GB/s
Storage External through microSD slot
External NVMe through M.2 Key M
Power 7 W to 15 W
[版本x88]

 

REFERENCE CARRIER BOARD  
Camera 2x MIPI CSI-2 22-pin Camera Connectors
M.2 Key M x4 PCIe Gen3
M.2 Key M x2 PCIe Gen3
M.2 Key E PCIe (x1), USB 2.0, UART, I2S, and I2C
USB Type A: 4x USB 3.2 Gen2Type C: 1x for Debug and Device Mode
Networking 1x GbE Connector
Display DisplayPort 1.2 (+MST)
microSD slot UHS-1 cards up to SDR104 mode
Others 40-pin Expansion Header (UART, SPI, I2S, I2C, GPIO)12-pin button header4-pin fan headerDC power jack
Dimensions 100 mm x 79 mm x 21 mm(Height includes feet, carrier board, module, and thermal solution)
表 2 。 NVIDIA Jetson Orin Nano 开发套件载板规格

Jetson Orin Nano 开发套件现在可以预订,价格为 499 美元,将于 4 月开始发货。要访问 Jetson Orin Nano 技术文档、参考设计文件和软件,请访问 Jetson Download Center

Jetson Orin Nano 运行所有现代人工智能模型

Jetson Orin Nano 开发套件具有高达 40 个 TOPS 的人工智能性能,可以运行所有现代人工智能模型。这一计算上的重大飞跃使最苛刻的人工智能应用成为可能,包括在边缘运行 transformer 模型,而这在 Jetson Nano 之前是不可能的。

transformer 模型是最近生成人工智能应用程序的基础,如 ChatGPT 和 DALL-E ,它们正在席卷世界。 transformer 模型通过跟踪序列数据中元素之间的关系来学习上下文和意义,从而消除了对大型标记数据集的需求。

立即开始支持:

Jetson 软件加速 AI 和 TTM

Jetson Orin Nano 开发套件运行 NVIDIA AI 软件堆栈,具有可用的特定于用例的应用程序框架。其中包括用于机器人的 NVIDIA Isaac 、用于视觉人工智能的 NVIDIA DeepStream 和用于会话人工智能的 NVIDIA Riva 。使用 NVIDIA Omniverse Replicator 可以节省大量时间用于合成数据生成( SDG ),使用 NVIDIA TAO Toolkit 可以从 NGC 目录中微调预训练的人工智能模型。

图 3 显示了使用即将推出的 NVIDIA JetPack 5.1.1 使用 Jetson Orin Nano 运行一些计算机视觉基准测试的结果。这些结果表明,开发工具包提高了入门级计算机视觉的标准。测试包括 NGC 的一些密集的 INT8 和 FP16 预训练模型,以及 Industry Resnet-50 基准。基准测试包括以下内容:

Table and graph with Computer Vision Models Performance showing 30x performance of NVIDIA Orin Nano 8 GB compared to Nano, with future performance expected to be 40x.
图 3 。对 Jetson Nano 和 Jetson Orin Nano 8 GB 的预训练模型进行基准测试的结果

Jetson Orin Nano 开发套件是一个多功能平台,支持使用 NVIDIA TAO Toolkit 4.0 训练的模型,并将很快支持 TAO Toolkit 5.0 中新发布的模型。使用 TAO Toolkit 5.0 ,开发人员可以利用几种最先进的视觉 transformer 模型进行图像分类、对象检测和分割用例。要了解更多信息,请参阅 Access the Latest in Vision AI Model Development Workflows with NVIDIA TAO Toolkit 5.0 .

NVIDIA Jetson Orin Nano 和 NVIDIA DeepStream 是边缘应用的理想组合,如智能零售、智能城市十字路口和工业自动化。随着 DeepStream 即将推出的版本,以及 GXF 运行时的引入, Jetson Orin Nano 是运行 AI 图形的理想平台,这些图形需要与确定性系统紧密集成,这在工厂自动化用例中很常见。

此外,您可以使用最新版本的 Jetson Graph Composer 构建应用程序,并通过单击按钮将其部署到 DeepStream Orin Nano ,从而快速熟悉 DeepStream 。

Visual of DeepStream Graph Composer, showing various components .
图 4 。在 DeepStream Graph Composer 中构建应用程序,并将其部署到 Jetson Orin Nano

在 NVIDIA Jetson Orin 上使用 NVIDIA Jetson 加速机器人应用

NVIDIA Isaac 机器人平台是一个强大的端到端平台,用于开发、模拟和部署人工智能机器人。特别是 NVIDIA Isaac ROS ,一组硬件加速包,使 ROS 2 开发人员更容易在 Jetson Orin Nano 开发套件上构建高性能解决方案。新的 NVIDIA Isaac ROS DP 版本优化了 ROS 2 节点处理管道,可以在 Jetson Orin 平台上执行。它还提供了新的基于 DNN 的 GEMS ,旨在提高吞吐量。

图 4 显示了使用即将发布的 NVIDIA ISAAC ROS DP3 在 Jetson Orin Nano 上运行这些机器人软件包的结果。性能是在负载下测量的,包括 RCL 中的消息传输成本,用于指示真实世界性能的实际基准测试。测试包括图表中所示的算法(图 4 ),包括:

Graph of Isaac ROS GEMs showing performance, latency, and resolution.
图 5 。 NVIDIA Jetson Orin Nano 8 GB 上 NVIDIA Isaac ROS GEM 的性能、延迟和分辨率

 

视频 1 。了解如何开始使用 NVIDIA Jetson Orin Nano 开发套件

要开始构建下一代应用程序的原型,请 preorder the NVIDIA Jetson Orin Nano Developer Kit 并安装最新的 NVIDIA JetPack 。请查看您所在地区的经销商是否可以预订。

Image of NVIDIA Jetson Orin Nano Developer Kit
图 6 。 NVIDIA Jetson Orin Nano 开发套件

NVIDIA Jetson Orin 系列生产模块的完整阵容现已上市, 包括 Jetson AGX Orin 系列、 Jetson Orin NX 系列和 Jetson Orin Nano 系列。 Jetson AGX Orin 开发套件现已升级,包含 64GB 内存,价格与 1999 美元相同。

额外资源

有关 NVIDIA Jetson Orin Nano 开发套件的更多信息,请观看 NVIDIA GTC 2023 会话, Connect with the Experts: A Deep-Dive Q&A on Jetson Orin and Edge AI.

要了解有关该模块的更多信息,请参阅 Solving Entry-Level Edge AI Challenges with NVIDIA Jetson Orin NanoJetson Orin Nano Series Data Sheet.

访问 NVIDIA Embedded Developer 页面和 forums 以获得社区专家的帮助。

Tags