NVIDIA DRIVE Hyperion 自动驾驶汽车开发平台

NVIDIA DRIVE Hyperion™ 是一款用于设计自动驾驶汽车 (AV) 的端到端模组化开发平台和参考架构。新一代产品包括 NVIDIA DRIVE AGX Orin™、DRIVE AGX Pegasus 和 DRIVE Hyperion 8.1 开发者套件,所有这些产品均基于 NVIDIA DRIVE Orin 系统级芯片 (SoC) 构建。这些可扩展平台包括基础的 NVIDIA DRIVE® SDK(DRIVE OS 和 DriveWorks)以及传感器,可在自动驾驶汽车开发中提供更高级别的安全性和效率。



请在此处查看 NVIDIA DRIVE HYPERION 7.1


DRIVE Hyperion 8.1 开发者套件的实际应用

DRIVE Hyperion 的主要优势

高性能

NVIDIA DRIVE AGX™ 模组化计算平台可提供丰富的汽车 IO 和每 SoC 254 TOPS 的运算性能,并基于车规级芯片构建。

算法开发

传感器组经过了安全认证,并且具有经过生产验证的传感器驱动和调优功能,能够加速算法开发。

数据生产力

准确的传感器校正、精确的时间同步、高效的数据压缩和集成的实用程序有助于提升整个数据处理工作流的效率。

优化和测试

NVIDIA DRIVE Sim™ 中包含一些虚拟传感器,这些传感器采用了物理级准确的光线追踪功能,能够使用合成数据以虚拟方式测试和增强数据集。

DRIVE AGX Orin 开发者套件

DRIVE AGX Orin 开发者套件能够利用 DRIVE Orin SoC 的高性能计算能力为自动驾驶功能、置信视图、数字集群、信息娱乐以及乘客与 AI 的交互提供强效助力。使用此可扩展平台,开发者可在整个车队中构建、扩展和利用一次开发投资。

DRIVE AGX Orin 开发者套件

DRIVE AGX Orin 开发者套件

  • 由可提供高达 254 TOPS 的单个 Orin 模组提供强效助力
  • 包括开发生产级自动驾驶汽车应用所需的硬件、软件和示例应用
  • 符合生产标准的车规级芯片构建
  • 提供丰富的汽车 I/O 和灵活性以进行扩展
  • 可直接用于工作台或用于车辆开发
  • 如需预订,请联系您的 NVIDIA 代表。
组件说明详细信息
一个 Orin SoC深度学习加速器 (DLA)87 TOPS (INT8)
NVIDIA Ampere 架构级集成式 GPU167 TOPS (INT8) | 5.2 TOPS (FP32)
图像信号处理器 (ISP)18.5 亿像素/秒
DRIVE AGX 系统 I/O摄像头90 Gb/秒(16 个 GMSL(R) 端口)
激光雷达/雷达约 30 Gb/秒(以太网)
汽车 IO6 个 CAN 接口

组件说明详细信息
一个 Orin SoC12 Cortex-A78A CPU
深度学习加速器 (DLA)87 TOPS (INT8)
NVIDIA Ampere 架构级集成式 GPU167 TOPS (INT8) | 5.2 TOPS (FP32)
可编程视觉加速器 (PVA)2048 GMACS (INT8) | 512 GMACS (INT16)
图像信号处理器 (ISP)18.5 亿像素/秒
视频编码器高达 10 亿像素/秒 (H.265)
视频解码器高达 19 亿像素/秒
显存带宽(256 位 LPDDR5)约 200GB/秒
DRIVE AGX 系统 I/O摄像头90 Gb/秒(16 个 GMSL(R) 端口)
激光雷达/雷达约 30 Gb/秒(以太网)
汽车 I/O6 个 CAN 接口
包含的附件 网络接口适配器将 1GbE 加固型汽车 HMT-D IO 转换为标准以太网 RJ45 IO
其他线缆将 DRIVE AGX 系统连接到主机开发计算机

可扩展的自动驾驶汽车平台

  • 适用于多个并发 AI 推理流程的 254 TOPS
  • 架构安全
  • 使用完全组装的开发者套件简化软件开发
  • 通过轻松连接多个框来提高性能

丰富的汽车 I/O

  • 16 个 GMSL 摄像头
  • 2x 10GbE、10x 1GbE、6x 100 MbE
  • DisplayPort 1.4
  • 汽车音频总线 (A2B)

NVIDIA DRIVE SDK 支持

  • 包括基础软件堆栈、配备 DriveWorks 的 NVIDIA DRIVE OS
  • 包含一套丰富的开发者工具,例如 NvMedia、NvStreams、CUDA®、cuDNN 和 TensorRT™

DRIVE AGX Pegasus DevKit

NVIDIA DRIVE AGX Pegasus OA 开发者套件专为 L4 级和 L5 级自动驾驶系统而设计和构建。该平台包括 DRIVE Orin 模组、DRIVE A100 GPU 和 DRIVE ConnectX-7 网络处理模组,可提供开发全自动无人驾驶出租车所需的性能和可扩展性。

DRIVE AGX Pegasus OA 开发者套件

DRIVE AGX Pegasus OA 包含三个模组:

  • NVIDIA DRIVE Orin 模组(由 Orin SoC 提供支持)
  • NVIDIA DRIVE ConnectX-7 网络处理模组
  • NVIDIA DRIVE A100 GPU 模组

这三个模组协同工作,使 Pegasus OA 能够提供约 1000 TOPS 的性能,足以为最复杂设计领域的自主系统提供支持。

如需预订,请联系您的 NVIDIA 代表。必须签订协议。


组件说明详细信息
一个 Orin SoC深度学习加速器 (DLA)87 TOPS (INT8)
NVIDIA Ampere 架构级集成式 GPU167 TOPS (INT8) | 5.2 TOPS (FP32)
图像信号处理器 (ISP)18.5 亿像素/秒
一个 A100 GPUTensor Core 峰值性能900 TOPS (INT8)
一个 ConnectX-7 网络处理模组网络高达 2x 50GbE
DRIVE AGX 系统 I/O摄像头90 Gb/秒(16 个 GMSL(R) 端口)
激光雷达/雷达约 30 Gb/秒(以太网)
汽车 I/O6 个 CAN 接口

组件说明详细信息
一个 Orin SoC12 Cortex-A78A CPU
深度学习加速器 (DLA)87 TOPS (INT8)
NVIDIA Ampere 架构级集成式 GPU167 TOPS (INT8) | 5.2 TOPS (FP32)
可编程视觉加速器 (PVA)2048 GMACS (INT8) | 512 GMACS (INT16)
图像信号处理器 (ISP)18.5 亿像素/秒
视频编码器高达 10 亿像素/秒 (H.265)
视频解码器高达 19 亿像素/秒
显存带宽(256 位 LPDDR5)约 200GB/秒
一个 A100 GPUTensor Core 峰值性能900 TOPS (INT8)
PCI Express 接口PCI Express 4.0 x16
总帧缓存32GB
显存带宽1433Gbps
一个 ConnectX-7 网络处理模组网络高达 2x 50GbE
安全性IPSec、MACSec
DRIVE AGX 系统 I/O摄像头90 Gb/秒(16 个 GMSL(R) 端口)
激光雷达/雷达约 30 Gb/秒(以太网)
汽车 I/O6 个 CAN 接口
包含的附件网络接口适配器将 1GbE 加固型汽车 HMT-D IO 转换为标准以太网 RJ45 IO
其他线缆将 DRIVE AGX 系统连接到主机开发计算机

开放式和可扩展自动驾驶汽车平台

  • 专为汽车打造
  • 丰富的汽车 I/O
  • 包括基础软件堆栈、带 DriveWorksNVIDIA DRIVE OS
  • 包含一套丰富的开发者工具,例如 NvMedia、NvStreams、CUDA、cuDNN 和 TensorRT

DRIVE Orin 模组

  • 车规级认证模组以节能高效和紧凑的外形为边缘提供加速 AI 性能
  • 性能是上一代产品的 8 倍以上
  • 提供 254 TOPS,支持多个并发 AI 推理管道
  • 加快上市速度

DRIVE A100 GPU 模组

  • 专为自动驾驶汽车打造的出色 GPU,采用车规级外形规格
  • 性能是上一代产品的 7 倍
  • 针对推理管道的 900 TOPS 性能
  • 可划分为六个 GPU 实例,用于处理各种工作负载

DRIVE ConnectX-7 网络处理模组

  • 提供最高网络性能,以处理最具挑战性的工作负载
  • 100 Gbps 吞吐量
  • 提供额外的加速和卸载 CPU,为自动驾驶汽车提供所需的可扩展性和功能丰富的技术

DRIVE Hyperion 8.1 DevKit

DRIVE Hyperion 开发者套件是一种自动驾驶汽车参考架构,可在生产过程中加速开发、测试和验证。它将基于 Orin 的 AI 计算与完整的传感器组和完整的软件堆栈集成在一起。

DRIVE Hyperion 8.1 DevKit 包括:

  • 3 个 DRIVE AGX Orin DevKits
  • 2 个 DRIVE 记录仪
  • 2 个智能存储设备
  • L2+/L3 级传感器组,为安全而构建

借助此参考架构,开发者可以使用紧凑的记录和回放工具,从车辆传感器中截取原始数据,并回放编码数据进行模拟。DRIVE Hyperion 还可简化对 NVIDIA DRIVE 感知的评估。

DRIVE Hyperion 参考架构

组件说明详细信息
DRIVE AGX Orin DevKit一个 Orin SoC254 TOPS (INT8)
摄像头90 Gb/秒(16 个 GMSL(R) 端口)
激光雷达/雷达约 30 Gb/秒(以太网)
汽车 I/O6 个 CAN 接口
DRIVE 记录仪两个 Orin SoC508 TOPS (INT8)
两个 Mellanox ConnectX6-DX2x 100GbE (QSFP28)
网络4x 100GbE QSFP;4x 10GbE RJ45
PCI Express4 个 PCI Express Gen4 通道 (8Gbps)
汽车 I/O适用于 CAN/A2B/FlexRay/GPIO 的线束
智能网络连接存储 (NAS)存储带宽2GB/s 无损数据记录
PCI Express4 个 PCI Express Gen4 通道
存储空间4x M.2 NVMe SSD(可热插拔)

自动驾驶汽车传感器组和堆栈

  • 生产就绪型摄像头驱动和 ISP 调优功能,可在 DRIVE Orin 中提供即插即用性能
  • L2+/L3 级传感器组,为安全而构建

FUSA 计算机体系架构

  • 功能安全的生产就绪型自动驾驶汽车和 IX 平台
  • 并提供最高等级的功能安全与网络安全

4D 数据采集系统

  • 通过对应方式超时采集 3D 真值数据,以确保准确性
  • 能够提高数据生产力并加速自动驾驶汽车 (AV) 开发

DRIVE Sim 中的虚拟传感器

  • 适用于 Hyperion 8DRIVE Sim 传感器模型
  • 使用完整的虚拟车辆和准确的传感器数据加快自动驾驶汽车系统开发

传感器

DRIVE Hyperion Level 2+/Level 3 传感器组包含 12 个摄像头、9 个雷达、1 个激光雷达和 12 个超声波,所有这些传感器均经过生产调整和验证。这些传感器专为实现最高级别的功能安全和网络安全而设计,完全同步,可支持高质量的 4D 数据采集。这些传感器的 NVIDIA DRIVE Sim 模型可以开箱即用进行测试和验证。

DRIVE Hyperion 传感器组包含 12 个广角鱼眼摄像头。

摄像头

用于近视距的广角鱼眼摄像头与用于远视距离的高保真广角远程 800 万像素摄像头相搭配,可检测更长距离。

了解详情
DRIVE Hyperion 传感器有九个雷达。

雷达

多个雷达用于重叠的正面、侧面和角落的可见性和冗余,增加了复杂的城市环境驾驶的角度和垂直分辨率。

了解详情
DRIVE Hyperion 传感器组具有高分辨率激光雷达。

激光雷达

前中车规级激光雷达可实现额外的冗余视觉层,以及用于采集真值 (GT) 数据的屋顶高分辨率激光雷达。

了解详情
DRIVE Hyperion 传感器带有车辆测距感知。

IMU + GPS

车辆测距感知可实现精确定位和真值确定。

了解详情

Hyperion 8.1 传感器规格

传感器数量和类型 功能 详细信息
8 个外部摄像头 广域和远距视野索尼 IMX728,8.3MPx
4 个外部摄像头鱼眼近距视野索尼 IMX623,3.0MPx
6 个雷达角落和侧面感知Hella 短程雷达
3 个雷达前面和后面感知Continental 1x Imaging 和 2x 远程雷达
1 个激光雷达前面冗余感知Luminar
3 个内部摄像头驾驶员监控系统1 个 OVT – OV2311、2Mpx
乘客监控系统2 个 OVT – OX05B1S、5Mpx
2 个 IMUS车辆动态检测Continental
1 个 GPS车辆位置检测U-blox
1 个开发激光雷达真值数据采集Hesai
1 个开发 GNSS真值数据采集Novatel
详细了解传感器
DRIVE Hyperion 传感器覆盖图示

常见问题解答

NVIDIA DRIVE Hyperion™ 是一个自动驾驶汽车开发平台和参考架构,用于开发 L2+ 和 L3 高速公路自动驾驶解决方案。它由经过调整、优化和安全认证的完整传感器套件以及高性能 AI 计算平台 NVIDIA DRIVE AGX™ 组成。

NVIDIA DRIVE AGX™ 开发者套件提供生产级自动驾驶汽车开发所需的硬件、软件和示例应用。DRIVE AGX 系统基于生产级、车规级芯片构建,设计时始终考虑安全性,并配备开放式软件框架。

NVIDIA DRIVE 软件开发套件 (SDK) 是用于开发自动驾驶汽车的软件包集合。它包括基础 NVIDIA DRIVE® OS 和 DriveWorks SDK,以及高级应用,如高度自动化监督驾驶 (DRIVE AV) 和 AI 驾驶舱 (DRIVE IX)。

NVIDIA DRIVE OS 是一个基础软件栈,由嵌入式实时操作系统 (RTOS)、hypervisor、NVIDIA DriveWorks、NVIDIA CUDA® 库、NVIDIA TensorRT™,以及可让您访问硬件引擎的和其他模组组成。DRIVE OS 为安全启动、安全服务、防火墙和无线更新等应用提供安全可靠的执行环境。此外,它还提供一个实时环境,其中包含一个 RTOS 和一个用于服务质量 (QoS) 的 hypervisor。RTOS、AUTOSAR 和 hypervisor 均为 ASIL-D 组件。

NVIDIA DriveWorks 是一个中间件框架,由软件模组库、示例应用和工具组成,可针对自动驾驶汽车进行软件开发。它利用 DRIVE AGX 平台的计算能力并设计为开放式、模组化,且符合 ISO26262 和 MISRA-C 等汽车行业软件标准。DriveWorks 提供 DRIVE OS 版本。

NVIDIA DRIVE IX 是一款软件 SDK,用于开发车载应用,以实现安全舒适性并增强用户体验。欲了解更多使用信息,请参阅我们的 DRIVE IX 开发者页面。

NVIDIA DRIVE AGX Orin™ 开发者套件将直接通过 NVIDIA 或授权分销商提供。用户必须先注册其 DRIVE AGX Orin 开发者套件,之后才能访问 NVIDIA DRIVE AGX SDK 开发者计划,此开发者计划中将发布软件版本和相关材料。用户只能使用经批准的公司或大学电子邮件地址加入。

如果您已经收到 NVIDIA DRIVE AGX DevKit,恭喜您!入门指南概述了所有帮助您进行相关开发的资源。

DRIVE AGX 平台与不同供应商的众多传感器和外围设备兼容。完整列表可参见 DRIVE 生态系统硬件和软件组件

虽然 Jetson AGX 和 DRIVE AGX 套件都使用相同的 Orin SoC,但 DRIVE 专为汽车应用而构建。下表强调了两个平台之间的差异之处。

DRIVE AGX
Jetson AGX
硬件
行业
汽车
嵌入式和机器人
功耗
100W (模组功耗)​
60W (MAXN 模式, 模组功耗)**​
输入电压范围
9V 到 16V(静态)、7V 到 32V(瞬变)
7V 至 20V(高)、5V(中)
DL 推理 TOPS (INT8)
254 TOPS
275 TOPS***​
运行温度
0 到 45C
0 到 35C
安全 MCU
Infineon Aurix TC397
网络
1GbE RJ45
10GbE RJ45
100 T1、1000 T1、10GbE T1
​ CAN、LIN、Flexray、USS
1GbE RJ45
10GbE RJ45
M.2 Key E(WLAN / BT、PCIe、USB 2.0、UART、I2S 和 I2C)
存储(默认填充)
1 个 UFS (256 GB)
64GB eMMC 5.1
MicroSD
M.2 Key M (NVMe)
视频
16x GMSL-In
MIPI CSI-2
操作系统
操作系统
DRIVE OS Linux,带有安全扩展程序 (Ubuntu) | 适用于安全的 QNX

全面的安全安保服务:功能安全岛集成、简化的安全框架、平台安全控制器集成、安全启动和 PKCS #11 支持加密加速功能
Linux4Tegra (Ubuntu)

Secureboot,可信的执行环境,磁盘和 dram 加密,加密加速,基于硬件的安全融合
引导加载程序
Quickboot(已针对实时应用优化)
UEFI
计算机视觉
NvMedia(高度优化的 API,可访问计算引擎和传感器)
VPI(CPU、GPU、PVA、VIC 等多个计算引擎上支持的图像处理算法)
多媒体
NvMedia (多达 16 个摄像头,可通过硬件加速同时处理)
MM API/V4L2 API/Gstreamer
成像
NvMedia SIPL(通过优化提供专有 ISP 算法)
Librargus(多媒体、ISP 访问)
SDK
DriveWorks:传感器抽象层、图像/激光点云处理、车辆 I/O、计算图形框架、DNN 框架、记录器、校正、自运动

​ NvMedia、NvStreams、CUDA、cuDNN、TensorRT、Triton 推理服务器、NVIDIA 容器运行时

​ 工具:Nsight Systems(性能分析)、Nsight Graphics(通过 Direct3D 调试、分析和导出)、Nsight Eclipse Edition (IDE)、Nsight Compute(适用于 CUDA 应用的交互式内核分析器)
计算/推理:CUDA、cuDNN、TensorRT 推理服务:Triton 推理服务器 云原生:NVIDIA 容器运行时

​ 工具:Nsight Systems(性能分析)、Nsight Graphics(通过 Direct3D 调试、分析和导出)、Nsight Eclipse Edition (IDE)、Nsight Compute(适用于 CUDA 应用的交互式内核分析器)
生产
车规级
ASIL 目标*
ASIL-D (QNX)
-
AEC-Q100 qual
NVIDIA 设计支持
可用
-

* 仅适用于生产平台

** 需要选择所需的计算引擎来运行应用程序并保持在功率预算范围内

*** Orin SoC(非汽车等级)GPU 和 DLA 的性能提升

DRIVE AGX Orin
DRIVE AGX Xavier
Soc
Orin (x1)
Xavier (x2)
DL 推理 TOPS (INT8)
254 TOPS
60 TOPS
显存带宽
每 Orin - 205GB/
每 Xavier – 136GB/秒
系统 RAM
32GB LPDDR5 (3200MHz)
32GB LPDDR4 (2133MHz)
网络
100MbE (x6)
1GbE (x10)
10GbE (x2)
100MbE (x5)
1GbE (x7)
10GbE (x2)
汽车音频总线 (A2B)
1
无线连接
Wi-Fi/蓝牙
操作系统
DRIVE OS 6 Linux | QNX
DRIVE OS 5 Linux | QNX
中间件框架
DriveWorks 5(计算图形框架)
DriveWorks 3 和 4
开发者工具
CUDA 11.4
TensorRT 8.x​
cuDNN 8.x​
CUDA 10.2​
TensorRT 6.4​
cuDNN 7.6​
支持
支持
EOL

功能
NVIDIA DRIVE AGX Orin
NVIDIA DRIVE Orin-X SoC
1
NVIDIA dGPU SXM2
不适用
系统 RAM
32GB LPDDR5
QSPI NOR 闪存
64MB
eMMC
64GB
安全密钥存储
8MB
UFS
256GB
摄像头
16 个 GMSL2
MCU
Aurix 安全 MCU
以太网
10GbE
2
1GbE
10
100MbE
6
CAN
6
FlexRay 到 MCU
1
USB 2.0
USB 3.2
2 Type-A
2 Type-C
显示屏输出
1 DisplayPort
GPIO
6
PCIe
PCIe x8 Gen4
eSATA
不适用
汽车音频总线 (A2B)
1
调试与开发
JTAG、UART、USB

如果您无法在下载公开文档论坛中找到要查找的内容,请联系您的 NVIDIA 代表或直接联系。

文档

= 您需要加入 NVIDIA DRIVE 之 DRIVE AGX 开发者计划才能访问此文件。

DRIVE 平台

训练

实践出真知。为帮助您入门,我们整理了一系列教程和教学材料,其中介绍了最新的开发者创新技术。

了解更多详情

资源

深入了解 NVIDIA 的新型自动驾驶技术
通过 DRIVE Labs 和 DRIVE Dispatch 实现创新。

观看 Drive 视频