计算机视觉/视频分析

了解自动驾驶汽车

未来是自主的,人工智能已经在改变交通行业。但什么是自动驾驶汽车,它是如何工作的?

自动驾驶汽车诞生于数据中心。它们需要传感器、高性能硬件、软件和高清地图的组合才能在无人驾驶的情况下运行。尽管这项技术的概念已经存在了几十年,但由于人工智能和计算的突破,生产自动驾驶系统最近才成为可能。

具体而言,高性能计算的巨大飞跃为开发、训练、测试、验证和操作自动驾驶汽车开辟了新的可能性。 Introduction to Autonomous Vehicles GTC 会议介绍了这些突破、当前自动驾驶技术的工作原理以及智能交通的前景。

从云端

车辆中运行的深度神经网络经过大量驾驶数据的训练。他们必须学习如何识别现实世界中的物体并做出反应——这是一个非常耗时且成本高昂的过程。

一个由 50 辆车组成的测试车队每天产生大约 1.6 PB 的数据,这些数据必须被摄取、编码和存储,然后才能进行进一步的处理。​​

然后,必须对数据进行梳理,以找到对训练有用的场景,例如新的场景或当前数据集中表现不足的场景。这些有用的帧通常仅占总收集数据的 10% 。

然后,你必须给场景中的每一个物体贴上标签,包括红绿灯和标志、车辆、行人和动物,以便 DNN 能够学会识别它们并检查其准确性。

NVIDIA DGX 数据中心解决方案 通过为培训和测试提供一个真正的数据工厂,将这一繁重的过程简化为一个精简的操作。有了高性能计算,您可以自动管理和标记过程,并并行运行许多 DNN 测试。

当一个新模型或一组模型准备好部署时,您可以通过在数据中心数千小时的驾驶场景中重放模型来验证网络。仿真还提供了在自动驾驶汽车在现实世界中可能遇到的无数边缘情况下测试这些模型的能力。

NVIDIA DRIVE Sim 基于 NVIDIA Omniverse 构建,提供一个强大的基于云的仿真平台,能够为 AV 开发和验证生成广泛的真实场景。​它使用精确的地图数据创建了真实世界环境的高度精确的数字孪生。

Image of DRIVE Sim generating ground truth data of an intersection for autonomous vehicle testing.
图 1. NVIDIA DRIVE Sim 为全面的 AV 验证提供了一个物理精确的数字孪生世界

它可以只运行 AV 软件,也就是所谓的环中软件,或者运行在同一台计算机上的软件,就像在车辆上进行硬件环中测试一样。​

使用 NVIDIA DRIVE Replicator 工具,您可以根据您的具体需求定制情况,它可以生成全新的数据。这些场景包括基于物理的传感器数据以及相应的地面实况​补充真实驾驶数据,减少开发时间和成本。

到汽车

经过验证的深度神经网络在集中式高性能 AI 计算平台上运行。

冗余和多样的传感器,包括相机、雷达、激光雷达和超声波,在汽车行驶时收集周围环境的数据。 DNN 使用这些数据来检测物体并推断信息以做出驾驶决策。

在同时运行多个 DNN 的同时处理这些数据需要一个令人难以置信的高性能 AI 平台。

NVIDIA DRIVE Orin 是用于自动驾驶汽车的高度先进的软件定义计算平台。它每秒可实现 254 万亿次操作,足以处理这些功能,同时实现公共道路操作的系统安全标准。

A rendering of the DRIVE Orin system-on-a-chip.
图 2. NVIDIA DRIVE Orin 是当前一代软件定义的集中式自动驾驶汽车计算平台

除了用于感知的 DNN 之外, AV 还依赖于具有厘米级细节的地图进行精确定位,这是车辆在世界上定位自身的能力。 ​

正确的定位需要不断更新地图,以反映当前的道路状况,如工作区或车道封闭,以便车辆能够准确测量环境中的距离。这些地图必须在 AV 车队中高效缩放,处理速度快,数据存储量最小。​最后,它们必须能够在全球范围内运行,这样 AV 才能大规模运行。

NVIDIA DRIVE Map 是一个多模式映射平台,旨在实现最高级别的自主性,同时提高安全性。​ 它将专用测绘车绘制的勘测图与基于人工智能的众包测绘相结合​ 来自客户车辆。 DRIVE Map 包括四个定位层:相机、激光雷达、雷达和 GNSS ,提供最先进的 AI 驱动程序所需的冗余和通用性。​

持续改进

AV 开发过程不是线性的。作为人类,我们从未停止学习,人工智能也以同样的方式运行。

随着时间的推移,自动驾驶汽车将继续变得更智能,因为软件经过了新任务的训练、增强、测试和验证,然后通过空中更新到汽车上。

该管道是连续的,不断收集来自车辆的数据,以不断训练和改进网络,然后将网络反馈到车辆中。人工智能被用于实时计算管道的所有阶段,从感知、映射和定位到规划和控制。

这种连续循环将车辆从传统的固定功能操作转变为软件定义的设备。大多数车辆在销售时都是最先进的。通过这种新的软件定义架构,汽车制造商可以在其整个生命周期中不断更新车辆的新特性和功能。

 

Tags