计算机视觉/视频分析

验证 NVIDIA DRIVE Sim 雷达模型

 

传感器模拟是解决自动驾驶汽车(AV)开发中现实世界数据差距的关键工具。然而,只有传感器模型准确地反映了物理世界,它才有效。

传感器可以是被动的,比如相机,也可以是主动的,发出电磁波(激光雷达、雷达)或声波(超声波)来产生传感器输出。在模拟中建模时,每个模态都必须根据其真实世界中的对应模态进行验证。

在之前的文章中,我们详细介绍了如何使用 NVIDIA DRIVE Sim 验证相机和激光雷达模型,具体可以参见 Validating NVIDIA DRIVE Sim Camera ModelsValidating NVIDIA DRIVE Sim Lidar Models。本文将涵盖雷达,这是一种用于探测和躲避障碍物的重要传感器。

雷达验证有多种方法。例如,您可以比较在真实世界数据上训练的 AV 堆栈在遇到合成雷达数据时的行为。或者,你可以将合成雷达数据与现实世界实验中的物理数据进行比较。

使用 AV 堆栈验证模型仅在触发 AV 功能的程度上评估其能力,该功能测试保真度下限。因此,我们将重点关注第二种方法。

雷达传感器管线

雷达传感器发射的无线电波从场景中的物体反射并返回传感器。然后,接收到的信号经过多个处理阶段,这些处理阶段识别来自真实物体的回波并过滤噪声。然后,这些返回将显示为环境的点云。

这种后处理方法通常是传感器制造商知识产权的一部分,因此 NVIDIA DRIVE Sim 传感器模型旨在近似它们。DRIVE-Sim 生态系统中的传感器供应商可以包括其整个管道的精确实现,包括后处理。

DRIVE Sim 使用光线跟踪对活动传感器进行建模。嵌入雷达辐射模式的射线被发射到场景中。对于 3D 场景中击中对象的每条光线,都会根据击中材质的波长相关特性创建用于反射和透射的二次光线。DRIVE-Sim 中的材料使用双向散射分布函数(BSDF)。这样可以模拟多路径效应。

DRIVE Sim 光线跟踪具有时间意识。每条光线都有自己的时间戳,并看到不同的环境和传感器位置来匹配该时间。这使得能够模拟基于时间的效果,例如滚动快门和多普勒。

对于雷达,在满足射线跟踪的停止标准后,传感器模型对返回进行合并和处理。我们的雷达模型考虑了传感器的视场(FOV)、天线方向性、分辨率、模糊度和雷达的灵敏度模式。使用恒定假 al Arm 率(CFAR)算法来提取模拟噪声基线上的有效检测。然后,使用作为真实传感器的精确通信协议对检测进行编码,以服务于环路中的硬件用例。

Block diagram for active sensors in DRIVE Sim, starting with capturing the world state, ray-tracing with the NVIDIA Omniverse RTX Renderer, RTX sensor model, postprocessing, then integration with the AV stack.
图 1。主动传感器管路

雷达验证

为了验证 DRIVE-Sim 雷达模型,我们基于真实雷达的技术产品规范(TPS)设计了三个场景。目标是测试雷达传感器性能的各个组成部分,包括其对 FOV 的检测能力、分离能力和动态条件下的精度。然后,我们在 数字孪生 环境中,通过 DRIVE-Sim 收集等效数据进行详细分析。

数据采集环境

对于数据收集环境,我们选择了一个开放宽敞的区域——加利福尼亚州的交通研究中心。在这种环境下,我们可以最大限度地减少噪音和不必要的反射,以简化 DRIVE-Sim 中的数字孪生结构。

Zoomed-out aerial image of the test site.
图 2:用于数据收集的测试站点图片由 TRC 提供

车辆设置

我们在 NVIDIA DRIVE Hyperion AV 参考架构中,使得基于 NVIDIA DRIVE 的开发人员可以轻松地在模拟和现实世界之间转换。传感器被安装在开发车辆上(图 3)。在这种情况下,前中心雷达(FCR)是评估的重点。

测试中的雷达工作频率为 77GHz,包括两次扫描:一次是近距离扫描,视野较宽但范围有限,另一次是远距离扫描,范围较宽但视野较窄。此外,一个 360°旋转激光雷达传感器(LD1)安装在汽车顶部,以提供伪地面实况数据。

Side-by-side images of the real-world test vehicle outfitted with sensors from two different angles (top). Two diagram sketches of where the sensors are placed (bottom).
图 3。被测车辆上的传感器安装位置

模型验证过程

我们三个验证实验的核心是两个三面体角反射器。这些是标准的雷达目标,将能量反射回入射方向。它们的特征是雷达截面积(RCS)值,这是衡量物体将雷达能量反射回接收器的能力。

我们使用了一个“高”RCS 为 15.71 分贝(相对于一平方米(dBsm))的模型,另一个“低”RCS 为 4.79 dBsm,以表征模型在宽 RCS 范围内的行为。

Three side-by-side images, the first showing a sketch of how the corner reflector reflects energy, followed by an image of the high radar cross section corner reflector and the low radar cross section corner reflector.
图 4。角反射器原理(左);高 RCS CR(中心);低 RCS CR(右)

激光雷达的伪地面实况测量用于在 DRIVE Sim 中虚拟复制测试设置,并进行精确的材料分配。

在收集了虚拟数据后,我们将雷达模型输出与真实雷达进行了比较。以下是三种情况的比较结果。

场景 1:使用角反射器进行 FOV 采样

在第一种情况下,我们评估了雷达在视场内的探测能力,并验证了其距离和方位精度。

我们在雷达视场内的多个网格位置放置了一个角反射器,如图 5 所示。我们假设传感器的行为是对称的,因此我们只对 FOV 的一半进行采样以增加采样密度。

我们总共记录了 579 个高 RCS 角反射器位置和 632 个低 RCS 角反射器的位置。

A diagram showing the different positions where the corner reflectors were placed, shown as dots, with side-by-side images below of the real-world vehicle and corner reflector next to the simulated version.
图 5。示例网格位置(左);真实世界环境(中心);数字孪生(右)

图 6 描绘了所有 1211 个高和低 RCS 角反射器位置的真实和模拟雷达探测的自上而下视图。我们将此作为连贯性检查开始。尽管我们观察到 80 米以上 FOV 覆盖范围的差异,但总体覆盖范围呈现出明显的相似性,足以进行交叉检查。

Side-by-side scatter plots showing the radar detections of the real sensor and the simulated sensor model, with similar patterns displayed on each.
图 6。真实和模拟雷达探测的自上而下视图

图 7 中的直方图显示了高和低 RCS 角反射器的距离、方位角和 RCS 相对于地面实况的误差分布。在适用的情况下,我们通过对数据拟合高斯分布来量化结果。真实雷达的结果显示在左侧,DRIVE Sim 数据显示在右侧。

Histograms showing the error distributions for range compared between the real and simulated radar.
Histograms showing the error distributions for azimuth, compared between the real and simulated radar.
Histograms showing the error distributions for RCS, compared between the real and simulated radar.
图 7。场景 1 中两个 CR 的误差分布直方图

我们观察到,在雷达视场的不同位置上,真实数据和模拟数据之间存在高度一致性,平均值和标准偏差共享相同的数量级。

这些差异主要归因于基本事实的不确定性。虽然激光雷达传感器具有毫米级的精度,但识别物体的位置和方向(如安装在杆上的角反射器)可能会在厘米范围内产生误差。此外,虽然我们在数据收集之前校准了传感器位置,但可能仍然存在轻微的错位。

总体而言,在 RCS 值、探测模式和各种探测特性的精度方面观察到的一致性验证了雷达的保真度、波传播和材料建模。

场景 2:角反射器分离能力测试

在道路物体相互靠近的情况下(例如,桥下静止的车辆、车辆或护栏旁的行人或摩托车手,或两辆停得很近的汽车),雷达在区分单个物体时可能会遇到困难。因此,准确模拟这种特性至关重要,即分离能力.

我们通过将两个角反射器放置在彼此非常接近的位置来评估这种能力。数据是在距离传感器四个不同距离处采样的。对于每个距离,角反射器的位置如图 8 所示。

我们根据雷达相应的视场选择了不同的位置进行近距离和远距离扫描,以分析其距离和方位分离能力。

A simulated image of two corner reflectors and a vehicle in the background (left) and a sketched diagram of the corner reflectors’ position in relation to the vehicle (right).
图 8。测试车辆和拐角反射器的数字孪生(左)以及两个拐角反射器的示例位置(右)

表 1 和表 2 总结了近距离和远距离扫描的结果。左列表示 CR 接近的位置,我们预计每个 TPS 检测一次。中心列和右列表示每个 TPS 预计两次检测的位置。每个单元详细说明 CR 的确切位置,以及为模拟和现实世界观察到的检测次数。百分比表示在所有考虑的扫描中符合我们预期的检测比例。当模拟百分比和实际百分比相差不到 20%时,我们定义成功。

  CR(x,y)的位置(以米为单位) CR(x,y)的位置(以米为单位) CR(x,y)的位置(以米为单位)
0°和 50 米 CR1(50,0),CR2=CR1
真实:一次检测(100%)
Sim:一次检测(100%)
CR1(50,0),CR2(50.5,0)
真实:两次检测(10%)
Sim:两次检测(0%)
CR1(50,0),CR2(50,-3)
真实:两次检测(0%)
Sim:两次检测(0%)
-45°和 20m CR1(14.14,-14.14),CR2=CR1
真实:一次检测(100%)
Sim:一次检测(100%)
CR1(14.14,-14.14),CR2(15.14,-14.14.4)
真实:两次检测(100%)
Sim:两次检测(100%)
CR1(14.14,-14.14),CR2(16.44,-11.84)
真实:两次检测(100%)
Sim:两次检测(100%)
-45°和 50 米 CR1(35.36,-35.36),CR2=CR1
真实:一次检测(100%)
Sim:一次检测(100%)
CR1(35.36,-35.36),CR2(36.36,-35.36)
真实:两次检测(5%)
Sim:两次检测(100%)
CR1(35.36,-35.36),CR2(41,-29)
真实:两次检测(80%)
Sim:两次检测(100%)
表 1。近距离扫描的每次扫描检测次数

0°和 50 米以及-45°和 20 米的所有位置的结果表明,真实位置和模拟位置之间具有高度相似性。我们在 0°和 50 米处观察到轻微差异,其中 CR2(50.5,0)。在这种情况下,真实的雷达返回了两次探测,而不是 10%的扫描中返回一次。

在-45°和 50 米处进行的比较基本一致,除了 CR2(36.36,-35.36),模拟雷达返回了两次探测。

  CR(x,y)的位置(以米为单位) CR(x,y)的位置(以米为单位) CR(x,y)的位置(以米为单位)
0°和 50 米 CR1(50,0),CR2=CR1
真实:一次检测(100%)
Sim:检测(95%)
CR1(50,0),CR2(50.5,0)
真实:检测(100%)
Sim:检测(5%)
CR1(50,0),CR2(50,-3)
真实:两次检测(0%)
Sim:两次检测(5%)
0°和 100 米 CR1(100,0),CR2=CR1
真实:检测(100%)
Sim:检测(60%)
CR1(100,0),CR2(104,0)
真实:两次检测(100%)
Sim:两次检测(95%)
CR1(100,0),CR2(100,-6)
真实:两次检测(0%)
Sim:两次检测(0%)
表 2。远程扫描的每次扫描检测次数

如表 2 所示,模拟传感器和真实世界传感器的结果在很大程度上是相关的。CR2(50.5,0)处 0°和 50m 处出现显著偏差。此外,对于 0°和 100 米,其中 CR1=CR2,模拟雷达在 40%的扫描中返回两次探测,而现实世界从未返回两次检测。

在对偏差进行进一步分析后,我们将其归因于技术产品规范仅从几个角度描述了雷达的分离能力。这使得我们很难估计距离和方位仓的确切布局。

此外,我们对 CFAR 阈值算法的参数化和实现是一种估计,因为它是供应商的知识产权。雷达的分离能力预计对 CFAR 行为相当敏感。

总的来说,在近距离和远距离扫描中,我们发现模拟的分离能力与真实传感器足够接近。

场景 3:以恒定速度驶向拐角反射器

多普勒测量使雷达能够准确地检测移动目标的速度。我们评估了模型在动态条件下的性能,测试车辆直接朝着高和低 RCS 角反射器行驶,分别以 10 公里/小时、40 公里/小时和 80 公里/小时的恒定速度行驶,如下所示。

An image with a corner reflector in the foreground and a test vehicle at a far distance in the background./
图 9。真实世界环境
A GIF of a simulated vehicle driving toward a simulated corner reflector.
图 10。数字孪生环境

图 11 中的直方图显示了高和低 RCS 角反射器的多普勒误差结果。

Histograms comparing the error distributions in Doppler effect between real and simulated radar.
RCS 高,10kph
Histograms comparing the error distributions in Doppler effect between real and simulated radar.
RCS 高,40kph
Histograms comparing the error distributions in Doppler effect between real and simulated radar.
RCS 高,80 公里/小时
Histograms comparing the error distributions in Doppler effect between real and simulated radar.
低 RCS,10kph
Histograms comparing the error distributions in Doppler effect between real and simulated radar.
低 RCS,40kph
Histograms comparing the error distributions in Doppler effect between real and simulated radar.
低 RCS,80kph

图 11。场景 3 的多普勒误差直方图

我们在所有测试速度中都观察到多普勒的相关性非常高。对于 10kph,真实分布和模拟分布在大约-3mps、-2mps 和 0mps 处都表现出相似的峰值。对于 40 英里/小时,峰值排列在-10mps 左右。80 公里/小时时,在-20mps 和 10mps 处观察到峰值。当绘制多普勒与距离的关系图时,进一步证明了这种高精度。

Mean error and standard deviation for Doppler effect between real and simulated radar sensors.
RCS 高,10kph
Mean error and standard deviation for Doppler effect between real and simulated radar sensors.
RCS 高,40kph
Mean error and standard deviation for Doppler effect between real and simulated radar sensors.
RCS 高,80 公里/小时
Mean error and standard deviation for Doppler effect between real and simulated radar sensors.
低 RCS,10kph
Mean error and standard deviation for Doppler effect between real and simulated radar sensors.
低 RCS,40kph
Mean error and standard deviation for Doppler effect between real and simulated radar sensors.
低 RCS,80kph

图 12。场景 3 范围内的多普勒平均 eror 和标准偏差

图 13 显示了高和低 RCS 角反射器位置和车辆速度下真实和模拟雷达探测的自上而下视图。

Scatter plot showing both the real and simulated radar detections compared with the ground truth. The real and simulated detections follow similar patterns.
图 13。真实和模拟雷达探测的自上而下视图

真实的和模拟的多普勒测量结果都表明它们的平均值和标准偏差值基本一致。然而,我们注意到在较高速度时出现偏差。

我们将这些偏差归因于数字孪生过程中的不确定性。ego 车辆的位置、速度和方向是在没有差分 GPS 帮助的情况下使用激光雷达估计的。这些估计中的误差在更高的速度下被放大,如 80 公里/小时所示。

此外,我们观察到 DRIVE-Sim 能够复制雷达混叠现象,当物体的径向速度超过雷达的最大可测量无模糊速度时,就会出现这种现象,从而导致速度值不明确。真实世界的雷达在每个循环中都会微妙地改变最大可测量的无模糊速度范围,从而使后续的感知算法能够消除速度的歧义。

我们的模拟准确地复制了这种行为,正如真实数据和模拟数据中峰值的对齐所证明的那样。特别是,在 80 公里/小时的速度下,真实雷达和模拟雷达都表现出相似的速度包裹。

结论

这项研究提供了我们的第一次迭代,用于使用真实世界的数据(包括静态和动态条件)对我们的模拟雷达模型进行深入验证。该分析旨在评估模型在各种性能指标上的保真度和准确性。

我们的结果表明,模拟雷达数据和真实世界雷达数据之间具有高度相关性,该模型能够熟练地处理复杂的相互作用,如多盎司效应。

即将进行的实验将侧重于捕捉模拟真实世界场景的更复杂物体(车辆、行人、摩托车)的雷达数据。这些物体不仅具有更复杂的几何形状,而且由各种材料组成,从而在雷达波相互作用中引入了进一步的复杂性。通过这些努力,我们的目标是不断提高模型的保真度,进一步弥合模拟与现实之间的差距。

通过在模拟场景中验证准确的雷达传感器行为,我们可以提高系统开发效率,减少对昂贵且耗时的真实世界数据收集的依赖,并提高 AV 系统的安全性和性能。

要了解更多信息,请参阅我们以前发布的帖子:

 

Tags