自动泊车辅助系统在感知障碍物时必须克服一些独特的挑战。目标车辆包含感知车辆周围环境的传感器。在停车过程中，目标车辆必须靠近行人和其他车辆等动态障碍物，以及柱子和杆子等静态障碍物。为了适应停车位，它还可能需要穿过较低的障碍物，如车轮护栏和路缘石。
观看 NVIDIA DRIVE Labs 视频，可以深入了解自动驾驶汽车面临的挑战以及 NVIDIA DRIVE 团队如何应对这些挑战。视频还介绍了早期网格融合（ EGF ），这是一种在自动泊车辅助中增强近场避障的新技术。
现有的停车障碍感知解决方案依赖于超声波传感器或鱼眼摄像头。超声波传感器安装在前后保险杠上，通常不会覆盖侧面。因此，该系统无法感知目标车辆的侧面，尤其是对于动态障碍物。
另一方面，鱼眼相机在低能见度、弱光和恶劣天气条件下性能下降。
NVIDIA DRIVE 平台配备了一套摄像头、雷达和超声波传感器，可最大限度地减少看不见的区域，并最大限度地提高所有操作条件下的传感冗余度。 EGF 使用多个传感器输入的机器学习早期融合来提供准确、高效和稳健的近场 3D 障碍感知。
早期网格融合概述
为了更好地理解 EGF 背后的创新技术，请查看其 DNN 架构和输出/输入表示。
输出：高度图表示
EGF 输出一个网格分辨率为 4cm 的高度图。高度图中的每个像素都有一个浮动值，表示相对于当地地面的高度。
在图 2 中，绿色突出显示的面板是 EGF DNN 的输出。浅蓝色代表地面。黄色代表较低的障碍物，例如后面的路缘石。亮红色表示高障碍物的轮廓，例如，停放的汽车的圆形 L 形轮廓和目标车辆后面的树的点。亮红色轮廓后面的暗红色区域表示高障碍物后面的潜在遮挡区域。
这种表示方式使 EGF 能够捕捉到周围世界的丰富信息。高分辨率网格可以表示目标车辆左后和右后的圆角。捕捉圆角对于泊车规划器有足够的空间来在狭小空间中停放的两辆车之间执行泊车操作是至关重要的。
每个像素的高度值不同，可以区分汽车有足够间隙通过的路缘和汽车必须避让的路缘上的灯杆。
输入：超声波和摄像头
大多数多传感器融合感知解决方案都是在检测层面上运行的后期融合系统。在融合后期，通过三边测量获得的传统超声波检测与来自相机的多边形检测相融合，通常使用手工制作的融合规则。
相反， EGF 使用早期融合方法。来自传感器的低电平信号被直接馈送到 DNN ， DNN 通过数据驱动的方法学习传感器融合。
对于超声波传感器， EGF 进入原始包络界面，提供亚厘米精度的反射强度。使用超声波传感器的外部位置和内部波束特性，将这些包络信号投影到平面图中（图 3 左下角）。如图 2 中突出显示的粉红色面板所示，这些超声波图捕获的信息比三边测量检测多得多。这使得能够在 EGF 中进行高度检测。
对于摄像头传感器， EGF 与 MLMCF 共享图像编码器主干——用于高速驾驶的 NVIDIA 多任务多摄像头感知主干。首先，我们通过 CNN 层来处理图像特征。然后，我们使用每个相机的学习变换将特征从图像空间提升到鸟瞰图空间（图 3 右上角框）。
然后在编码器网络中融合超声波和相机特征图，并根据组合特征解码高度图（图 3 右侧）。
结论
EGF 是一种创新的、基于机器学习的感知组件，用于提高自动停车的安全性。通过对多模态原始传感器信号使用早期融合， EGF 为近场避障建立了高度信任。
要了解有关我们正在构建的软件功能的更多信息，请参阅 NVIDIA DRIVE Labs 视频系列。跟上 更多 NVIDIA DRIVE 帖子。
