자동 주차 보조 기능은 장애물을 인식할 때 몇 가지 고유한 과제를 극복해야 합니다. 에고(ego) 차량에는 차량 주변 환경을 감지하는 센서가 탑재되어 있습니다. 주차 중에 에고 차량은 보행자나 다른 차량과 같은 동적 장애물뿐만 아니라 기둥이나 기둥과 같은 정적 장애물에도 가까이 있어야 합니다. 또한 주차 공간에 맞추기 위해 휠 장벽이나 연석과 같은 낮은 장애물을 통과해야 할 수도 있습니다.
NVIDIA DRIVE Labs 동영상에서는 자율주행 차량이 직면한 과제와 NVIDIA DRIVE 팀이 이를 어떻게 해결하고 있는지 엔지니어링 중심으로 살펴봅니다. 다음 동영상에서는 자동 주차 지원에서 근거리 장애물 회피를 향상시키는 새로운 기술인 조기 그리드 퓨전(EGF)에 대해 소개합니다.
기존의 주차 장애물 인식 솔루션은 초음파 센서 또는 어안 카메라에 의존합니다. 초음파 센서는 전면 및 후면 범퍼에 장착되며 일반적으로 측면을 커버하지 않습니다. 따라서 시스템은 특히 동적 장애물이 있는 경우 에고 차량의 측면을 인식할 수 없습니다.
반면 어안 카메라는 낮은 가시성, 저조도 및 악천후 조건에서 성능이 저하됩니다.
NVIDIA DRIVE 플랫폼에는 카메라, 레이더 및 초음파 센서 제품군이 장착되어 있어 보이지 않는 영역을 최소화하고 모든 작동 조건에서 감지 중복성을 극대화합니다. EGF는 머신러닝을 통해 여러 센서 입력을 조기에 융합하여 정확하고 효율적이며 강력한 근거리 3D 장애물 인식을 제공합니다.
초기 그리드 퓨전 개요
EGF의 혁신적인 기술을 더 잘 이해하려면 DNN 아키텍처와 출력/입력 표현을 살펴보십시오.
출력: 높이 맵 표현
EGF는 그리드 해상도 4cm의 높이 맵을 출력합니다. 높이 맵의 각 픽셀에는 로컬 지면을 기준으로 한 높이를 나타내는 실수 값이 있습니다.
그림 2에서 녹색으로 강조 표시된 패널은 EGF DNN의 출력입니다. 하늘색은 지면을 나타냅니다. 노란색은 낮은 장애물(예: 뒤쪽의 연석)을 나타냅니다. 밝은 빨간색은 높은 장애물의 윤곽을 나타냅니다(예: 주차된 차량의 둥근 L자형 윤곽선 및 에고 차량 뒤의 나무 점). 밝은 빨간색 윤곽선 뒤의 진한 빨간색 영역은 높은 장애물 뒤에 가려진 잠재적 영역을 나타냅니다.
이러한 표현을 통해 EGF는 주변 세계에 대한 풍부한 정보를 캡처할 수 있습니다. 고해상도 그리드는 에고 차량의 왼쪽과 오른쪽 후방에 있는 차량의 둥근 모서리를 나타낼 수 있습니다. 주차 플래너가 좁은 공간에 주차된 두 대의 차량 사이에서 주차 조작을 수행하기 위해 충분한 여유 공간을 확보하려면 둥근 모서리를 캡처하는 것이 필수적입니다.
픽셀당 높이 값을 다르게 설정하면 차량이 충분한 공간을 확보할 수 있는 연석과 차량이 비켜서야 하는 연석의 전등 기둥을 구분할 수 있습니다.
입력: 초음파 및 카메라
대부분의 다중 센서 융합 인식 솔루션은 감지 수준에서 작동하는 후기 융합 시스템입니다. 삼원화를 통해 얻은 기존의 초음파 감지는 일반적으로 수작업으로 만든 융합 규칙을 사용하여 후기 융합 단계에서 카메라의 폴리곤 감지와 융합됩니다.
이와는 대조적으로 EGF는 조기 융합 방식을 사용합니다. 센서의 낮은 레벨 신호는 데이터 기반 접근 방식을 통해 센서를 융합하는 방법을 학습하는 DNN에 직접 공급됩니다.
초음파 센서의 경우, EGF는 센티미터 미만의 정확도로 반사 강도를 제공하는 원시 엔벨로프 인터페이스를 활용합니다. 이러한 엔벨로프 신호는 초음파 센서의 외재적 위치 및 고유 빔 특성을 사용하여 평면 뷰 맵에 투영됩니다(그림 3 왼쪽 하단). 그림 2의 강조 표시된 분홍색 패널에서 볼 수 있듯이 이러한 초음파 맵은 삼각형 감지보다 훨씬 더 많은 정보를 캡처합니다. 이를 통해 EGF에서 높이 감지가 가능합니다.
카메라 센서의 경우 EGF는 이미지 인코더 백본을 고속 주행에 사용되는 MLMCF-NVIDIA 멀티태스크 멀티 카메라 인식 백본과 공유합니다. 먼저 CNN 레이어를 통해 이미지 특징을 처리합니다. 그런 다음 카메라별 학습된 변환을 사용하여 이미지 공간에서 조감도 공간으로 특징의 업리프팅을 수행합니다(그림 3 오른쪽 상단 상자).
그런 다음 초음파 및 카메라 특징 맵을 인코더 네트워크에서 융합하고 결합된 특징에서 높이 맵을 디코딩합니다(그림 3 오른쪽).
결론
EGF는 자율 주차의 안전성을 높이기 위한 혁신적인 머신러닝 기반 인식 구성 요소입니다. 다중 모달리티 원시 센서 신호에 조기 융합을 사용함으로써 EGF는 근거리 장애물 회피를 위한 높은 수준의 신뢰를 구축합니다.
현재 구축 중인 소프트웨어 기능에 대해 자세히 알아보려면 나머지 NVIDIA DRIVE Labs 비디오 시리즈를 참조하세요. 더 많은 NVIDIA DRIVE 포스팅을 확인해 보세요.
관련 리소스
GTC 세션: NVIDIA Jetson을 사용한 자율 실내 드론을 위한 실시간 온보드 프로세싱
GTC 세션: 센서 퓨전 기능이 있는 NVIDIA Jetson을 사용한 제설기를 위한 실시간 조기 충돌 경고 시스템
GTC 세션: 센서 퓨전을 활용하여 자율 모바일 로봇을 위한 VSLAM 기반 내비게이션 개선(Arrow Electronics 제공)
SDK: Isaac Sim
웨비나: 자율 주행 차량을 위한 효율적인 비전 트랜스포머 네트워크 설계하기
웨비나: DriveWorks에서의 포인트 클라우드 처리
