Computer Vision / Video Analytics

양방향 모방 학습 AI 모델로 실제와 같은 교통 행동 시뮬레이션하기

Reading Time: 3 minutes

급작스러운 끼어들기부터 갑작스러운 유턴까지, 인간 운전자는 예측이 불가능할 수 있습니다. 이러한 예측 불가능성은 여러 요소의 영향을 받고 운영 설계 도메인(ODD)과 국가에 따라 달라지는 인간 의사 결정의 복잡한 특성에서 비롯되며, 이는 시뮬레이션에서 에뮬레이션하기 어렵게 만듭니다.

하지만 자율주행차(AV) 개발자는 다양한 교통 동작을 가진 여러 ODD에서 작동할 수 있는 시스템을 자신 있게 개발 및 배포해야 합니다. 최근 발표된 논문인 BITS: 교통 시뮬레이션을 위한 양방향 모방에서 NVIDIA 연구팀은 개발자가 이를 수행할 수 있도록 실제 교통 동작을 시뮬레이션하는 새로운 접근 방식을 설명합니다.

교통 시뮬레이션을 위한 양방향 모방(BITS)은 실제 세계의 복잡성을 놀라울 정도로 충실하게 포착하는 동시에 이전 방법보다 뛰어난 성능을 발휘하는 교통 모델입니다. 백서에 자세히 설명된 실험에서 BITS는 차상위 모델보다 커버리지와 다양성을 각각 64%, 118% 개선하고 실패율을 36% 낮췄습니다.

그림 1. 트래픽 모델링 프로세스를 분리함으로써 보다 현실적인 트래픽 시뮬레이션을 가능하게 하는 BITS

트래픽 모델링의 과제

대부분의 시뮬레이터는 기록된 데이터를 재생하거나 사전 정의된 규칙 기반 시스템을 사용하여 차량 동작을 제어하는 방식으로 교통 상황을 모델링합니다.

데이터를 재생하면 실제 주행에서 발생하는 특정 시나리오를 정확하게 검토하고 테스트할 수 있지만, 이미 기록된 시나리오를 벗어난 행동을 시뮬레이션하기는 어렵습니다. 반면에 규칙 기반 컨트롤러는 단순한 동작으로 제한되어 있어 복잡한 상황을 정확하게 시뮬레이션할 수 없습니다.

실제 주행 기록을 학습하여 현실적인 미래 궤적을 예측하는 학습 기반 접근 방식도 있습니다. 이러한 모델은 정확하고 역동적인 주행 경로를 생성하는 데는 효과적이지만, 도로 경계와 다른 에이전트의 존재를 고려한 다양한 궤적을 생성하는 데는 어려움을 겪습니다.

BITS는 AI 모델을 높은 수준의 의도 예측과 중요한 의도를 달성하는 낮은 수준의 컨트롤러로 분리합니다. 이를 통해 모델은 실제 행동과 매우 유사한 광범위한 트래픽 패턴을 합성하는 동시에 특정 시나리오를 생성할 수 있습니다.

BITS를 다른 AI 기반 트래픽 모델과 함께 실행하면 낮은 오류율을 유지하면서 다양한 트래픽 패턴을 일관되게 표시합니다(그림 2).

그림 2. 커버리지와 다양성에서 가장 높은 수준과 가장 낮은 실패율을 보이는 BITS 모델

BITS 접근 방식

BITS는 계층적 구조로 인해 높은 수준의 충실도와 다양성을 달성할 수 있습니다.

모델의 두 가지 부문 모두 실제 트래픽 로그를 기반으로 학습됩니다. 상위 네트워크는 차량의 가능한 목표를 식별하도록 훈련되고, 하위 네트워크는 예측된 목표를 달성하는 정책을 결정하도록 훈련됩니다. 이러한 작업을 분할하면 다양한 궤적을 모델링하는 부담을 상위 수준의 목표 예측기로 옮길 수 있으므로 하위 수준의 목표 지향 정책이 더 효율적으로 작동할 수 있습니다.

또한 BITS에는 새로운 환경과 장기간에 걸쳐 모델을 안정화할 수 있는 예측 및 계획 모듈이 포함되어 있습니다. 이 모듈은 모델의 가능한 궤적을 검토하고 그럴듯한 운전 행동 규칙을 따르는 궤적을 선택함으로써 이를 달성합니다. 이렇게 하면 합리적인 행동에서 벗어나는 위험을 줄일 수 있습니다.

BITS 품질 평가

교통 모델의 행동이 현실적인지, 그리고 보이지 않는 정확한 시나리오를 생성할 수 있는지를 판단하는 것은 매우 어렵습니다. 직접 비교할 수 있는 근거 자료가 없기 때문입니다. 따라서 BITS 트래픽 모델을 평가하는 것은 그 자체로 어려운 과제입니다.

BITS: 트래픽 시뮬레이션을 위한 양방항 모방에 자세히 설명된 대로, 롤아웃 지표(커버리지, 다양성, 실패율), 실제 세계와의 통계적 차이, 인간 운전자와의 유사성 등 세 가지 영역으로 평가를 나눕니다.

첫 번째 영역은 커버리지 영역, 각 운행의 다양성, 충돌 또는 오프로드 주행 사고의 빈도 측면에서 로우레벨 네트워크를 직접 측정합니다. 두 번째 도메인은 시뮬레이션된 자동차의 속도와 급격한 변화를 실제 데이터와 비교합니다. 세 번째 영역은 주어진 타임스탬프에서 에이전트의 미래 위치를 예측하는 예측 모델과 비교하여 사람과 유사한 행동을 측정합니다.

그림 3. 다양한 학습 기반 트래픽 모델에 의해 계획된 궤적 비교

그림 2와 그림 3에서 볼 수 있듯이, 다른 모델은 다양한 궤적을 생성하는 것과 반복되는 행동에 빠지는 것 사이에서 상충 관계를 보이는 반면, BITS는 매번 새로운 시나리오를 계획하고 실패율은 낮습니다.

결론

시뮬레이션에서 현실적인 교통 행동을 모델링하는 능력은 강력한 AV 기술을 개발하는 데 매우 중요합니다. 충실도와 다양성을 최적화함으로써 BITS는 AI로 생성된 교통 시뮬레이션을 현실 세계의 복잡성에 더욱 가깝게 구현합니다. 저희는 BITS를 더욱 발전시키고 개선하여 궁극적으로 프로덕션 NVIDIA DRIVE Sim 파이프라인에 통합하는 것을 목표로 하고 있습니다.

업계에서 이 시뮬레이션 개발 작업을 사용하고 기여해 주시기를 바라며, 이 작업은 GitHub의 NVlabs/traffic-behavior-simulation에서 오픈 소스로 제공됩니다. 또한 다양한 AV 데이터 세트의 데이터 형식을 통합하고 기존 데이터 세트의 장면을 인터랙티브 시뮬레이션 환경으로 변환하는 소프트웨어 툴인 trajdata를 구축하여 오픈소스화하고 있습니다.

관련 리소스

Discuss (0)

Tags