자율주행차(AV) 기술 스택은 기존의 모듈식 계층 구조에서, 파운데이션 모델 기반의 엔드 투 엔드 아키텍처로 진화하고 있습니다. 이러한 전환은 센서 데이터셋을 보완하고 커버리지의 빈틈을 메우며, 안전한 자율주행차 개발과 배포를 위한 검증 체계를 구축하기 위해 합성 데이터를 생성할 수 있는 AV 데이터 플라이휠을 필요로 합니다.
이번 블로그 포스트에서는 개발자들이 데이터 파이프라인을 빠르게 시작할 수 있도록 돕는 최신 NVIDIA Omniverse 및 NVIDIA Cosmos의 워크플로우, 모델, 데이터셋을 소개합니다.
특히 다음 내용을 다룹니다:
- NVIDIA Physical AI Open Datasets에서 제공되는 실제 AV 데이터
- 데이터 처리용 NVIDIA Cosmos Curator와 Cosmos Dataset Search
- 뉴럴 리컨스트럭션을 위한 NVIDIA Omniverse NuRec 라이브러리 및 모델
- 데이터 확장 및 증폭을 위한 NVIDIA Cosmos Predict와 Transfer
- CARLA 및 Voxel51과의 오픈소스 연동
자율주행 테스트와 검증을 위한 대규모 데이터셋 처리
자율주행(AV) 스택을 구동하는 추론 기반 비전-언어-액션(VLA, Vision-Language-Action) 모델은 사전 학습(pre-training)과 사후 학습(post-training) 모두에 방대한 주행 데이터를 필요로 합니다. 스택이 점점 성숙해질수록, 데이터는 엣지 케이스나 약점을 보완하기 위해 더욱 목표 지향적이고 정교하게 선별되어야 합니다.
실제 도로 환경에서 수집된 데이터는 이러한 학습 및 사후 학습 데이터셋의 핵심입니다. NVIDIA는 개발을 가속화하기 위해 세계 최대 규모 중 하나인 멀티모달 자율주행 데이터셋을 공개했습니다. 이 데이터셋은 2,500개 이상의 도시와 25개국의 도심 주행 시나리오를 포괄하며, 카메라·레이더·라이다 데이터로 구성된 20초 단위의 클립 약 1,700시간 분량을 포함합니다. 데이터에는 다양한 교통 밀도, 날씨, 시간대, 그리고 터널, 다리, 로터리, 철도 건널목, 톨게이트, 경사로 등 여러 인프라 요소가 반영되어 있습니다.
이 데이터는 NVIDIA의 내부 자율주행용 추론형 VLA 모델 개발에 사용되었으며, 학습 및 사후 학습뿐 아니라, 본 블로그에서 소개된 합성 데이터 생성 워크플로우를 통해 더 큰 규모의 데이터셋으로 확장할 수도 있습니다.
데이터를 수집하고 생성한 이후에는, 이를 실제로 활용 가능한 클립 형태로 가공해야 합니다. Cosmos Curator는 개방형 비전-언어 추론 모델(VLM)인 Cosmos Reason을 기반으로, 대규모 센서 데이터를 빠르게 필터링하고 주석을 달며 중복을 제거합니다. Cosmos Reason은 NVIDIA NIM 형태로 제공되며, 어떤 환경에서도 고성능 생성형 AI를 안전하고 손쉽게 배포할 수 있는 마이크로서비스로 활용할 수 있습니다.
이후 Cosmos Dataset Search(CDS)를 활용하면, 복잡한 교차로에서의 좌회전처럼 특정 후처리 작업에 필요한 자차(Ego) 또는 타차(Actor)의 행동을 포함한 타깃 데이터셋을 단 몇 초 만에 생성할 수 있습니다. CDS는 비디오 데이터셋을 빠르게 임베딩하고 검색할 수 있도록 설계된 GPU 가속 벡터 검색 워크플로우입니다.
자율주행 시뮬레이션을 위한 뉴럴 리컨스트럭션
고급 3D 재구성 기법과 뉴럴 리컨스트럭션, 렌더링 기술을 활용하면 실제 데이터를 기반으로 고충실도의 인터랙티브 시뮬레이션 환경을 구축할 수 있습니다.
NVIDIA Omniverse NuRec
NVIDIA Omniverse NuRec은 뉴럴 리컨스트럭션 및 렌더링을 위한 기술 모음으로, 기존 차량 데이터 플릿을 활용해 고정밀 디지털 트윈을 재구성하고, 새로운 이벤트를 시뮬레이션하며, 새로운 시점에서 센서 데이터를 렌더링할 수 있도록 지원합니다. NuRec의 라이브러리, 모델, 도구는 개발자가 다음 작업을 수행할 수 있게 해줍니다:
- 리컨스트럭션을 위한 센서 데이터 전처리 및 가공
- 센서 데이터를 3D 표현으로 재구성
- Gaussian 기반 렌더링 수행
NuRec에는 생성형 AI 모델도 포함되어 있어 리컨스트럭션 품질을 향상시켜 더욱 정밀한 시뮬레이션이 가능합니다. NuRec Fixer는 자율주행 데이터셋을 기반으로 후학습된 트랜스포머 기반 모델로, 재구성 과정에서 발생하는 아티팩트를 보정하고 누락된 부분을 채워줍니다. Fixer는 리컨스트럭션 도중 또는 뉴럴 렌더링 후처리 단계에서 사용할 수 있으며, CVPR 2025에서 공개된 Difix3D+ 논문을 기반으로 개발되었습니다. Fixer를 활용하면 리컨스트럭션된 장면에서 새로운 시점을 생성하는 것이 실용화되어, 오픈 루프 및 클로즈드 루프 시뮬레이션 워크플로우 모두에 적용할 수 있습니다.
월드 모델로 다양성 확장하기
지능형 시스템이 환경을 시뮬레이션하고 예측하며 상호작용할 수 있도록 하는 월드 모델을 활용하면, 시뮬레이션에서 데이터의 확장성과 다양성을 더욱 증대시킬 수 있습니다.
NVIDIA Cosmos Predict와 Transfer
Cosmos Predict는 텍스트, 이미지, 비디오를 입력으로 받아 새로운 비디오 상태를 생성하는 World Foundation Model로, 로보틱스 및 자율주행차 시뮬레이션에 활용됩니다.
Cosmos Transfer는 Cosmos Predict 기반의 멀티 컨트롤넷 모델로, 도로 구조, 객체 위치 및 방향과 같은 공간 제어 입력을 기반으로 고품질의 월드 시뮬레이션을 생성합니다. 사용자는 Cosmos Transfer에 프롬프트를 입력해 장면별로 다양한 날씨, 조명, 지형 조건을 생성할 수 있습니다.
최신 모델인 Cosmos Predict 2.5와 Cosmos Transfer 2.5는 최대 30초 분량의 신규 비디오를 생성할 수 있으며, 카메라 제어가 가능한 멀티뷰 출력과 제어 신호에 더욱 충실한 응답을 통해 자율주행 시뮬레이션의 요구사항을 충족합니다.
기술적인 내용을 더 깊이 이해하고 싶다면 Cosmos 백서를 참고하고, 직접 활용하고 배포하는 데 도움이 되는 가이드북인 Cosmos Cookbook으로 시작해 보세요.
뉴럴 리컨스트럭션과 월드 모델을 시뮬레이션 파이프라인에 통합하기
이러한 모델과 워크플로우는 오픈소스 및 엔터프라이즈 시뮬레이션 도구 체인에 통합되어, 기존 시뮬레이션 파이프라인에서도 손쉽게 활용할 수 있도록 지원합니다.
CARLA 오픈소스 자율주행 시뮬레이터
CARLA는 15만 명 이상의 활발한 개발자가 사용하는 세계적인 오픈소스 시뮬레이션 플랫폼 중 하나로, 자율주행 연구와 개발을 위한 테스트베드로 널리 활용되고 있습니다. NVIDIA는 CARLA와 협력하여 최신 NuRec 렌더링 API 및 Cosmos Transfer 월드 파운데이션 모델을 통합하고 있습니다. 이를 통해 개발자는 Gaussian 표현 기반의 센서 데이터를 레이 트레이싱으로 생성하고, Cosmos WFM을 활용해 다양한 시뮬레이션 데이터를 증폭할 수 있습니다.
아래 예시는 CARLA가 자차(Ego Vehicle)를 포함한 모든 에이전트의 움직임을 오케스트레이션하고, NuRec을 이용해 자차 시점에서 센서 데이터를 렌더링하는 장면입니다. 재구성된 장면을 추가하고 CARLA의 API 및 트래픽 모델과 연동해 새로운 이벤트를 시뮬레이션함으로써, 의미 있는 코너 케이스 데이터셋을 생성할 수 있습니다.
또한 Cosmos Transfer와 CARLA를 연동하면, 이 장면의 다양한 변형을 학습 및 테스트용으로 생성할 수 있습니다.
NVIDIA Omniverse NuRec과 Cosmos Transfer를 활용한 새로운 시점 생성
재구성된 장면을 새로운 시점에서 렌더링할 경우, 리컨스트럭션의 빈틈으로 인해 시각적 아티팩트가 발생할 수 있습니다.
개발자는 NVIDIA Physical AI Open Datasets에 공개된 900개 이상의 재구성 장면을 활용해 이 파이프라인을 직접 실험해볼 수 있습니다. 최신 CARLA 버전에서는 이 재구성 데이터를 기반으로 완전히 새로운 주행 경로를 설계하고, 카메라 위치를 변경하며, 다양한 주행 시뮬레이션을 실행할 수 있습니다.
CARLA 개발자는 Inverted.AI의 Imagining The Road Ahead(ITRA)처럼 행동 지시형 에이전트 모델을 활용하고, 자율주행 개발자는 Foretellix의 데이터 자동화 툴체인인 Foretify를 사용해, CARLA와 NVIDIA Cosmos에 사전 통합된 환경에서 시나리오와 주행 행동의 현실적인 변형을 생성하고 행동 다양성을 대규모로 확장할 수 있습니다.
Voxel51 자율주행 시뮬레이션 데이터 파이프라인
Voxel51의 FiftyOne은 피지컬 AI 개발자를 위한 비주얼 및 멀티모달 AI 데이터 엔진으로, 대규모 데이터셋과 모델을 학습 및 테스트 목적에 맞게 큐레이션, 주석 처리, 평가할 수 있도록 지원합니다. FiftyOne은 Cosmos Dataset Search(CDS), NuRec, Cosmos Transfer와 통합되어 시뮬레이션에 최적화된 고품질 데이터셋을 생성하며, 시뮬레이션 파이프라인 전 과정에서 성능을 향상시킵니다.
- CDS는 페타바이트 규모의 비디오 데이터를 빠르고 높은 재현율로 의미 기반 검색해, 다양한 후처리 목적에 맞는 타깃 데이터셋을 생성할 수 있도록 합니다.
- NuRec 통합을 통해 원시 데이터 스트림을 NuRec 포맷의 검증된 데이터셋으로 변환하고 장면을 재구성할 수 있습니다. 개발자는 자체 데이터셋을 불러와 재구성 품질을 평가하고, 후속 시뮬레이션 작업을 위한 3D 디지털 트윈을 만들 수 있습니다.
- Cosmos Transfer 통합을 활용하면 데이터에 직접 스타일 변환을 적용해 데이터셋의 다양성을 확장할 수 있습니다.
지금 바로 개발을 시작하세요
- 자율주행 시뮬레이션 활용 사례 자세히 보기
- 최신 CARLA 릴리스 소식 확인하기
- Physical AI Open Datasets 다운로드
- Cosmos Curator 다운로드
- Cosmos Dataset Search 다운로드
- Cosmos Predict 다운로드
- Cosmos Transfer 다운로드
- Cosmos Reason 다운로드
최신 소식을 놓치지 않으려면 NVIDIA 뉴스레터를 구독하고, NVIDIA Omniverse Discord 및 YouTube 채널을 팔로우하세요.
- Omniverse 개발자 페이지를 방문해 시작에 필요한 모든 자료를 확인해 보세요.
- OpenUSD 관련 리소스를 한데 모은 컬렉션과, 신규 셀프 학습 커리큘럼인 Learn OpenUSD 교육 과정도 제공합니다.
- 다가오는 OpenUSD Insiders 라이브 스트리밍에 참여하고, NVIDIA 개발자 커뮤니티와 소통해 보세요.
개발자 스타터 키트를 통해 직접 애플리케이션과 서비스를 빠르게 개발하고 확장할 수 있습니다.
