자동차 콕핏은 룰 기반 인터페이스에서 추론·계획·행동이 가능한 에이전틱 멀티모달 AI 시스템으로 근본적인 전환을 겪고 있습니다. 오늘날 도로를 달리는 대부분의 차량에서 차량 내 어시스턴트는 여전히 고정된 명령-응답 패턴, 즉 문장을 해석하고 동작을 트리거한 뒤 초기화하는 방식에 머물러 있는데요.
잘 정의된 작업에는 효과적이지만, 운전자와 동승자가 모호한 표현도 처리하고 다단계 작업을 관리하며 여정 내내 변하는 맥락에 적응하는 대화형 어시스턴트를 기대하는 오늘날의 눈높이에는 잘 맞지 않습니다.
거대 언어 모델(LLM), 비전 언어 모델(VLM), 음성 모델은 근본적으로 새로운 상호작용 패러다임을 가능하게 합니다. 명령 매칭에 기대는 대신, 이 모델들은 기억과 추론 능력을 갖춘 대화형 AI, 음성·비전·텔레메트리를 아우르는 멀티모달 인터랙션, 그리고 단순히 요청에 반응하는 것이 아니라 사용자 니즈를 미리 헤아리는 맥락 인식·선제적 어시스턴스를 뒷받침합니다.
이렇게 열리는 경험의 폭은 상당합니다. 캘린더를 인지한 인사말이나 스마트홈 연동 같은 지능형 루틴이 매끄럽게 동작하고, 운전자는 주변 환경과 ADAS 동작에 대한 실시간·맥락 기반 설명을 받아 투명성을 통한 신뢰를 쌓을 수 있죠. 자연어 진단으로 기술 지식 없이도 예측 정비가 가능해지고, 어린이·노약자 동승자에게 맞춘 개인화 컴포트 모드 역시 실용적이고 직관적으로 구현됩니다.
규모 측면에서도 기회는 큽니다. ABI Research에 따르면 에이전틱 AI를 탑재한 차량의 글로벌 출하량은 2025년 약 500만 대에서 2035년 7,000만 대까지 늘어날 전망입니다. 다만, 엄격한 지연 시간·안전·프라이버시 요건이 따르는 차량 안에서 이런 경험을 구현하는 일은 진정한 시스템 엔지니어링 도전 과제이기도 한데요. 또한 차량 내 AI 어시스턴트는 고립된 채로 동작할 수 없고, 클라우드 기반 AI 에이전트·외부 서비스와 매끄럽게 통합해 역량을 확장해야 합니다.
이 글에서는 NVIDIA DRIVE를 활용해 프로덕션 등급의 에이전틱 캐빈 어시스턴트를 구축하기 위한 아키텍처·툴링·배포 경로를 차근차근 살펴봅니다.
핵심 과제 — 에지에서 동작하는 실시간 AI
의도 분류 파이프라인을 추론 루프로 대체하려면 디바이스 측에서 훨씬 더 많은 연산 능력이 필요합니다. 디바이스에서 동작하는 프로덕션 에이전틱 AI 어시스턴트는 다음을 충족해야 합니다:
- 로컬에서 7B+ 파라미터 모델 실행
- 멀티모달 입력 처리(카메라·오디오·텔레메트리)
- 낮은 지연 시간 유지(응답 시간 <500ms)
- 디코드 처리량 30 tokens/sec 이상 지속
- 데이터 프라이버시 보장(에지 우선 실행)
DRIVE AGX 플랫폼은 이런 요구사항을 충족하기에 매우 적합하며, 아래에서 설명하듯 자동차 제조사가 다양한 방식으로 통합할 수 있죠.
AI Box — 차량 내 AI LLM 가속을 위한 전용 플랫폼
DRIVE AGX 위에서 동작하는 자동차용 AI Box는 모듈식 AI 컴퓨트 솔루션을 제공해, 전통적인 인포테인먼트 SoC가 가진 추론 능력의 한계를 보완하고 고도화된 LLM·VLM 워크로드를 확장성 있게 배포할 수 있게 해 줍니다.
애드온 ECU(Engine Control Unit) 형태인 AI Box는 대부분의 기존 IVI(In-Vehicle Infotainment) 시스템과 매끄럽게 통합되며, 콕핏 컴퓨터와 토큰·카메라 데이터를 주고받는 가벼운 인터페이스만 있으면 됩니다. 덕분에 OEM은 기본 IVI 시스템만 갖춘 차량도 현대적인 에이전틱 AI 플랫폼으로 업그레이드할 수 있는데요, IVI 스택을 대대적으로 재설계하거나 핵심 차량 전장 아키텍처를 손볼 필요가 없습니다.
AI Box는 강력한 AI 어시스턴트를 호스팅해, 상황의 뉘앙스를 반영한 맥락 인식형 차량 내 경험을 제공합니다. 이를 위해서는 AI Box에서 동작하는 에이전트에 맥락 데이터를 공급할 여러 대의 실내·실외 카메라가 필요해요.
실내 카메라는 동승자 각각을 인식·기록하고, 표정·자세·제스처 등의 정보를 파악합니다. VLM 기반 에이전트는 잊고 내린 동승자(반려동물·아동) 감지나, 햇빛 눈부심 같은 환경 요인을 감지해 선쉐이드·송풍구를 자동 조절하는 선제적 컴포트 관리 같은 핵심 기능도 가능하게 해 줍니다.
실외 카메라(주차 카메라, 안면 인식 카메라)는 강화된 센트리 모드 동안 주변을 감시하고, 키리스 입출입을 가능하게 합니다. 멀티모달 VLM과 고대역폭 외부 카메라 피드를 활용하면, 차량 내 AI 에이전트가 차량 바로 주변에 대한 자연어 질문에 답해 주는 맥락 환경 질의도 수행할 수 있죠. 이 유스케이스는 외부 카메라를 단순한 안전·보안 입력에서 실시간 정보 도구로 바꿔 놓습니다.
예를 들어 사용자가 “저 식당 영업시간이 어떻게 되지?”라고 물으면, VLM이 실시간으로 추론해 간판·상호·관심 지점을 식별·해석합니다. 이 시각 정보가 다시 LLM 추론 루프로 흘러 들어가 동승자를 위한 대화형·맥락 기반 답변을 만들어 내는 식이죠. 이런 기능은 에지에서의 시각 처리와 대화형 AI가 깊게 통합되어 있음을 보여 주며, 차량을 진정으로 박식한 코파일럿으로 자리매김하게 합니다.
DRIVE AGX 기반 AI Box는 풍부한 인터페이스와 이미지 처리 능력을 갖춰 고대역폭 카메라 데이터를 받아들이기에 적합합니다. 실내·주차·실외 카메라를 AI Box에 직접 연결할 수 있으며, AI 에이전트는 멀티모달 VLM으로 이 카메라 데이터를 IVI 컴퓨터에서 넘어온 오디오 데이터·사용자 컨텍스트(토큰화된 데이터)와 함께 처리해 IVI 컴퓨터의 UX 애플리케이션으로 인텔리전스를 전달합니다.
또 다른 선택지는 카메라 데이터를 외부 ECU에서 인코딩한 뒤 이더넷으로 AI Box에 전송하는 방식입니다. DRIVE AGX Orin 또는 DRIVE AGX Thor 기반 AI Box에는 고대역폭 전용 하드웨어 디코더가 내장되어 있어, 이 디코딩 단계는 AI Box의 VLM 성능에 영향을 주지 않습니다. 카메라가 이미 다른 ECU에 연결되어 있는 기존 차량 아키텍처에 AI Box를 가볍게 통합할 수 있는 옵션이며, AI Box에 이더넷 연결만 추가하면 되므로 전반적인 EE 아키텍처에 미치는 영향도 최소화됩니다.
인포테인먼트 SoC 위에서 고급 AI 워크로드를 곧장 돌리는 방식과 비교하면, DRIVE AGX 기반 자동차용 AI Box는 차량 내 AI를 위해 목적 기반으로 설계된 독립형 컴퓨트 플랫폼입니다. 더 높은 성능, 더 강력한 워크로드 격리, 그리고 LLM·VLM 애플리케이션의 빠른 배포 시간을 제공하는데요. 주요 장점은 다음과 같습니다:
- 월등히 높은 AI 연산 용량: UI·미디어 워크로드에 최적화된 인포테인먼트 SoC보다 더 큰 LLM(최대 약 13B 파라미터)을 더 높고 일정한 추론 처리량으로 실행할 수 있습니다.
- QoS가 보장된 전용 메모리 대역폭: LLM 추론에 격리된 메모리 대역폭을 보장하므로, 인포테인먼트·그래픽·멀티미디어 작업이 동시에 돌아가도 예측 가능한 성능이 유지되도록 보장합니다.
- 결정적·고처리량 추론 성능: 콕핏 워크로드 변동성과 무관하게, 매끄러운 대화형 경험에 필요한 높은 토큰 디코드율을 유지합니다.
- 프로덕션 레디 플랫폼으로 빠른 출시: 자동차 등급 하드웨어와 검증된 프로덕션 레디 소프트웨어 스택을 활용해, 첫날부터 빠른 배포가 가능합니다.
- 기존 차량 전장 아키텍처 변경 없음: 기존 콕핏 시스템 옆에 모듈식 애드온으로 배포되므로, IVI 플랫폼의 비용이 큰 재설계나 재인증을 피할 수 있죠.
- 독립적인 AI 업그레이드 주기: OEM이 인포테인먼트 시스템과 별개로 AI 역량을 발전시킬 수 있어, UI 안정성·검증·인증 일정에 영향을 주지 않고도 모델·애플리케이션 업데이트를 자주 반영할 수 있습니다.
자동차용 AI Box를 통해 자동차 제조사는 어떤 차량에든 강력한 에이전틱 AI 역량을 더할 수 있습니다. DRIVE AGX의 동급 최고 수준 LLM 추론 능력을 더하면, 기존 IVI 시스템을 재설계할 필요 없이 차량에 현대적인 AI 콕핏 경험을 가져올 수 있죠.
자동차용 AI Box는 차량 세그먼트 전반에 걸쳐 확장될 수 있도록 두 가지 구성으로 제공됩니다.
DRIVE AGX Orin 기반 AI Box는 오늘날 대중 시장 차량에 프로덕션 레디·고성능 AI를 가져다 주고, NVIDIA 차세대 Blackwell GPU 아키텍처를 탑재한 DRIVE AGX Thor 기반 AI Box는 프리미엄 차량에 가장 진보한 LLM 기반 경험을 열어 줍니다.
DRIVE AGX Thor — 멀티 도메인 AI 컴퓨터
DRIVE AGX Thor는 Blackwell GPU 아키텍처로 DRIVE AGX 플랫폼의 역량을 확장해 전례 없는 에지 추론 성능을 제공합니다. 자율주행과 차량 내 AI 워크로드를 통합된 멀티 도메인 AI 컴퓨터 한 대에서 모두 호스팅할 수 있는 연산 여유도 갖췄습니다. Thor는 또한 광범위한 하드웨어·소프트웨어 메커니즘으로 격리를 보장하고, 안전 등급이 서로 다른 워크로드 사이의 FFI(간섭 차단, Freedom From Interference)를 확보하도록 설계되어 있습니다. 게다가 Thor의 DriveOS 7은 다수의 QNX·Linux 가상 머신을 지원해 AV와 차량 내 AI 양쪽 도메인에 안전한 소프트웨어 환경을 제공합니다.
DRIVE AGX Thor의 강력한 AI 성능과 폭넓은 격리 능력 덕분에, 차량 E/E 아키텍처를 새로운 차원에서 중앙화할 수 있습니다. 자동차 제조사는 모든 AI 기능을 DRIVE AGX Thor 한 곳에 배포하면서, AV와 차량 내 AI 도메인 모두에 동일한 소프트웨어 환경과 AI 툴체인을 활용할 수 있게 되는 것이죠.
DRIVE AGX와 MediaTek Dimensity AX 기반 중앙 카 컴퓨터
DRIVE AGX는 MediaTek의 Dimensity AX C-X1 콕핏 SoC와 결합해, 중앙 카 컴퓨터 한 대에서 동급 최고 수준의 차량 내·AV 경험을 제공할 수도 있습니다. C-X1 자체에도 LLM 추론이 가능한 NVIDIA GPU가 들어 있지만, DRIVE AGX SoC와 짝을 이루면 AI 워크로드를 분산해, 더 풍부한 멀티모달 유스케이스를 위해 동시에 실행할 모델 수를 늘리거나, C-X1이 고급 차량 내 게이밍·멀티미디어 같은 다른 콕핏 워크로드에 집중할 수 있게 해 줍니다.
또한 MediaTek Dimensity 플랫폼은 DRIVE AGX Orin·Thor와 동일한 DriveOS 환경을 공유합니다. AI·IVI 도메인 양쪽에서 개발을 단순화하는 통합 소프트웨어 토대를 제공하며, 영상·오디오 같은 고대역폭 데이터도 DriveOS NvStreams API를 통해 PCIE 링크 위에서 효율적이고 매끄럽게 공유됩니다.
DRIVE AGX와 MediaTek Dimensity AX는 함께 확장성, 전례 없는 LLM 추론 성능, 그리고 차량 내 모든 AI 기능(AV·차량 내 AI 포함)을 위한 통합 소프트웨어 아키텍처를 자동차 제조사에 제공합니다. MediaTek Dimensity AX는 위에서 살펴본 어떤 아키텍처에서도 NVIDIA DRIVE AGX와 매끄럽게 통합되는 콕핏 컴퓨트 솔루션으로 자리잡을 수 있죠. AI Box, 멀티 도메인 AI 컴퓨터, 중앙 카 컴퓨터까지 — OEM은 미래 지향적인 AI 네이티브 차량을 만들기 위해 자신만의 E/E 아키텍처를 설계할 여러 선택지를 가지게 됩니다.
하이브리드 아키텍처 — 클라우드부터 에지까지 이어지는 AI 추론
DRIVE AGX와 MediaTek 솔루션이 에지에서의 AI 어시스턴트에 강력한 컴퓨트 옵션을 제공하긴 하지만, 웹 리서치·소셜 미디어 상호작용·여행 계획 같은 흔한 작업은 웹 API·에이전트와의 통합이 필요합니다. 이런 경우에는 크고 강력한 모델을 활용해 광범위하고 복잡한 사용자 요청을 처리할 수 있도록 클라우드 추론을 사용합니다.
에지와 클라우드 AI를 결합한 종합적인 아키텍처가 최고의 사용자 경험을 만들어 냅니다:
- 에이전트 오케스트레이션: 사용자 의도와 현재 맥락에 따라 적절한 로컬·웹 에이전트에 라우팅해 작업을 해결합니다. 보통은 여러 에이전트의 조합이 필요한데요. 예를 들어 다가오는 여행에 대해 대화를 나눈다면, 로컬 내비게이션 에이전트, 경치 좋은 장소·맛집을 찾는 클라우드 기반 에이전트, 그리고 목적지를 설명해 주는 로컬 지식 에이전트가 함께 동원되곤 합니다. 어시스턴트는 앞에 발생한 교통 정체 같은 차량 이벤트, 새 메일 도착 같은 외부 이벤트, 또는 자체 루틴으로도 트리거될 수 있죠.
- 맥락 공유: 클라우드 에이전트가 개입할 때는 매끄러운 경험을 위해 관련 맥락을 함께 넘겨주는 일이 중요합니다. 사용자가 이미 공유한 맥락을 클라우드 어시스턴트가 다시 물어보면 경험이 깨질 수밖에 없죠. 반대로 클라우드 에이전트가 가진 정보가 로컬 에이전트에 결정적일 수도 있죠. 예를 들어 곧 중요한 회의가 있어 운전자에게 너무 많은 정보를 한꺼번에 주면 안 된다는 정보 같은 게 그렇습니다.
- UX 투명성: 웹 리서치·원격 툴 호출은 시간이 걸릴 수 있고, 인터넷 연결이 끊기면 클라우드로 보낸 워크로드는 돌아오지 않을 수도 있죠. 사용자가 이런 사정을 미리 모르면 어색하게 받아들일 수 있죠. 차량 AI 어시스턴트는 비동기 워크로드와 예상 완료 시간, 인터넷 연결 상태를 추적해야 하고, 폴백 메커니즘도 갖추고 있어야 합니다.
하이브리드 차량 내 에이전틱 AI 파이프라인 구축
차량 내 AI 어시스턴트는 차량 내부 맥락과 외부 신호를 모두 해석해 동승자의 의도를 이해하고, 그에 맞춰 시의적절하고 관련성 높은, 또 선제적인 응답을 제공합니다. 더 복잡한 작업이 필요할 때는 클라우드 기반 AI 에이전트와 매끄럽게 협업해 리서치를 수행하고, 서비스에 접근하며, 차량을 넘어선 범위까지 역량을 확장하기도 합니다.
이런 경험을 제공하려면 단순한 프롬프트-응답 모델을 넘어서야 합니다. 어시스턴트는 계획을 세우고, 내비게이션·차량 API·지식 시스템 같은 도구를 호출하며, 사용자 목표를 향해 반복적으로 실행해 나가야 하는데요. 이를 가능하게 하는 것이 오케스트레이션·도구 사용·메모리를 견고한 정책 적용·폴백과 함께 통합하는 에이전틱 AI 파이프라인입니다. 차량 내 지연 시간·권한 제약 안에서 다단계 작업이 안전하게 마무리될 수 있도록 보장하죠.
에이전틱 AI 파이프라인은 다음과 같은 핵심 구성 요소에 기반합니다:
- 자동 음성 인식(ASR): 캐빈 마이크 오디오를 텍스트로 변환합니다(잡음 억제와 웨이크 워드·엔드포인팅이 함께 적용되는 경우가 많습니다). 덕분에 후속 추론이 안정적인 전사 결과 위에서 동작할 수 있죠.
출발점: NVIDIA Nemotron 음성 ASR 모델 - 오케스트레이터·에이전트 프레임워크: 의도를 라우팅하고, 세션 상태를 유지하며, 스킬·도구를 선택하고, 정책(타임아웃·폴백, 차량에서 에이전트가 변경할 수 있는 항목 등)을 적용합니다.
출발점: 에이전트 개발을 위한 NeMo Agent Toolkit - LLM 추론 엔진: 토크나이즈, 배칭, KV 캐시 관리, 하드웨어 가속 실행을 처리하는 프레임워크입니다. 덕분에 대상 SoC 또는 클라우드 경로 위에서 모델이 실시간·준실시간 지연 목표를 충족할 수 있죠.
출발점: 서버 측 LLM 추론에는 TensorRT-LLM, 에지 추론에는 TensorRT Edge-LLM, 모델 구축·커스터마이징·최적화에는 NVIDIA NeMo - AI 모델: 오픈소스 또는 자체 보유 LLM·VLM 가중치가 언어 이해, 요약, 그리고 캐빈·차량 외부 환경의 시각 이해까지 담당합니다.
출발점: NVIDIA Nemotron 오픈 모델 패밀리, TensorRT-LLM 지원 모델, TensorRT Edge-LLM 지원 모델 - 텍스트 투 스피치(TTS): 어시스턴트의 최종 답변을 일관된 보이스, 운전 상황에 어울리는 운율, 그리고 차량 오디오 스택이 안정적으로 재생할 수 있는 출력 형식으로 자연스럽게 음성화합니다.
출발점: NVIDIA Magpie TTS 모델
아래 그림 9는 이런 구성 요소들이 에지부터 클라우드까지 에이전틱 AI 파이프라인 전반에서 어떻게 연결되는지를 보여 줍니다.
AI 팩토리에서 차량 내 배포까지 이어지는 길
에이전틱 차량 내 어시스턴트를 개발하려면 전통적인 음성 명령 시스템과는 다른 워크플로가 필요합니다. 출발점은 AI 팩토리인데요, 여기서 모델을 학습·파인튜닝·평가하고 대규모로 에이전틱 워크플로에 통합합니다. 이 클라우드 기반 환경에서는 엔터프라이즈 데이터·시뮬레이션·오케스트레이션 파이프라인을 활용해 AI 어시스턴트를 빠르게 반복하고, 지속적으로 개선·검증할 수 있죠.
NVIDIA NeMo는 엔터프라이즈 생성형 AI 모델을 구축·커스터마이징·배포하기 위한 엔드 투 엔드 플랫폼입니다. 클라우드·에지를 가로질러 데이터 큐레이션·학습·파인튜닝·평가, 그리고 가드레일이 적용된 배포까지 지원하는 도구를 제공해요. LLM·멀티모달 모델·RAG·에이전틱 워크플로를 지원하므로, 확장 가능하고 프로덕션 레디인 AI 애플리케이션을 만들어 낼 수 있습니다. NVIDIA 가속 컴퓨팅과 통합되고 최적화된 마이크로서비스로 배포할 수 있어, 개발부터 차량 내 시스템을 포함한 프로덕션 실시간 추론까지 높은 성능·보안·이식성을 제공합니다.
검증이 끝나면 모델과 파이프라인은 에지 배포에 맞게 최적화되어 차량 안으로 들어옵니다. CUDA와 TensorRT를 기반으로 하므로 통합된 GPU 프로그래밍 모델이 클라우드와 임베디드 환경을 모두 아우르며, 개발에서 배포까지 일관성이 유지되는데요. 모델은 양자화·프루닝 같은 기법으로 한 단계 더 최적화된 뒤, TensorRT Edge-LLM을 사용해 AI Box에 배포되어 고성능·저지연 추론을 제공합니다.
AI 팩토리에서 차량 내 실행까지 이어지는 이 매끄러운 경로 덕분에, 차량 내 AI의 엄격한 지연 시간·프라이버시·신뢰성 요구를 충족하면서도 혁신을 끊임없이 이어 갈 수 있습니다.
TensorRT Edge-LLM은 LLM·VLM·VLA 같은 자동회귀(autoregressive) 모델을 임베디드 플랫폼에서 실행하기 위한 NVIDIA 추론 프레임워크입니다. 낮은 지연 시간, 적은 메모리·연산 비용, 최소한의 종속성 등 임베디드 환경에 필요한 요구사항을 염두에 두고 설계되었습니다. NVIDIA Nemotron 오픈 모델 패밀리를 포함해 최신 에지 친화 모델들을 지원하고, 오픈소스로 GitHub에서 제공됩니다.
시작해 보기
NVIDIA DRIVE AGX 플랫폼 기반 AI Box 위에서 차량 내 AI 애플리케이션을 구축하려면 다음 순서를 따라 보세요:
- NeMo와 NIM을 사용해 클라우드에서 프로토타이핑
- 클라우드 에이전트의 최적화 추론을 위해 TensorRT-LLM 활용
- NeMo Agent Toolkit으로 오케스트레이터·도구 통합 구축
- DRIVE AGX DevKit 위에서 TensorRT Edge-LLM으로 배포
- DRIVE AI Box 양산을 위해 파트너와 협업:
- 플랫폼(하드웨어+소프트웨어) 제공: Bosch, Desay SV, Lenovo, PATEO, ThunderSoft, Visteon
- 소프트웨어(모델+파이프라인) 제공: Amazon Alexa, ArcherMind, Cerence AI, Volcano Engine
- 하이브리드 에지-클라우드 피드백 루프로 반복 개선
NVIDIA의 풀스택 접근, 즉 AI 팩토리에서 에지의 DRIVE AGX까지 이어지는 흐름은 지능적이고 멀티모달한 에이전틱 경험을 모든 차량에 가져올 수 있는 프로덕션 레디 경로를 제공합니다.
