범용 로봇 기술이 본격적으로 현실화되고 있습니다. 메카트로닉스와 로봇용 AI 파운데이션 모델의 발전이 그 기반을 마련했지만, 여전히 풀어야 할 과제가 남아 있습니다. 조립이나 검사처럼 세밀한 작업을 수행하려면 방대한 양의 학습 데이터가 필요한데, 이를 사람이 시연하며 수집하는 방식은 규모를 키우기 어렵습니다. 이 문제를 해결하기 위해 NVIDIA는 Isaac GR00T-Dreams라는 새로운 Blueprint를 제시했습니다. 단 하나의 이미지와 언어 지시만으로 수많은 합성 궤적 데이터를 생성할 수 있도록 설계된 이 워크플로우는, NVIDIA Cosmos를 기반으로 작동합니다.
Cosmos 월드 파운데이션 모델(WFM)과 생성형 AI를 활용하면, 개발자들은 Isaac GR00T N1.5 같은 모델을 위한 학습 데이터를 단시간에 만들어낼 수 있습니다. GR00T N1.5는 휴머노이드 로봇이 다양한 환경에서 복잡한 작업을 수행할 수 있도록 돕는, 세계 최초의 오픈 파운데이션 모델입니다.
이 글에서는 Isaac GR00T-Dreams Blueprint의 개요와 기능, 그리고 GR00T N1.5 모델 개발 과정에서 어떤 역할을 하는지를 자세히 소개합니다.
Isaac GR00T-Dreams Blueprint 개요
Isaac GR00T-Dreams Blueprint는 방대한 양의 합성 궤적 데이터를 생성하기 위한 참조 워크플로우입니다. 이 데이터는 휴머노이드 로봇이 새로운 환경에서 낯선 작업을 수행할 수 있도록 학습시키는 데 사용됩니다.
이 Blueprint를 통해 로봇은 다양한 행동을 일반화하고, 소량의 인간 시연만으로도 새로운 환경에 적응할 수 있습니다. 덕분에 수천 명이 필요했던 학습 데이터를, 이제는 소수의 시연 인력으로도 확보할 수 있습니다.
GR00T‑Dreams는 Isaac GR00T‑Mimic Blueprint를 보완합니다. GR00T‑Mimic은 NVIDIA Omniverse와 Cosmos Transfer‑1 WFM을 활용해 기존 시연 데이터를 확장하며, 로봇의 특정 작업 숙련도를 높입니다. 반면 GR00T‑Dreams는 Cosmos Predict‑2와 Cosmos Reason을 이용해 전혀 새로운 작업과 환경을 위한 데이터를 생성하여, 로봇이 폭넓은 적응력을 지닌 범용기로 발전할 수 있도록 돕습니다.
GR00T-Dreams Blueprint 파이프라인
이 Blueprint는 실제 로봇 데이터를 바탕으로 합성 궤적을 생성하고, 이를 다시 물리 로봇 훈련에 활용하는 ‘실세계 기반 데이터 워크플로우’를 제공합니다. 이러한 접근을 통해 방대한 인간 시연 없이도 대규모 학습 데이터를 확보할 수 있습니다. 주요 단계는 다음과 같습니다:
1단계: 사후 훈련을 위한 인간 시연 수집
먼저, 개발자는 하나의 작업(예: 피킹 및 배치)을 단일 환경에서 수행하는 휴머노이드 로봇의 텔레오퍼레이션 궤적을 제한된 범위 내에서 수집합니다. 이렇게 확보한 실세계 데이터는 Cosmos Predict‑2 WFM의 사후 훈련에 사용되며, 이를 통해 모델은 해당 로봇 고유의 움직임 특성과 기능적 제약 조건을 학습할 수 있습니다.
2단계: “꿈(Dreams)” 생성
이어서, 개발자는 사후 훈련된 Cosmos 모델에 초기 이미지와 새로운 텍스트 기반 지시를 입력합니다. 그러면 생성형 모델은 문 열기, 닫기, 물체 정렬, 청소, 분류 등 다양한 작업 시나리오나 미래 상태(‘dreams’라고도 불리는)를 대량으로 생성합니다. 이 시나리오들은 2D 비디오 형태로 만들어집니다.
3단계: 추론 및 품질 필터링
dreams가 충분히 생성되면, Cosmos Reason 모델을 통해 각 dream의 품질과 수행 성공 여부를 평가할 수 있습니다. 이 모델은 작업에 실패했거나 결함이 있는 시나리오, 즉 ‘불량 dream’을 걸러내고, 품질이 높고 적절한 시나리오만 다음 단계로 넘기도록 선별합니다.
4단계: 뉴럴 궤적 추출
선별된 dreams는 처음에는 단순한 2D 비디오 픽셀에 불과하지만, 이후 행동 라벨링을 위한 생성형 AI 모델인 Inverse Dynamics Model(IDM)을 통해 3D 동작 궤적으로 변환됩니다. 이 모델은 2D 비디오의 ‘이전’과 ‘이후’ 두 프레임을 입력으로 받아, 그 사이에 발생한 동작 구간을 예측하는 방식으로 작동합니다.
이 중요한 과정은 dream 비디오의 시각 정보를 로봇이 학습할 수 있는 실질적인 데이터로 전환하며, 이렇게 3D 동작 데이터가 추가된 2D 비디오를 뉴럴 궤적이라고 부릅니다.
5단계: 비주얼-모터 정책 학습
마지막으로, 이렇게 생성된 뉴럴 궤적은 대규모 합성 데이터셋으로 활용되어 비주얼-모터 정책을 학습하는 데 사용됩니다. 실제 데이터와 함께 공동 학습하여 성능을 향상시키거나, 뉴럴 궤적만 단독으로 학습시켜 새로운 행동과 미지의 환경에 대한 일반화 능력을 갖출 수 있도록 합니다.
로봇 학습을 위한 고급 기능
GR00T-Dreams Blueprint는 로봇 학습에서 새로운 행동, 새로운 환경 등 다양한 고급 기능을 가능하게 합니다.
새로운 행동: 로봇은 단 하나의 작업(예: 피킹 및 배치)에 대한 학습 데이터만으로도, 언어 지시를 기반으로 전혀 새로운 동작을 학습할 수 있습니다.
새로운 환경: 로봇은 단 하나의 연구실 환경에서만 학습했더라도, 전혀 본 적 없는 새로운 환경에서도 작업을 수행할 수 있도록 일반화할 수 있습니다.
다양한 로봇 유형: 휴머노이드부터 Franka, SO-100 같은 매니퓰레이터까지 다양한 로봇 플랫폼에서 작동하며, 여러 카메라 시점도 지원합니다.
복잡한 작업에 대한 학습 강화: 변형 가능한 물체를 다루는 작업(예: 접기)이나 도구를 사용하는 작업(예: 망치질)처럼 접촉이 많은 고난도 작업에 대해서도 훈련 데이터를 보강하며, 초기 실세계 프레임에서 출발하는 현실 기반 워크플로우로 작동합니다.
GR00T-Dreams를 활용한 GR00T N1.5 사후 훈련
Vision-Language-Action(VLA) 모델은 GR00T-Dreams를 통해 사후 훈련함으로써 새로운 행동을 수행하고, 미지의 환경에서도 작동할 수 있는 능력을 갖출 수 있습니다.
NVIDIA Research는 GR00T-Dreams Blueprint를 활용해 GR00T N1.5 개발에 필요한 합성 훈련 데이터를 단 36시간 만에 생성했습니다. 같은 데이터를 사람의 수작업으로 수집했더라면 약 3개월이 걸렸을 작업입니다.
GR00T N1.5는 GR00T N1의 첫 번째 업데이트 버전으로, 범용 휴머노이드 로봇의 추론과 작업 수행을 위한 세계 최초의 오픈 파운데이션 모델입니다. 이 모델은 언어와 이미지 등 멀티모달 입력을 기반으로 다양한 환경에서 조작 작업을 수행할 수 있도록 설계되었습니다.
GR00T N1.5의 주요 개선 사항
- 언어 지시 이해 정확도 향상
- Isaac GR00T-Dreams Blueprint를 통한 새로운 물체와 환경에 대한 일반화 능력 강화
- Eagle 2.5를 활용한 공간 인지 및 오픈월드 시각적 기반 강화
- 자재 처리 및 제조 작업에서의 성공률 향상
오픈 NVIDIA Physical AI Dataset
NVIDIA는 Hugging Face에서 가장 많이 다운로드된 로보틱스 데이터셋인 오픈 NVIDIA Physical AI Dataset 컬렉션을 확장했습니다. 2025년 3월 처음 공개된 이 데이터셋에는 최근 수천 개의 신규 로봇 궤적이 추가되었으며, Unitree G1 로봇의 첫 실세계 훈련 데이터와 24,000건의 시뮬레이션 텔레오퍼레이션 궤적이 포함되어 있습니다.
이 컬렉션에는 다양한 조작 작업을 위한 합성 시뮬레이션 데이터도 함께 포함되어 있으며, GR00T N1.5 개발에 핵심적인 역할을 했습니다.
GR00T N 모델의 생태계 확산
GR00T N 모델은 AeiRobot, Foxlink, Lightwheel, NEURA Robotics 등 다양한 기업에서 빠르게 도입되고 있습니다.
AeiRobot은 산업용 로봇이 자연어를 이해하고 복잡한 피킹 작업을 수행할 수 있도록 GR00T N 모델을 활용하고 있습니다. Foxlink는 산업용 로봇 암의 유연성과 작업 효율성을 높이는 데 이 모델을 적용하고 있으며, Lightwheel은 합성 데이터의 유효성을 검증해 휴머노이드 로봇의 공장 배치를 앞당기는 데 활용 중입니다. NEURA Robotics는 가정용 자동화 시스템 개발 속도를 높이기 위해 GR00T N 모델을 평가하고 있습니다.
로봇 학습 가속화 시작하기
NVIDIA Isaac GR00T-Dreams Blueprint는 대규모 합성 궤적 데이터를 생성하기 위한 참조 워크플로우입니다. 이 데이터는 휴머노이드 로봇이 새로운 환경에서 새로운 동작을 수행할 수 있도록 학습시키는 데 사용됩니다. Blueprint를 활용하면 최소한의 인간 시연만으로도 다양한 행동을 일반화하고, 낯선 환경에서도 효과적으로 적응할 수 있습니다.
GR00T-Dreams를 시작하려면 다음을 참고하세요:
- 오픈소스 엔드 투 엔드 파이프라인을 확인해 보세요.
- 드림 데이터를 생성하는 사후 훈련된 Cosmos Predict‑2 모델을 탐색해 보세요.
- GR00T-Dreams의 기반이 된 연구, DREAMGEN: Unlocking Generalization in Robot Learning through Neural Trajectories 논문을 읽어보세요.
GR00T N1.5를 시작하려면 다음을 참고하세요:
- Hugging Face에서 Isaac GR00T N1.5를 다운로드하세요.
- GitHub에서 사후 훈련용 샘플 데이터셋과 PyTorch 스크립트를 확인하세요.
NVIDIA Robotics 뉴스레터를 구독하고 LinkedIn, Instagram, X, Facebook 채널을 팔로우해 최신 정보를 받아보세요. NVIDIA 공식 문서와 YouTube 채널, NVIDIA Developer Robotics 포럼도 함께 살펴보세요. 로보틱스 학습을 시작하고 싶다면, 무료로 제공되는 NVIDIA Robotics Fundamentals 과정에 등록해 보세요.
