실제 로봇 시연을 통해 로봇 정책을 훈련시키는 방식은 비용이 많이 들고 속도가 느리며, 과적합(overfitting)되기 쉬워 여러 작업과 환경에 대한 일반화 성능을 제한합니다. **시뮬레이션 우선 접근 방식(A sim-first approach)**은 개발 과정을 효율화하고, 위험과 비용을 낮추며, 더 안전하고 적응력 높은 배포를 가능하게 합니다.
현재 얼리 개발자 프리뷰로 제공되는 Isaac Lab 2.3 최신 버전은, 진보된 전신 제어(whole-body control), 향상된 모방 학습(imitation learning), 그리고 더 나은 보행(locomotion) 기능으로 휴머노이드 로봇의 역량을 개선합니다. 또한 이번 업데이트는 Meta Quest VR이나 Manus 글러브와 같은 더 많은 기기를 지원하여 데이터 수집을 위한 원격 조작(teleoperation) 기능을 확장하고, 시연 데이터셋 생성을 가속화합니다. 추가적으로, 조작(manipulation) 작업에서의 데이터 생성을 위한 모션 플래너 기반 워크플로우도 포함합니다.
강화 학습과 모방 학습을 위한 새로운 샘플 및 예제
Isaac Lab 2.3은 정교한 조작(dexterous manipulation) 작업을 지원하는 새로운 기능들을 제공합니다. 여기에는 인식(perception) 및 고유수용감각(proprioception)을 위한 딕셔너리 관측 공간(dictionary observation space), 그리고 강화 학습(RL) 훈련의 **확장성(scaling)**을 개선하기 위한 자동 영역 랜덤화(ADR) 및 모집단 기반 훈련(PBT) 기술이 포함됩니다.
이러한 새로운 기능들은 DexPBT: 모집단 기반 훈련을 통한 핸드-암 시스템의 정교한 조작 능력 확장과 정교한 손으로 무엇이든 잡기 위한 시각-운동 정책 논문에서 구현된 환경을 기반으로 확장되었습니다.
이전 릴리스를 기반으로 확장된 Isaac Lab 2.3은 흡입 그리퍼(suction gripper)를 사용하는 새로운 벤치마킹 환경을 도입하여, 흡입 방식과 기존의 그리퍼 방식 모두에서 조작(manipulation)을 가능하게 합니다.
이전 버전에는 다이렉트 워크플로우(direct workflow)에 표면 그리퍼(surface gripper) 샘플이 포함되어 있었습니다. 이번 업데이트에서는 모방 학습(imitation learning)을 위한 관리자 기반 워크플로우(manager-based workflow)에 CPU 기반 표면 그리퍼 지원이 추가됩니다.
이 샘플을 사용하여 시연을 녹화하려면, 다음 명령어를 사용하세요:
./isaaclab.sh -p scripts/tools/record_demos.py --task Isaac-Stack-Cube-UR10-Long-Suction-IK-Rel-v0
--teleop_device keyboard --device cpu
정교한 리타겟팅이란, 조작 작업을 위해 인간의 손 모양을 로봇 손의 관절 위치로 변환하는 과정입니다. 이는 효율적인 인간-로봇 간 기술 이전을 가능하게 하고, 접촉이 많은 인핸드(in-hand) 작업의 성능을 향상시키며, 강건한 조작 정책을 훈련시키기 위한 풍부한 시연 데이터를 만들어냅니다.
또한 Fourier GR1T2 및 Unitree G1과 같은 모든 양팔 로봇의 상체 제어에 대한 추가적인 개선이 이루어졌습니다. 이는 Pink IK(역운동학) 컨트롤러를 개선하여 양팔 로봇의 팔을 더 자연스러운 자세로 유지하고, 불필요하게 팔꿈치가 벌어지는 현상을 줄이는 방식으로 진행되었습니다. 이번 릴리스에는 로봇이 몸통을 회전시켜 도달 가능한 공간을 넓힐 수 있도록 하는 새로운 환경들도 포함되었습니다. 추가적인 튜닝을 통해 **말단 장치(end effector)**와 목표 지점 간의 속도를 높이고 오차를 줄였습니다.
영상 1. Isaac Lab: G1 로봇의 스탠딩 조작 과제그림 1. IK 컨트롤러 개선 전의 도달 가능 공간그림 2. IK 컨트롤러 개선과 허리 잠금 해제 환경으로 인한 도달 가능 공간의 확장
관절 가동 범위 한계(at-limit joints)나 해결 불가능 상태(no-solve states)와 같은 IK(역운동학) 컨트롤러의 오류를 원격 조작자에게 알려주는 UI 요소들이 추가되었습니다. 또한 시연 데이터 수집이 완료되었을 때 원격 조작자에게 알려주는 팝업도 추가되었습니다.
조작 데이터 생성을 위한 충돌 회피 동작 계획 기능 도입
SkillGen은 적응형 충돌 회피 조작(collision-free manipulation) 시연을 생성하기 위한 워크플로우입니다. 이 워크플로우는 인간이 제공하는 하위 작업 구간(subtask segments)과 GPU 가속 동작 계획(motion planning)을 결합하여, 소수의 인간 시연만으로 실제와 같은 접촉이 많은(contact-rich) 조작 작업을 학습할 수 있게 합니다.
개발자들은 이번 최신 버전의 Isaac Lab에서 Isaac Lab Mimic 내의 SkillGen을 사용하여 시연 데이터를 생성할 수 있습니다. SkillGen은 다단계 계획(접근, 접촉, 후퇴)을 가능하게 하고, 적절한 충돌 구체 관리를 통해 동적인 물체 부착 및 분리를 지원하며, 기술 연결(skill stitching) 과정에서 운동학 및 장애물을 반영하도록 월드 상태를 동기화합니다. 수동으로 ‘시작’과 ‘끝’을 지정하는 하위 작업 주석(annotation)은 접촉이 많은 기술 구간을 동작 계획 구간과 분리하여, 후속 사용자들을 위한 일관된 궤적 합성과 재현 가능한 결과를 보장합니다.
이전 릴리스에서 Isaac Lab Mimic은 데이터 생성을 위해 MimicGen 구현을 사용했습니다. SkillGen은 MimicGen의 한계를 개선했으며, Isaac Lab 2.3 릴리스에서는 이제 Isaac Lab Mimic 내에서 SkillGen 또는 MimicGen 중 하나를 선택하여 사용할 수 있습니다.
두 개의 쌓기(stacking) 작업에 대한 사전 주석 데이터셋(pre-annotated dataset)을 사용하여 이 파이프라인을 실행하려면, 다음 명령어를 사용하세요. 데이터셋은 다운로드할 수도 있습니다.
조작(manipulation) 기술을 넘어, 휴머노이드와 모바일 로봇은 복잡하고 동적인 공간을 안전하게 주행해야 합니다. 이제 개발자들은 Isaac Lab의 모빌리티 워크플로우를 사용하여, 다양한 종류의 로봇과 환경에서 주행을 가능하게 하는 비전 기반 모빌리티 파이프라인인 NVIDIA COMPASS를 사후 훈련(post-train)시킬 수 있습니다.
이 워크플로우는 Isaac Sim에서의 합성 데이터 생성(SDG), 모빌리티 모델 훈련, 그리고 NVIDIA Jetson Orin 또는 NVIDIA Thor를 통한 배포 과정을 포함합니다. 또한 Cosmos Transfer 기술은 시뮬레이션과 현실 간의 격차(sim-to-real gap)를 줄여 합성 데이터의 품질을 향상시킵니다.
로봇은 NVIDIA Isaac CUDA 가속 라이브러리들을 결합하여, cuVSLAM으로 자신의 위치를 파악하고, cuVGL로 지도를 구축하는 법을 배우며, COMPASS로 장면을 이해하여 행동을 생성함으로써, 변화하는 환경과 장애물을 실시간으로 주행할 수 있게 됩니다. COMPASS는 또한 개발자들이 GR00T N과 같은 진보된 시각 언어 행동(VLA) 파운데이션 모델을 훈련시키기 위한 합성 데이터를 생성하는 수단을 제공합니다. 현재 ADATA, UCR, 그리고 Foxlink가 COMPASS를 자사의 워크플로우에 통합하고 있습니다.
휴머노이드 로봇을 위한 로코-매니퓰레이션 합성 데이터 생성
로코-매니퓰레이션(Loco-manipulation)이란 이동(locomotion)과 조작(manipulation)을 조화롭게 수행하는 것을 의미합니다. 즉, 로봇이 몸을 움직이면서(걷거나 구르면서) 동시에 물체를 다루는(잡고, 밀고, 당기는 등) 행동을 하나의 연결된 전신(whole-body) 과제로 처리하는 것입니다.
이 워크플로우는 내비게이션(navigation)을 전신 컨트롤러(WBC)와 통합하여, 조작과 이동이 결합된 로봇 과제 시연을 합성(synthesize)합니다. 이를 통해 로봇은 테이블에서 물체를 집어, 특정 공간을 가로질러 이동한 뒤, 다른 곳에 물체를 내려놓는 것과 같은 복잡한 연속 동작을 수행할 수 있습니다.
이 시스템은 테이블 위의 물건을 집고 놓는 위치, 목적지, 그리고 바닥의 장애물을 무작위로 변경하여 시연 데이터를 증강(augment)합니다. 이 과정은 데이터 수집 구조를 이동(locomotion)에 의해 분리된 ‘집기 및 놓기’ 구간으로 재구성하며, 이를 통해 인간의 ‘조작 전용’ 시연 데이터만으로도 휴머노이드 로봇이 복합 과제를 수행하도록 훈련시킬 수 있는 대규모 로코-매니퓰레이션 데이터셋을 만들 수 있습니다.
이 인터페이스는 유연하여, 사용자가 원하는 컨트롤러를 선택하고 휴머노이드나 모바일 매니퓰레이터와 같은 다양한 로봇 형태(embodiment)로 쉽게 전환할 수 있습니다.
그림 4. 내비게이션 및 조작 궤적 증강을 위한 로코-매니퓰레이션 합성 데이터 생성(SDG)
정책 평가 프레임워크
물체 조작이나 공간 주행과 같이 학습된 로봇 기술을 실제 하드웨어만으로 평가하는 것은 확장성(scalability)이 떨어집니다. 시뮬레이션은 수많은 시나리오, 과제, 환경에 대해 이러한 기술을 확장 가능한 방식으로 평가할 수 있는 방법을 제공합니다.
하지만 시뮬레이션에 적합한 애셋을 샘플링하는 것부터 환경을 설정하고 다양화하는 것, 그리고 대규모 평가를 조율하고 분석하는 것에 이르기까지, 사용자는 원하는 결과를 얻기 위해 Isaac Lab 기반 위에 여러 구성 요소를 직접 수동으로 구성해야 합니다. 이는 파편화된 설정, 제한된 확장성, 높은 오버헤드, 그리 높은 진입 장벽으로 이어집니다.
이 문제를 해결하기 위해 NVIDIA와 Lightwheel은 확장 가능한 시뮬레이션 기반 실험을 위한 오픈 소스 정책 평가 프레임워크인 NVIDIA Isaac Lab – Arena를 공동 개발하고 있습니다. 개발자는 이 프레임워크 API를 사용하여 복잡한 대규모 평가를 별도의 시스템 구축 없이 효율적으로 실행할 수 있습니다. 이는 개발자들이 평가 방법을 커뮤니티에 기여하면서 정책 개선(policy iteration) 자체에 집중할 수 있게 하여, 로보틱스 연구 개발을 가속화하는 것을 의미합니다.
이 프레임워크는 간소화되고 맞춤 설정 가능한 과제 정의와 지표, 평가, 다양화를 위한 확장 가능한 라이브러리를 제공합니다. Isaac Lab을 사용한 병렬 처리 및 GPU 가속 평가를 특징으로 하며, 원활한 워크플로우를 위해 데이터 생성, 훈련, 배포 프레임워크와 상호 운용됩니다.
이 파운데이션 위에는 조작, 이동, 로코-매니퓰레이션을 위한 샘플 과제 라이브러리가 구축되어 있습니다. 또한 NVIDIA는 정책 개발자, 벤치마크 저자, 그리고 Lightwheel과 같은 시뮬레이션 솔루션 제공업체와 협력하여 이 프레임워크에서 그들의 평가를 지원하는 동시에, 평가 방법들을 다시 커뮤니티에 기여하고 있습니다.
그림 5. Isaac Lab – Arena, 정책 평가 프레임워크, 샘플 과제: 확장 가능하고 접근성 높은 평가를 실현
대규모 평가의 경우, NVIDIA OSMO를 통해 워크로드(workload)를 조율할 수 있습니다. NVIDIA OSMO는 온프레미스(on-prem) 및 클라우드 컴퓨팅 환경 전반에 걸쳐 로보틱스와 자율주행 머신 파이프라인을 스케줄링하고 확장하는 클라우드 네이티브 플랫폼입니다.
인프라 지원
Isaac Lab 2.3은 NVIDIA RTX PRO Blackwell 서버와 NVIDIA GB10 Grace Blackwell 슈퍼칩으로 구동되는 NVIDIA DGX Spark에서 지원됩니다. RTX PRO와 DGX Spark는 모두 연구자들이 훈련, SDG(합성 데이터 생성), 로봇 학습, 시뮬레이션 전반에 걸친 모든 로봇 개발 워크로드를 실험하고, 프로토타입을 제작하며, 실행하기 위한 탁월한 플랫폼을 제공합니다.
DGX Spark에서 실행되는 Isaac Lab 2.3의 경우, XR/AVP를 이용한 원격 조작(teleoperation)과 Isaac Lab Mimic에서의 모방 학습은 지원되지 않습니다. 따라서 개발자들은 휴머노이드 환경을 위해서는 사전에 수집된 데이터를 사용해야 하며, Franka 환경의 경우에는 키보드나 스페이스마우스와 같은 표준 장치를 지원합니다.
생태계 확산
Agility Robotics, Boston Dynamics, Booster Robotics, Dexmate, Figure AI, Hexagon, Lightwheel, General Robotics, maxon, Skild AI와 같은 선도적인 로봇 개발사들이 로봇 개발을 고도화하기 위해 NVIDIA 라이브러리와 오픈 모델을 활발히 활용하고 있습니다.
Isaac Lab 2.3 시작하기
Isaac Lab 2.3은 휴머노이드 제어를 향상시키고, 더 쉬운 데이터 수집을 위해 원격 조작 기능을 확장하며, 복잡한 조작 및 이동 데이터 생성을 자동화하여 로봇 학습을 가속화합니다.
Isaac Lab 2.3 시작하기: 얼리 개발자 릴리스를 시작하려면 GitHub 리포지토리와 공식 문서를 방문하세요
Asawaree Bhide 프로필
Asawaree Bhide는 NVIDIA의 기술 마케팅 엔지니어로, Jetson 플랫폼에서 로보틱스 및 딥러닝 애플리케이션을 담당하고 있습니다. 그녀는 조지아 공대에서 컴퓨터 과학 석사 학위를 받았으며, 체화된 에이전트(embodied agent)의 자율 주행을 위한 복잡한 인식 과제를 해결하는 데 관심이 있습니다.
Neel Jawale 프로필
Neel Jawale는 NVIDIA의 로보틱스 및 머신러닝(ML) 소프트웨어 엔지니어입니다. 그는 다양한 형태(embodiment)의 로봇이 비정형적이고 동적인 환경에서 부드럽고 안정적으로 계획하고 주행할 수 있게 하는 알고리즘에 중점을 두고 있습니다. 이를 위해 그는 두 패러다임의 장점을 모두 활용하여 강화 학습(RL)과 모델 기반 최적화를 결합하는 방식을 사용합니다.
NVIDIA에 입사하기 전, 그는 시애틀 워싱턴 대학교에서 석사 학위를 마쳤습니다. 재학 중 그는 빠른 기술 습득을 위해 오프라인 강화 학습(offline RL)과 모델 예측 제어(MPC)를 결합하는 방법을 연구했으며, 광학 촉각 센서를 이용한 미끄러짐 인지 로봇 조작에 대한 연구도 수행했습니다.
Michael Lin 프로필
Michael Lin은 NVIDIA의 로보틱스 조작(manipulation) 소프트웨어 엔지니어입니다. 그는 로봇 제어와 로봇 학습 분야에서 sim-to-real transfer를 구현한 경험을 바탕으로, 현재 로봇 과제 시연을 위한 전신 원격 조작(whole body teleoperation)을 가능하게 하는 휴머노이드 로코-매니퓰레이션 컨트롤러 개발에 중점을 두고 있습니다.
NVIDIA 입사 전, 그는 스탠퍼드 대학교에서 박사 학위를 취득했으며, 그의 연구는 비정형 환경에서의 로봇 촉각 인지 및 제어에 중점을 두었습니다.
