로보틱스에 대한 수요가 증가하면서 전례 없는 규모의 물리적으로 정확한 시뮬레이션에 대한 필요성이 대두되고 있습니다. Universal Scene Description(OpenUSD)은 로봇이 학습하는 가상 세계를 구축하기 위한 강력한 개방형 표준을 제공하며, 이러한 혁신의 핵심적인 역할을 합니다.
이 가이드에서는 OpenUSD를 사용하여 로보틱스 개발 워크플로우를 가속화하는 세 가지 실용적인 방법을 소개합니다. 주요 내용은 다음과 같습니다.
- 데이터 수집(Data ingestion): OpenUSD의 데이터 수집 기능을 사용하여 분산된 CAD, URDF(통합 로봇 기술 언어), 센서 데이터를 시뮬레이션에 즉시 사용 가능한 파이프라인으로 통합하는 방법을 알아봅니다.
- 데이터 통합(Data aggregation): OpenUSD의 구성(composition) 기능으로 수십만 개의 객체까지 확장 가능한 대규모 가상 세계를 구축하여, 무한한 훈련 시나리오를 지원하는 방법을 살펴봅니다.
- SimReady: SimReady 접근 방식을 통해 전체 NVIDIA 물리 기반 AI 스택에서 작동하는 플러그 앤 플레이 에셋으로 로보틱스 파이프라인을 통합하는 방법을 소개합니다.
숙련된 로보틱스 엔지니어부터 이제 막 시작하는 입문자까지, 누구나 이 핵심 기술을 통해 배포 시간을 크게 단축하고 로봇 시뮬레이션 및 훈련 성능을 향상시키는 방법을 배우게 될 것입니다.
1. 데이터 수집: 로보틱스 생태계 확장
데이터 수집은 다양한 데이터 포맷을 OpenUSD로 변환하여 NVIDIA Isaac Sim과 NVIDIA 로보틱스 생태계로 들어가는 게이트웨이 역할을 합니다.
최신 로보틱스 프로젝트는 CAD 파일, 로봇 기구학을 위한 URDF 설명, 실시간 센서, IoT 데이터 등 서로 다른 데이터 소스의 복잡한 조합을 기반으로 합니다. OpenUSD는 이러한 소스들을 단일하고 일관된 포맷으로 통합하는 범용 통합 도구(universal aggregator) 역할을 합니다.
이 통합은
- Isaac Sim 및 NVIDIA Isaac Lab과 같은 프레임워크에서 합성 데이터 생성, 로보틱스 알고리즘의 SITL(Software-in-the-Loop) 테스트, 강화 학습과 같은 고급 워크플로우를 사용할 수 있습니다.
- 설계부터 AI 훈련까지 전체 파이프라인을 간소화하는 공통 USD 표현을 만들어 개발 속도를 높입니다.
워크플로우에 지금 적용하기
다음과 같은 여러 컨버터(converter)가 로보틱스 워크플로우에 유용합니다.
- Wandlebots OpenUSD 라이브러리: Wandelbots NOVA는 FANUC, Yaskawa, Universal Robots, ABB, KUKA와 같은 제조업체의 주석이 달린 광범위한 OpenUSD 로봇 모델 라이브러리를 포함합니다.
- SICK 가상 센서 모델: 산업용 LiDAR 센서, 안전 레이저 스캐너, 비전 센서의 인증된 디지털 트윈을 OpenUSD 포맷으로 이용할 수 있으며, Isaac Sim에서의 훈련 시뮬레이션에 바로 사용할 수 있습니다.
- Newton의 MuJoCo-USD 컨버터: MuJoCo(MJCF) 파일을 물리, 지오메트리, 재질을 지원하는 OpenUSD로 변환합니다.
MJCF 파일의 OpenUSD 변환을 자동화하는 데이터 파이프라인 만들기
pip install mujoco-usd-converter
mujoco_usd_converter /path/to/robot.xml /path/to/usd_robot
2. 데이터 통합: 대규모 가상 세계로 확장
데이터 통합은 OpenUSD의 레이어 기반 구성(composition)을 사용하여, 서로 다른 소스의 모듈식 재사용 가능 에셋들을 결합해 체계적이고 확장 가능하며 성능이 뛰어난 가상 세계를 만듭니다.
OpenUSD는 단일 환경 내에서 수십만 개의 객체를 관리할 수 있어, 여러 대의 로봇(fleet)이 현실적인 시나리오에서 훈련, 테스트, 최적화를 수행하는 대규모 로봇 시뮬레이션을 가능하게 합니다. 창고 선반이나 공장 로봇과 같은 모듈식의 재사용 가능한 에셋을 구축하면 무한한 환경 구성을 만들 수 있습니다. 이를 통해 AI 모델 훈련을 가속화하고, 합성 데이터 생성의 다양성을 높이며, 실제 배포 환경에서 더 견고하고 다재다능한 로봇 성능을 구현할 수 있습니다.
워크플로우에 지금 적용하기
- Hugging Face에 있는 Physical AI Warehouse OpenUSD 데이터 세트는 개발자들이 창고 로보틱스 시뮬레이션 및 훈련을 위한 약 1,000개의 OpenUSD 에셋으로 빠르게 시작할 수 있도록 지원합니다.
- USD Search는 AI 기반 자연어 또는 이미지 쿼리를 사용하여 (3D 데이터가 비정형이고 태그가 없는 경우에도) 대량의 에셋을 관리하고 필요한 것을 더 빨리 찾는 데 도움을 줄 수 있습니다.
훈련을 위해 에셋을 수많은 대규모 가상 환경으로 통합해 보세요.
Python에서 데이터 세트의 에셋을 비파괴적으로 레퍼런싱(non-destructively referencing)하여 장면 구성을 자동화할 수 있습니다.
from pathlib import Path
from pxr import Usd
def ref_all_dataset_assets(root_dir: Path, stage: Usd.Stage):
for usd_file in root_path.rglob('*.usd'):
dir_name = usd_file.parent.name
file_name = usd_file.stem
if file_name == dir_name:
print(f"Found asset entry point: {usd_file}")
# Define a typeless prim
prim_path = f"/{dir_name}"
prim = stage.DefinePrim(prim_path)
# Add reference to the layer
prim.GetReferences().AddReference(str(usd_file))
USD Search API에 대해 더 자세히 알아보세요.
3. SimReady: 더 넓은 생태계와 로보틱스 파이프라인 통합하기
SimReady 에셋은 재질, 기구학, 동작 등 물리적으로 정확한 속성을 통합한 고품질(high-fidelity) OpenUSD 객체로, 현실적인 시뮬레이션, 로보틱스, AI 훈련, 디지털 트윈에 즉시 사용할 수 있습니다.
SimReady 에셋 카탈로그를 사용하면 임시로 제작된(ad-hoc) 3D 모델에서 흔히 발생하는 파편화 및 호환성 문제를 방지하여 로보틱스 파이프라인을 간소화할 수 있습니다. 이러한 표준화는 시뮬레이션 런타임 전반에 걸쳐 에셋의 상호 운용성, 재사용성, 통합을 가능하게 합니다. SimReady 에셋은 Isaac Sim과 같이 OpenUSD 기반 프레임워크에서 즉시 사용할 수 있어 시간이 많이 소요되는 에셋 준비 및 변환 과정이 필요 없습니다. 덕분에 개발자는 모든 파이프라인 단계에 적합한 도구를 사용하면서 훈련 및 시뮬레이션과 같은 핵심적인 부가가치 활동에 집중할 수 있습니다.
워크플로우에 지금 적용하기
Lightwheel은 로봇 학습, 모방 학습, VLA(video-language-action) 훈련 방법에 최적화되고 연구용 벤치마크와 호환되는 방대한 SimReady 에셋 라이브러리를 제공합니다. USD Search를 기반으로 개발자는 색상, 기구학, 물리 데이터를 기준으로 SimReady 에셋을 쉽게 검색할 수 있습니다.
Lightwheel의 라이브러리 또는 NVIDIA 오픈소스 피지컬 기반 AI 데이터 세트에서 에셋을 다운로드하여 NVIDIA Isaac Sim에서 바로 사용해 보세요.
시작하기
OpenUSD는 로보틱스 개발의 패러다임 전환을 의미합니다. 이는 파편화되고 특정 툴에 종속된 워크플로우에서 벗어나, 통합되고 확장 가능하며 상호 운용이 가능한 생태계로의 전환입니다. 데이터 수집을 마스터하고, 대규모 통합 데이터 세트를 사용하며, SimReady 표준을 채택함으로써 로보틱스 팀은 개발 주기를 가속화하는 동시에, 실제 환경에 바로 적용할 수 있는 더 견고하고 이전 가능한 AI 시스템을 구축할 수 있습니다.
NVIDIA는 여러분의 학습 과정을 가속화할 수 있도록 포괄적인 OpenUSD 리소스 모음을 제공합니다. 자신의 속도에 맞춰 학습할 수 있는 Learn OpenUSD, 디지털 트윈, 로보틱스 교육 커리큘럼으로 시작하여 이 가이드에서 다룬 기초 기술을 쌓아보세요.
로보틱스 분야에서 다음 단계로 나아가고자 하는 전문가들을 위해, OpenUSD 개발 자격증은 전문가 수준의 시험을 제공하며 OpenUSD를 사용한 3D 콘텐츠 파이프라인 구축, 유지, 최적화에 대한 전문성을 검증합니다. NVIDIA GTC 워싱턴 D.C.에 참석하시나요? 컨퍼런스 참석자에게 추가 비용 없이 현장에서 진행되는 인증 시험에 응시하여 경험을 극대화해 보세요.
곧 진행될 OpenUSD Insiders 라이브 스트림을 시청하고 NVIDIA 개발자 커뮤니티와 소통해 보세요. Instagram, LinkedIn, X, Threads, YouTube에서 NVIDIA Omniverse를 팔로우하고 최신 소식을 받아보세요.
또한 9월 27일부터 10월 2일까지 대한민국 서울에서 열리고 있 CoRL & Humanoids에서 공개되는 최신 연구에 대해 알아보세요. 또한, NVIDIA GTC 워싱턴 D.C.에서 NVIDIA 젠슨 황 CEO가 피지컬 기반 AI의 혁신이 어떻게 모든 산업 분야에서 범용 로보틱스 시대를 열어가고 있는지에 대해 발표하는 키노트도 놓치지 마세요.
