합성 데이터 생성 도구 및 서비스를 제공하는 기업 및 개발자는 이제 Omniverse Replicator SDK를 사용하여 물리적으로 정확한 합성 데이터 생성 파이프라인을 구축할 수 있습니다. NVIDIA Omniverse 플랫폼에 구축된 Omniverse Replicator SDK는 Omniverse Code 내에서 베타판으로 사용할 수 있습니다.
Omniverse Replicator는 물리적으로 정확한 3D 합성 데이터 생성을 위해 확장성이 뛰어난 Omniverse 플랫폼을 기반으로 구축된 SDK로 AI 인식 네트워크의 훈련 및 성능을 가속화합니다.개발자, 연구자 및 엔지니어는 이제 Omniverse Replicator를 사용하여 사실적인 대규모 합성 데이터로 기존 딥 러닝 인식 모델의 성능을 향상하고 부트스트랩할 수 있습니다.
Omniverse Replicator는 개발자가 신경망의 요구 사항에 맞게 합성 데이터 생성 애플리케이션을 구축할 수 있는 뛰어난 플랫폼을 제공합니다. 또한 사용하기 쉬운 Python API와 USD(Universal Scene Description), PhysX 및 MDL(Material Definition Language) 등의 개방형 표준을 기반으로 구축되었으며, 사용자 정의 랜더마이저, 어노테이터, 라이터를 지원하는 확장성도 제공합니다. 코어 어노테이터의 CUDA 기반 OmniGraph 구현으로 매우 빠른 데이터 생성을 지원하므로 출력을 즉시 미리 볼 수 있습니다. Replicator는 Omniverse Farm 및 SwiftStack 출력과 결합되어 클라우드에서 막대한 확장성을 제공합니다.
Omniverse Replicator SDK는 맞춤형 합성 데이터 워크플로우를 위한 6가지 주요 구성 요소로 구성됩니다.
- 의미론적 스키마 편집기: Replicator는 3D 애셋의 의미론적 레이블링과 기초 요소를 사용하여 렌더링 및 데이터 생성 프로세스 중에 관심 개체에 주석을 붙일 수 있습니다. Semantic Schema Editor는 사용자 인터페이스를 통해 스테이지의 기초에 이러한 레이블을 적용하는 방법을 제공합니다.
- 비주얼라이저: 3D 애셋에 할당된 의미론적 레이블에 대한 시각화 기능과 2D/3D 바운딩 상자, 노멀, 깊이 등의 주석을 제공합니다.
- 랜더마이저: 도메인 무작위화는 Replicator의 중요한 기능 중 하나입니다. 랜더마이저로 무작위 장면 생성, 애셋 샘플링, 재료, 조명 및 카메라 위치 등의 무작위화 기능을 사용할 수 있습니다.
- Omni.syntheticdata: 이는 Omniverse RTX 렌더러 및 OmniGraph 연산 그래프 시스템과의 낮은 수준의 통합을 제공합니다. 또한 Replicator의 지상검증 추출 어노테이터를 구동하여 렌더러에서 어노테이터로 임의 출력 변수(AOV)를 전달합니다.
- 어노테이터: 딥 뉴럴 네트워크 훈련용으로 레이블이 정확히 지정된 주석을 생성하기 위해 Omni.syntheticdata 확장에서 AOC 및 기타 출력을 얻습니다.
- 라이터: 어노테이터의 이미지 및 기타 주석을 처리하고 훈련을 위해 DNN별 데이터 형식을 생성합니다.
AI 훈련의 합성 데이터
인식 작업을 위해 DNN을 훈련하는 데에는 종종 수백만 개의 이미지에서 데이터를 수동으로 수집한 다음 이러한 이미지와 증강 옵션에 수동으로 주석을 달아야 합니다.
수동 데이터 수집 및 주석 작업은 고되고 주관적입니다. 대규모의 2D 바운딩 박스와 같은 단순한 주석으로 실제 이미지를 수집하고 주석을 지정하는 것은 많은 물류적 문제를 일으킵니다. 세분화와 같은 관련 주석은 리소스 제약이 있으며 수동으로 수행하면 훨씬 덜 정확합니다.
수집 및 주석 작업이 끝나면 데이터가 DNN에서 사용할 수 있는 형식으로 변환되고 DNN은 인식 작업을 위해 훈련됩니다. 네트워크 아키텍처의 하이퍼 매개 변수 조정 또는 변경은 네트워크 성능을 최적화하기 위한 일반적인 다음 단계입니다. 모델 성능을 분석하면 데이터세트에 잠재적인 변경이 발생할 수 있지만 대부분의 경우 여기에는 수동 데이터 수집 및 주석 작업 주기가 다시 요구됩니다. 수동 데이터 수집 및 주석 작업의 반복되는 주기는 비용이 많이 들고 지루하며 느립니다.
팀에서는 합성적으로 생성된 데이터를 사용하여 부트스트랩을 하고 비용 효율적인 방식으로 정확한 주석을 사용하여 대규모 학습 데이터 생성을 향상할 수 있습니다. 또한 합성 데이터 생성은 롱테일 이상 현상, 사용 가능한 학습 데이터 부족, 온라인 강화 학습과 관련된 문제를 해결하는 데도 도움이 됩니다. 수동으로 수집되고 주석이 지정된 데이터와 달리, 합성적으로 생성된 데이터는 상각 비용이 낮아 데이터 수집/주석 및 모델 트레이닝 주기의 일반적인 반복적 특성에 유용합니다.
Omniverse Replicator는 물리적으로 정확하고 사실적인 데이터 세트와 매우 큰 데이터세트에 대한 액세스 등 Omniverse 플랫폼의 여러 핵심 기능과 모범 사례를 활용하여 이러한 과제를 해결합니다.
물리적으로 정확한 포토리얼 데이터세트에는 RTX 기술, 물리 기반 재료 및 물리 엔진을 통한 정확한 레이 트레이싱 및 패스 트레이싱이 필요합니다. 모두 Omniverse 플랫폼의 핵심 기술입니다.
USD(Universal Scene Description) 기반 Omniverse는 다른 3D 애플리케이션에 원활하게 연결되므로, 개발자가 맞춤형 콘텐츠를 가져오거나 자체 도구를 작성하여 다양한 도메인 장면을 생성할 수 있습니다. 이러한 애셋을 생성하는 것은 종종 병목 현상을 유발합니다. 여러 GPU 및 노드 전반에서 확장이 필요하기 때문입니다.
Omniverse Replicator는 Omniverse Farm을 활용하여 팀이 여러 워크스테이션이나 서버를 함께 사용하여 렌더링 또는 합성 데이터 생성과 같은 작업을 지원하게 합니다. 합성 데이터 생성 워크플로우는 ‘한 번 하면 끝’이 아닙니다. 합성 데이터로 네트워크를 훈련하는 데 성공하려면 네트워크가 실제 데이터세트에서 반복적으로 테스트되어야 합니다. Replicator는 시뮬레이션된 세계를 학습 가능한 매개변수 세트로 변환하여 이러한 종류의 데이터 중심 AI 훈련을 제공합니다.
Omniverse Replicator 및 TAO Toolkit을 통해 기존 워크플로우 가속화
개발자, 엔지니어 및 연구원은 Omniverse Replicator를 기존 도구와 통합하여 AI 모델 훈련 속도를 높일 수 있습니다. 예를 들어 합성 데이터가 생성되면 개발자는 NVIDIA TAO 툴킷을 사용하여 AI 모델을 빠르게 훈련할 수 있습니다. TAO 툴킷은 개발자가 사전 AI 전문 지식 없이 사용 사례에 맞게 모델을 훈련, 조정 및 최적화할 수 있도록 Transfer Learning의 성능을 활용합니다.
Omniverse Replicator를 통한 애플리케이션 구축
Kinetic Vision은 소매, 내부 물류, 소비자 제조 및 소비자 포장 제품의 대규모 산업 고객을 위한 시스템 통합업체입니다. 고객에게 서비스형으로 고품질 합성 데이터를 제공하기 위해 Omniverse Replicator SDK 기반의 새로운 엔터프라이즈 애플리케이션을 개발하고 있습니다.
딥 러닝 모델을 훈련하는 데 필요한 데이터를 사용할 수 없는 경우, Omniverse Replicator는 제한된 데이터세트를 강화하는 데 사용할 수 있는 합성 데이터를 생성합니다. Lightning AI(구 Grid.AI)는 NVIDIA Omniverse Replicator를 사용하여 이러한 모델을 훈련하는 데 사용할 수 있는 USD(Universal Scene Description)를 기반으로 물리적으로 정확한 3D 데이터세트를 생성합니다. 사용자는 3D 애셋을 드래그 앤 드롭할 수 있으며, 데이터세트가 생성되면 최신 최첨단 컴퓨터 비전 모델 중에서 선택하여 합성 데이터에서 자동으로 훈련시킬 수 있습니다.
NVIDIA에서 Isaac Sim 및 DRIVE Sim 팀은 Omniverse Replicator SDK를 활용하여 도메인별 합성 생성 도구인 로보틱스용 Isaac Replicator, 자율주행 자동차 훈련용 DRIVE Replicator를 구축했습니다. Omniverse Replicator SDK는 개발자가 Omniverse 플랫폼이 제공하는 모든 이점을 활용하여 도메인별 합성 데이터 생성 파이프라인을 구축할 수 있는 핵심 기능 세트를 제공합니다. Replicator는 3D 시뮬레이션, 렌더링 및 AI 개발 기능을 위한 개발 플랫폼으로 Omniverse를 사용하여 맞춤형 합성 데이터 생성 파이프라인을 제공합니다.
가용성
Omniverse Replicator SDK는 이제 Omniverse Launcher에서 다운로드할 수 있는 Omniverse Code에서 이용할 수 있습니다.
Replicator에 대한 자세한 내용은 Replicator 문서를 참조하고 Replicator 튜토리얼을 시청하세요. NVIDIA의 Discord Server에 참여하여 커뮤니티와 채팅하고, 합성 데이터 생성에 대한 NVIDIA의 Discord 채널을 확인하세요.
개발자가 플랫폼용 맞춤형 애플리케이션 및 확장을 구축하는 방법이 자세히 설명되어 있는 Omniverse 리소스 센터에서 추가 정보를 확인하세요.
Omniverse를 Instagram, Twitter, YouTube, Medium에서 팔로우하고 추가 리소스 및 영감을 받아 보세요. Omniverse 포럼에서 전문가 가이드를 확인하세요.
이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.
