현실감 있는 3D 시뮬레이션은 자율주행차 훈련부터 로보틱스, 디지털 트윈에 이르기까지 최신 AI와 그래픽 분야의 핵심 기술로 자리잡고 있습니다. NeRF와 3D Gaussian Splatting(3DGS) 같은 신경 렌더링 기법은 센서 데이터로부터 3D 장면을 재구성하고 시각화하는 방식을 획기적으로 바꾸었습니다.
이번 글에서는 gsplat 라이브러리에 실제 카메라 효과를 지원하는 최첨단 신경 렌더링 방식인 3D Gaussian Unscented Transform(3DGUT) 구현을 소개합니다. 이 기술을 통해 개발자와 연구자는 자율 기계, 로보틱스, 물리 AI 응용 분야에 활용할 수 있는 풍부한 가상 세계를 더 쉽게 구현하고, 높은 성능과 사실감을 누릴 수 있습니다.
3DGUT가 3D 렌더링을 향상시키는 방법
3DGUT는 3D 렌더링과 장면 재구성 방식을 획기적으로 바꾸고 있습니다. 널리 사용되는 3DGS 프레임워크를 기반으로 하며, 기존의 타원 가중 평균(EWA) 스플래팅 대신 훨씬 유연한 언센티드 트랜스폼(Unscented Transform)을 적용했습니다. 이로 인해 개발자는 어안 렌즈 왜곡이나 롤링 셔터 효과 같은 복잡한 카메라 모델도 뛰어난 정밀도로 처리하면서 렌더링 속도는 그대로 유지할 수 있습니다.
또한 3DGUT는 반사나 굴절 같은 2차 시각 효과까지 사실적으로 시뮬레이션할 수 있도록 NVIDIA의 레이 트레이싱 방식인 3DGRT와 자연스럽게 연동됩니다. 기술 확산과 연구 활성화를 위해 3DGUT와 3DGRT는 오픈소스로 제공되며, GitHub의 nv-tlabs/3dgrut 리포지토리에서 사용할 수 있습니다.
gsplat에서 3DGUT 구현하기
오픈소스로 널리 사용되는 Gaussian Splatting 전용 라이브러리인 gsplat은 Gaussian Splatting 기법의 개발과 학습을 위해 설계되었습니다. 3DGUT의 잠재력을 최대한 활용하는 데 핵심적인 역할을 합니다. gsplat은 PyTorch와 호환되는 Python 바인딩과 다양한 기능을 갖춘 최적화된 CUDA 백엔드를 제공해 Gaussian Splatting 모델의 성능을 크게 향상시킵니다.
gsplat은 Apache License 2.0 하에 GitHub에서 활발히 유지·관리되고 있으며, Nerfstudio를 비롯한 다양한 신경 렌더링 프로젝트에서 핵심 구성 요소로 사용되고 있습니다. 3DGUT의 유연성과 gsplat의 모듈형 고성능 프레임워크를 결합하면 확장성과 성능을 모두 갖춘 이상적인 3D 렌더링 환경을 구축할 수 있습니다.
확장 가능한 3D 렌더링
3DGUT가 인기 있는 오픈소스 라이브러리 gsplat에 통합되면서 왜곡이나 롤링 셔터 같은 복잡한 카메라 모델도 렌더링 및 학습에 직접 활용할 수 있게 되었습니다. 이는 실제 서비스 수준의 파이프라인 구축에 있어 매우 중요한 요소입니다. 또한 배치 처리와 멀티 GPU를 지원하는 경량 gsplat CUDA 백엔드와 함께 사용하면, 적은 자원으로 더 넓은 환경을 탐색하면서도 실시간 피드백을 유지할 수 있습니다.
간소화된 워크플로우와 간편한 테스트
gsplat의 모듈형 플러그 앤 플레이 아키텍처는 3DGUT의 유연성과 완벽하게 어울립니다. 연구자와 개발자는 최적화 방식, 카메라 모델, 또는 Gaussian 표현 방식을 손쉽게 바꾸며 새로운 구조를 빠르게 실험할 수 있고, 핵심 인프라를 다시 작성할 필요도 없습니다.
3DGUT와 gsplat을 함께 사용하면 데이터셋 준비부터 시각적 평가까지 모든 작업 흐름이 훨씬 간단해지며, 반복 주기가 짧아지고 연구 효율도 높아집니다. 곧 Nerfstudio의 인터랙티브 시각화 도구 지원과 다양한 데이터 입출력 포맷도 추가될 예정이니 기대해 주세요.
성장하는 커뮤니티 에코시스템 지원
오픈소스 gsplat과 3DGUT의 강력한 성능이 결합되면서, 더 많은 연구자, 개발자, 크리에이터가 자유롭게 참여하고 확장하며 새로운 아이디어를 실현할 수 있는 환경이 마련되었습니다. 새로운 신경 렌더링 알고리즘을 만들거나 기존 3D 파이프라인에 통합하거나, 단순히 아이디어를 실험하는 경우에도 이 통합은 NVIDIA의 최첨단 연구와 gsplat 커뮤니티 생태계를 기반으로 한 견고한 토대를 제공합니다. 이 두 기술은 함께 고성능 3D 렌더링의 대중화를 앞당기고, 학계와 산업 전반의 혁신 속도를 높이고 있습니다.
물리 AI 개발 역량 강화
3DGUT는 로보틱스, 자율주행차, 인체형 에이전트 등 시각적 사실성이 중요한 물리 기반 AI 응용 분야에서 강력한 기능을 제공합니다. 어안 렌즈 왜곡이나 롤링 셔터 효과 같은 복잡한 카메라 현상을 정밀하게 모델링함으로써, 실제 환경에서 수집한 데이터가 안고 있는 여러 문제를 효과적으로 해결합니다. 이러한 사실성은 실제 로봇 센서처럼 넓은 시야각과 역동적인 움직임을 가진 환경에서도 안정적으로 작동하는 비전 시스템을 학습시키는 데 필수적입니다.
또한 3DGUT는 3DGRT와의 통합을 통해 반사, 굴절 등 2차 조명 효과도 지원합니다. 이는 합성 객체 삽입이나 다중 반사 조명 같은 작업에 매우 중요한 요소입니다. 이러한 조명 정보는 AI 에이전트가 깊이, 표면 경계, 물체 재질 등을 해석하는 방식에 큰 영향을 주기 때문에, 복잡하고 불확실한 환경에서의 행동을 테스트하고 개선하는 데 반드시 포함되어야 합니다.
gsplat의 빠르고 유연한 렌더링 백엔드, 그리고 Nerfstudio 생태계의 인터랙티브 도구와 결합하면 실험과 반복 개발이 한층 빨라지며, 물리 기반 AI 연구와 개발의 진전을 가속화할 수 있습니다.
일반 핀홀 카메라로 재구성한 장면과 3DGUT를 적용한 어안 카메라 장면을 비교한 영상은 Video 3과 Video 4에서 확인해 보세요.
3DGUT 시작하기
3DGUT와 3DGRT는 오픈소스로 공개되어 전 세계 개발자와 연구자 커뮤니티가 자유롭게 활용하고 기여할 수 있습니다. 관련 코드는 GitHub의 nv-tlabs/3dgrut 리포지토리에서 확인하고 참여할 수 있습니다. 또한 3DGUT는 널리 사용되는 오픈소스 라이브러리 gsplat에 통합되어 있어, 손쉬운 실험, 플러그 앤 플레이 렌더링 파이프라인 구성, 실제 환경에 적용 가능한 성능까지 모두 갖추고 있습니다.
시작하려면 NVIDIA의 3DGUT 구현과 gsplat 통합에 관한 상세 문서와 빠른 시작 가이드를 참고해 보세요. 실시간 시각화나 다양한 데이터셋 포맷을 활용하는 튜토리얼도 함께 제공되고 있습니다.
NVIDIA 3DGUT 이벤트
연구자와 개발자는 NVIDIA 3DGUT 경품 이벤트에서 gsplat의 3DGUT 또는 3DGRUT(3DGUT + 3DGRT)를 사용하여 혁신적인 장면을 생성하여 자신의 아이디어와 기술을 자유롭게 펼칠 수 있습니다. 참가자에게는 향후 연구 개발을 가속화할 수 있는 NVIDIA RTX 4090 GPU를 획득할 수 있는 기회가 주어집니다.
관련 리소스
- GTC 세션: NeRF에서 3DGS로: 인터랙티브 3D 월드에서 고품질의 정적 및 동적 씬 재구성을 위한 고급 방법 탐색
- GTC 세션: Slice-100K: 압출 기반 3D 프린팅을 위한 멀티모달 데이터세트
- GTC 세션: ACGT: Blazing Fast Bits-to-Bases
- NGC 컨테이너: Microvolution
- NGC 컨테이너: VISTA-3D NIM
- SDK: Neural VDB
