생성형 AI 비디오 모델의 확산과 이로 인해 도입된 새로운 워크플로우는 크리에이티브 및 마케팅 기술 산업에서 제작 효율을 크게 높이고 결과물의 품질을 향상시켰습니다.
NVIDIA Inception 프로그램 파트어사인 타이베이 소재 AI 스타트업 GliaCloud는 최근 Omniverse-ComfyUI Bridge를 오픈소스로 공개했습니다. 이 NVIDIA Omniverse Kit 기반 확장 템플릿은 NVIDIA Omniverse RTX Renderer에서 생성되는 시각 데이터를 ComfyUI로 직접 스트리밍하며, RGB 이미지, 노멀 맵, 뎁스 맵, 인스턴스 ID 세분화, 시맨틱 세분화 등 다양한 데이터 유형을 지원합니다. 이를 통해 고급 AI 기반 이미지 처리 워크플로우에서 그라운드 트루스 뷰포트 데이터를 직접 추출하고 실용적으로 활용할 수 있습니다.
NVIDIA Omniverse 라이브러리를 활용한 비디오-투-비디오 생성 파이프라인
Omniverse-ComfyUI Bridge의 아이디어는 GliaCloud 팀이 ComfyUI에서 다양한 비디오-투-비디오(v2v) 생성형 AI 모델을 테스트하는 과정에서 처음 등장했습니다. 이들은 현재의 생성형 AI 워크플로우에서 뎁스 맵이나 세분화 결과와 같은 정교한 시각 데이터에 대한 수요가 점점 증가하고 있다는 점을 파악했습니다.
GliaCloud의 CEO이자 공동 창립자인 David Chen은 “NVIDIA Omniverse와 같은 고급 3D 렌더링 엔진을 생성형 비디오 모델과 결합한 하이브리드 워크플로우에서 큰 가능성을 보고 있습니다”라며, “Omniverse와 생성형 AI 모델이 제공하는 정교한 크리에이티브 제어 기능은 새로운 마케팅 요구를 충족시키는 강력한 수단이 되며, 생성된 콘텐츠의 시각적 완성도와 확장성을 전례 없이 높여줍니다”라고 말했습니다.
GliaCloud 팀은 내부 테스트를 통해 Omniverse RTX Renderer에서 렌더링된 다양한 데이터를 v2v 모델 입력에 활용했을 때, 결과물의 정밀도와 객체 제어 능력이 눈에 띄게 향상된 것을 확인했습니다.
이러한 개선은 NVIDIA Omniverse Replicator를 활용함으로써 가능했으며, 세분화 입력값을 기반으로 동적 마스크를 생성할 수 있게 되어 다양한 오픈소스 비디오 생성 모델의 출력 품질을 크게 향상시켰습니다. 이제 v2v 모델은 단일 입력에 대해 여러 번의 패스를 반복하면서, 특정 영역마다 별도의 프롬프트를 적용할 수 있어 객체 기반 스타일 제어가 가능해졌습니다.
반복 작업을 더욱 빠르고 정밀하게: Omniverse-ComfyUI Bridge
Omniverse-ComfyUI Bridge는 유연성, 확장성, 그리고 맞춤형 ComfyUI 워크플로우에의 손쉬운 통합을 목표로 설계되었습니다. 경량 아키텍처를 바탕으로 자원 부담 없이 매끄럽게 도입할 수 있으며, 사용자가 요구사항에 따라 워크플로우를 효과적으로 확장할 수 있도록 지원합니다.
Omniverse-ComfyUI Bridge의 핵심 기능은 다음과 같습니다:
- 단일 프레임 및 다중 프레임 캡처: 정밀한 편집을 위한 개별 프레임 또는 애니메이션 및 동적 시각 콘텐츠 생성을 위한 연속 프레임 캡처 기능
- ComfyUI용 커스텀 노드 통합: Omniverse RTX Renderer의 데이터를 커스텀 ComfyUI 노드에 직접 스트리밍하여 워크플로우 설정을 간단하고 효율적으로 구성
- 실시간 데이터 처리: 즉각적인 시각적 피드백을 통해 빠른 테스트가 가능하며, 반복 시간을 크게 줄여 생산성을 향상
향후 Omniverse-ComfyUI Bridge는 고급 애니메이션 제어, 사람 자세 추정 모델과의 통합, 엣지 감지를 위한 추가 기능 등 다양한 향상이 예정되어 있습니다. 이러한 발전은 AI 기반 시각 워크플로우에서 더욱 높은 수준의 제어력, 정밀도, 창의적 자유도를 제공할 것으로 기대됩니다.
생성형 AI가 계속 발전함에 따라, Omniverse-ComfyUI Bridge가 제공하는 이와 같은 정밀하고 고품질의 데이터 스트림은 점점 더 중요해질 것입니다. GliaCloud 팀은 앞으로 커뮤니티가 새로운 모델을 개발하고 이에 맞춰 워크플로우를 진화시키면서, 반복 작업 속도가 급격히 증가할 것으로 전망하고 있습니다.
시작하기
GliaCloud의 오픈소스 Omniverse-ComfyUI Bridge를 사용하면, 사용자가 보유한 OpenUSD 에셋을 ComfyUI의 NVIDIA Cosmos와 같은 노드와 함께 v2v 워크플로우에 통합할 수 있습니다. 이 솔루션은 Omniverse RTX Renderer의 포토리얼리스틱 렌더링 기능과 ComfyUI의 모듈형 사용자 인터페이스의 장점을 결합하여, 사용자 맞춤형 파이프라인을 빠르고 정밀하게 테스트할 수 있도록 지원합니다.
GliaCloud는 오픈소스 커뮤니티에 대한 기여와 참여를 통해 창의력의 민주화를 실현하는 데 앞장서고 있습니다.
NVIDIA Omniverse Kit App Template을 활용해 나만의 Omniverse Kit 기반 애플리케이션 개발을 시작하고, NVIDIA Omniverse 개발자 커뮤니티에서 활발한 논의에 참여해 보세요.
감사의 말
이 글의 작성에 기여한 GliaCloud의 크리에이티브 테크놀로지스트 Billy Ho와 DevOps 엔지니어 Ying Xiang Zhao에게 감사의 뜻을 전합니다.
관련 자료
- GTC 세션: 빛의 속도에 가까운 숏폼 비디오 처리 최적화
- GTC 세션: 제어 가능한 생성형 AI를 위한 OpenUSD 애플리케이션 개발
- GTC 세션: Omniverse Cloud Sensor RTX로 물리 기반 AI 개발 워크플로우 가속화
- SDK: Kaolin
- SDK: Omniverse Kit
- SDK: DALI
