3D 세계와 메타버스의 개발을 가속화하기 위해, NVIDIA는 수많은 AI 연구 프로젝트를 통해 다양한 산업의 크리에이터가 생성형 AI로 새로운 가능성을 열 수 있도록 지원하고 있습니다.
생성형 AI는 메타버스의 모든 측면을 다루고, Omniverse ACE로 AI 아바타에 생명을 불어넣는 등 실제 사용 사례에 이미 활용되고 있죠. 오디오에서 애니메이션을 생성하는 Audio2Face 와 Audio2Gesture를 포함한 많은 프로젝트는 Omniverse 커뮤니티에서 많은 사랑을 받는 도구가 됐습니다.
CES에서 NVIDIA는 가상 세계를 그 어느 때보다 빠르고 쉽게 만들 수 있도록 Omniverse에 도입될 새로운 생성형 AI 기술을 공개했는데요. 이러한 모델은 NVIDIA 파트너의 서드파티 Connector는 물론 NVIDIA 연구팀이 AI ToyBox의 익스텐션으로 공개한 내부 AI 프로젝트로 사용할 수 있습니다.
NVIDIA Omniverse에서 사용할 수 있는 모든 생성형 AI 연구 프로젝트와 Connector는 합법적으로 라이선스를 취득하고 구매한 데이터 세트를 사용합니다.
생성형 AI 커넥터, 익스텐션으로 3D 콘텐츠 제작 가속화
NVIDIA Omniverse는 서드파티 기술을 위한 Connector와 익스텐션을 통해 최고의 생성형 AI 기술을 도입하고 있습니다.
Move.ai는 신체 움직임에서 애니메이션을 생성합니다. Move.ai를 사용하면 어디에서나 사람의 동작을 캡처하고 Omniverse로 직접 내보낼 수 있죠.
영상 1. Move.ai 모션 데이터로 캐릭터를 움직이는 NVIDIA Omniverse의 개인 복싱 예시.
루미리스믹(Lumirithmic)는 안면 스캔에서 머리에 대한 3D 메쉬를 생성합니다. 이 커넥터를 사용하면 안면 스캔에서 영화 수준의 아바타를 쉽게 생성하고, 모든 산업 분야에서 대규모로 3D 스캔을 수행할 수 있죠. 루미리스믹의 공동 창립자 겸 CEO 가우라브 차울라(Gaurav Chawla)는 “Omniverse를 통해 크리에이터, 게이머, 개발자에게 3D 안면 스캐닝 제품을 제공하고 게임, 광고 기술, 메타버스와 기타 애플리케이션을 위한 최고 품질의 3D 안면 기술에 대한 액세스를 대중화하기 위해 NVIDIA와 협력하게 되어 기쁩니다”고 말했습니다.
영상 2. Omniverse – 루미리스믹 3D 아바타 캡처 통합.
Elevate3D는 360° 영상 촬영에서 제품의 사실적인 3D 시각화를 생성하고 신경 방사 필드를 활용하여 최고의 시각적 충실도로 3D 메쉬를 생성합니다. Elevate3D의 공동 창립자인 알렉산더 칼리에(Alexandre Carlier)와 마틴 다넬리안(Martin Danelljan)은 “Omniverse를 통해 우리는 가장 광범위한 워크플로우와 산업에 우리 기술을 제공할 수 있습니다. 또한 뛰어난 문서 기능과 개발자 경험 덕분에 플랫폼에서 익스텐션을 구축할 수 있었습니다. 이 익스텐션으로 물리적 물체 스캔은 이제 어렵지 않게 될 것”이라고 말했습니다.
영상 3. Omniverse용 Elevate3D 익스텐션.
최신 생성형 AI 연구 탐색 및 실험
AI 워크플로우는 Omniverse 경험의 중심입니다. 그렇기 때문에 NVIDIA는 3D 아티스트와 크리에이터가 AI로 워크플로우를 가속화할 수 있도록 지속적으로 새로운 연구 프로젝트를 진행하고 있죠. 이러한 AI 프로젝트 중 다수는 NVIDIA Canvas의 포즈 추정과 몇 가지 2D 브러시 스트로크에서 360도 이미지를 생성하는 머시니마(Machinima)와 같이 널리 사용되는 기능이 됐습니다.
CES에서 발표된 GET3D는 2D 이미지, 텍스트, 숫자와 같은 데이터에서 토폴로지, 풍부한 기하학적 디테일과 질감으로 3D 모양을 생성하는 새로운 생성형 AI 모델입니다. 이러한 3D 모양 또는 텍스처 메쉬는 동물과 인간의 형태를 취할 수 있으며 곧 자동차, 의자, 오토바이, 건물 등도 가능하므로, 여러 산업 분야의 크리에이터가 가상 세계에서 콘텐츠의 양과 다양성을 빠르게 확장할 수 있습니다.
이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.
