Content Creation / Rendering

NVIDIA ACE와 Unreal Engine 5로 AI 기반 메타휴먼 캐릭터 제작하기

Reading Time: 3 minutes

언리얼 페스트 시애틀 2024(Unreal Fest Seattle 2024)에서 NVIDIA ACE를 위한 새로운 언리얼 엔진 5 온디바이스 플러그인(Unreal Engine 5 on-device plugin)가 출시되었습니다. 언리얼 엔진 5 온디바이스 플러그인은 윈도우 PC(Windows PC)에서 AI 기반 메타휴먼(MetaHuman) 캐릭터를 더 쉽게 제작하고 배포할 수 있도록 지원합니다. NVIDIA ACE는 생성형 AI로 구동되는 음성, 지능, 애니메이션을 제공하는 디지털 휴먼 기술 제품군입니다.

또한 개발자들은 오토데스크 마야(Autodesk Maya)에서 AI 기반 페이셜 애니메이션(Facial Animation)을 위한 새로운 Audio2Face-3D 플러그인을 이용할 수 있습니다. 이 플러그인은 간단하고 간소화된 인터페이스를 제공해 마야에서 아바타를 더 쉽고 빠르게 개발할 수 있도록 도와줍니다. 또한 소스 코드가 함께 제공되므로, 개발자는 원하는 디지털 콘텐츠 제작(Digital Content Creation, DCC) 툴을 위한 플러그인을 직접 개발할 수 있습니다.

또한 에픽(Epic)의 언리얼 픽셀 스트리밍(Unreal Pixel Streaming) 기술을 활용하는 언리얼 엔진 5 렌더러 마이크로서비스도 구축되었는데요. 이 마이크로서비스는 현재 얼리 액세스 버전으로 NVIDIA ACE Animation Graph 마이크로서비스와 리눅스(Linux) 운영 체제를 지원합니다. Animation Graph 마이크로서비스는 사실적이고 반응이 빠른 캐릭터 움직임을 구현하며, 언리얼 픽셀 스트리밍을 지원해 메타휴먼 창작물을 모든 디바이스로 스트리밍할 수 있습니다.

메타휴먼 캐릭터에 생동감을 불어넣는 최신 NVIDIA ACE 기술

NVIDIA ACE 언리얼 엔진 5 샘플 프로젝트는 게임과 애플리케이션에 ACE를 통합하고자 하는 개발자를 위한 가이드 역할을 합니다. 이 샘플 프로젝트는 다음을 포함해 온디바이스 ACE 플러그인을 확장합니다.

  • 립싱크와 페이셜 애니메이션을 위한 Audio2Face-3D
  • 반응 생성을 위한 Nemotron Mini 4B Instruct 모델
  • 컨텍스트 정보를 위한 검색 증강 생성(Retrieval-Augmented Generation, RAG)

개발자는 지적 재산에 대한 데이터베이스를 구축하고, 짧은 지연 시간으로 관련 응답을 생성할 수 있습니다. 그리고 이러한 응답이 언리얼 엔진 5에서 해당 메타휴먼 페이셜 애니메이션을 원활하게 구동하도록 설정할 수 있습니다. 이러한 각 마이크로서비스는 지연 시간이 짧고 메모리 공간을 최소화하는 윈도우 PC에서 실행되도록 최적화돼 있습니다.

비디오 1. NVIDIA ACE와 오토데스크 마야의 기능 살펴보기

새로운 플러그인은 곧 출시될 예정입니다. 이를 실행하려면 메타휴먼 캐릭터와 함께 적절한 ACE 플러그인, 언리얼 엔진 샘플을 다운로드 해야 합니다.

마야 ACE 플러그인으로 3D 애니메이션 간소화하기

오토데스크 마야는 게임 개발자와 테크니컬 아티스트가 고품질 3D 그래픽을 제작할 수 있는 고성능 애니메이션 기능을 제공합니다. 이제 Audio2Face-3D 플러그인을 사용해 모든 캐릭터의 고품질 오디오 기반 페이셜 애니메이션을 보다 쉽게 생성할 수 있습니다. 또한 간소화된 사용자 인터페이스를 통해 언리얼 엔진 5 환경으로 원활하게 전환할 수 있습니다. 소스 코드와 스크립트는 고도로 맞춤화가 가능하며, 다른 디지털 콘텐츠 제작 툴에서 사용하도록 수정할 수 있습니다.

비디오 2. NVIDIA ACE를 위한 오토데스크 마야의 다운로드 및 설치 방법

이를 시작하려면 API 키를 생성하거나 Audio2Face-3D 마이크로서비스를 다운로드 해야 합니다. Audio2Face-3D 마이크로서비스는 모든 클라우드 또는 데이터센터에 파운데이션 모델을 빠르게 배포할 수 있는 간편한 마이크로서비스 세트인 NVIDIA NIM의 일부입니다.

그 다음으로 오토데스크 마야 2023, 2024 또는 2025가 있는지 확인해야 합니다. NVIDIA/마야-ACE 깃허브(GitHub) 리포지토리에 액세스하세요. 여기에는 마야 플러그인, gRPC 클라이언트 라이브러리, 테스트 에셋, 샘플 장면 등 Audio2Face-3D로 탐색, 학습하고 혁신적인 작업을 수행하는 데 필요한 모든 것이 포함돼 있습니다.

언리얼 엔진 5 픽셀 스트리밍으로 디지털 휴먼 기술 배포 확장하기

클라우드를 통해 디지털 휴먼 기술을 배포할 때, 목표는 가능한 한 많은 고객에게 동시에 도달하는 것입니다. 고품질의 캐릭터를 스트리밍하려면 상당한 컴퓨팅 리소스가 필요합니다. NVIDIA ACE의 최신 언리얼 엔진 5 렌더러 마이크로서비스는 얼리 액세스 버전에서 NVIDIA Animation Graph마이크로서비스와 리눅스 운영 체제에 대한 지원을 추가했습니다.

그림 1. 언리얼 엔진 프리셋을 사용한 동시 스트림 수. 얼리 액세스 이후에는 성능이 변경될 수 있습니다.

Animation Graph는 다른 AI 모델과 상호 작용해 캐릭터의 대화형 파이프라인을 생성하는 마이크로서비스입니다. 개발자는 RAG 아키텍처를 연결하고 컨텍스트와 대화 기록을 모두 유지하는 역할을 담당합니다. 새로운 언리얼 엔진 5 픽셀 스트리밍 호환성을 통해 클라우드의 서버에서 메타휴먼 캐릭터를 실행하고 렌더링된 프레임과 오디오를 웹RTC(Web Real-Time Communication)를 통해 모든 브라우저와 엣지 디바이스로 스트리밍할 수 있습니다.

시작하기

언리얼 엔진 5 렌더러 마이크로서비스를 사용하려면 얼리 액세스를 신청하세요. NVIDIA ACE에 대해 자세히 알아보고, NIM 마이크로서비스를 다운로드해 생성형 AI 기반의 게임 캐릭터 제작을 시작해보세요.

Discuss (0)

Tags