NVIDIA は、Unreal Fest Seattle 2024 において、NVIDIA ACE 向けの新しい Unreal Engine 5 オンデバイス プラグインをリリースし、Windows PC 上で AI 駆動の MetaHuman キャラクターの構築と展開を容易にしました。ACE は、生成 AI による音声、知能、アニメーションを提供するデジタル ヒューマン テクノロジのスイートです。
開発者は、Autodesk Maya で AI を使用したフェイシャル アニメーションのための新しい Audio2Face-3D プラグインにアクセスできるようになりました。このプラグインにより、開発者はシンプルで効率化されたインターフェースを使用して、Maya でのアバター開発をスピードアップし、簡素化することができます。このプラグインにはソース コードが付属しており、開発者は好みのデジタル コンテンツ制作 (DCC) ツール用のプラグインを開発することができます。
また、Epic の Unreal Pixel Streaming テクノロジを活用した Unreal Engine 5 レンダラー マイクロサービスを構築しました。このマイクロサービスは現在、NVIDIA ACE Animation Graph マイクロサービスと Linux オペレーティング システムを早期アクセスでサポートしています。Animation Graph マイクロサービスは、リアルで応答性の高いキャラクターの動きを可能にし、Unreal Pixel Streaming のサポートにより、開発者は MetaHuman の作品をあらゆるデバイスにストリーミングすることができます。
最新の ACE の進歩で MetaHuman に生命を吹き込む
NVIDIA ACE Unreal Engine 5 サンプル プロジェクトは、デジタル ヒューマンをゲームやアプリケーションに統合しようとする開発者のためのガイドとなります。このサンプル プロジェクトは、オンデバイス ACE プラグインの数を増やしています:
- リップシンクとフェイシャル アニメーションのための Audio2Face-3D
- 応答生成のための Nemotron-Mini 4B Instruct
- コンテキスト情報の RAG
開発者は、知的財産のコンテキストに関する情報でデータベースを構築し、低遅延で関連性の高い応答を生成し、その応答が対応する MetaHuman のフェイシャル アニメーションを Unreal Engine 5 でシームレスに駆動させます。これらのマイクロサービスはそれぞれ、Windows PC 上で低遅延かつ最小限のメモリ フットプリントで動作するように最適化されています。
新しいプラグインは近日公開予定です。今すぐ始めるには、適切な NVIDIA ACE プラグインと Unreal Engine サンプルを MetaHuman キャラクターと一緒にダウンロードしてください。
Maya ACE プラグインで 3D アニメーションを効率化
Autodesk Maya は、ゲーム開発者やテクニカル アーティストが高品質な 3D グラフィックスを作成するための高性能なアニメーション機能を提供します。開発者は Audio2Face-3D プラグインを使用して、キャラクターの高品質で音声駆動型のフェイシャル アニメーションを簡単に作成できるようになります。ユーザー インターフェースは効率化されており、Unreal Engine 5 環境にシームレスに移行できます。ソース コードとスクリプトは高度にカスタマイズ可能で、他のデジタル コンテンツ制作ツールで使用するために修正できます。
始めるには、API キーを取得するか、Audio 2Face-3D NIM をダウンロードしてください。NVIDIA NIM は、使いやすい推論マイクロサービスのセットで、あらゆるクラウドやデータセンターでの基盤モデルの展開をスピードアップします。
次に、Autodesk Maya 2023、2024、または 2025 を所有していることを確認してください。そして、Maya ACE Github リポジトリにアクセスしてください。そこには、Maya プラグイン、gRPC クライアント ライブラリ、テスト アセット、サンプル シーンなど、Audio 2 Face-3D の探索、学習、革新に必要なすべてのものが含まれています。
UE5 Pixel Streamer によるデジタル ヒューマンの大規模展開
クラウドを通じてデジタル ヒューマンを展開する開発者は、できるだけ多くの顧客に同時にリーチしようとしていますが、高忠実度のキャラクターをストリーミングするには、大量の計算リソースが必要です。本日、NVIDIA ACE の最新の Unreal Engine 5 レンダラー マイクロサービスは、早期アクセスで NVIDIA Animation Graph Microservice と Linux オペレーティング システムのサポートを追加しました。
Animation Graph は、アニメーションのステート マシンとブレンド ツリーの作成を容易にするマイクロサービスです。開発者は、アニメーションのブレンド、再生、および制御のための柔軟なノードベースのシステムを利用できます。ピクセル ストリーミング機能を備えた新しい Unreal Engine 5 のレンダラー マイクロサービスは、Animation Graph マイクロサービスからのデータを消費するため、開発者はクラウド上のサーバーで MetaHuman キャラクターを実行し、そのレンダリング フレームと音声を WebRTC (Web Real-Time Communication) を介して任意のブラウザやエッジ デバイスにストリーミングすることができます。
はじめましょう
今すぐ Unreal Engine 5 のレンダラー マイクロサービスをダウンロードするための早期アクセスにお申し込みください。NVIDIA ACE の詳細と NIM マイクロサービスをダウンロードして、生成 AI によるゲーム キャラクターの構築を始めましょう。
関連情報
- GTC セッション: Enhancing the Digital Human Experience with Cloud Microservices Accelerated by Generative AI
- NGC コンテナー: ACE Agent Plugin Server
- NGC コンテナー: ACE Agent Model Utils
- NGC コンテナー: ACE Agent Sample Frontend
- SDK: NVIDIA ACE
- ウェビナー: Accelerate AV Development with DGX Cloud and NVIDIA AI Enterprise
