생성형 AI 기술은 게임 제작 및 플레이 방식을 혁신하고 있습니다. 게임 개발자들은 이러한 기술을 통해 콘텐츠 파이프라인을 가속화하고 이전에는 불가능하다고 여겨졌던 새로운 게임플레이 경험을 제공할 수 있는 방법을 모색하고 있습니다. 그중에서도 디지털 아바타는 게이머가 NPC(플레이어블 캐릭터)와 상호작용하는 방식에 혁신적인 영향을 미칠 것입니다.
지금까지 NPC는 미리 정해진 반응과 얼굴 애니메이션을 가지고 있었으며, 플레이어는 제한된 옵션 내에서만 소통할 수 있었습니다. 이러한 플레이어 상호작용은 일시적이고, 수명이 짧으며, 종종 생략되는 경향이 있었습니다.
하지만 미들웨어, 툴, 게임 개발자는 NVIDIA 아바타 클라우드 엔진(ACE)을 사용하면 네 가지 최신 AI 모델을 엔드투엔드 디지털 아바타 솔루션으로 구현할 수 있습니다. ACE 모델은 로컬 및 클라우드 리소스의 유연한 조합을 사용하여 게이머의 입력을 동적 캐릭터 반응으로 변환합니다. 모델에는 다음이 포함됩니다:
- 사람의 음성을 텍스트로 변환하기 위한 NVIDIA Riva 자동 음성 인식(Riva ASR).
- 실제 음성을 생성하는 NVIDIA Riva 텍스트 음성 변환(Riva TTS).
- 얼굴 표정 및 입술 움직임을 생성하는 NVIDIA Audio2Face(A2F).
- 플레이어 텍스트와 전사된 음성을 이해하고 응답을 생성하는 NVIDIA NeMo 거대 언어 모델(NeMo LLM).
NVIDIA는 게임 스튜디오 NPC를 개선하고자 하는 미들웨어, 툴 및 게임 개발자를 위해 A2F 및 Riva ASR 마이크로서비스를 제공한다고 발표했습니다.
NVIDIA AI 파운드리를 통한 마이크로서비스 살펴보기
NVIDIA AI 엔터프라이즈 라이선스가 있는 경우, 지금 마이크로서비스에 액세스한 다음 DGX 클라우드 또는 모든 CSP 또는 프라이빗 클라우드에 배포할 수 있습니다.
이제 A2F 마이크로서비스에 립싱크를 비롯한 감정 지원 및 품질 개선 기능이 추가되었습니다. NVIDIA Riva ASR은 이탈리아어, EU 스페인어, 독일어, 중국어 등 그 어느 때보다 더 많은 언어를 지원하며 전반적인 정확도도 크게 향상되었습니다.
이달 말에는 NVIDIA AI 파운데이션 모델로 이동하여 브라우저에서 직접 또는 완전히 가속화된 스택을 실행하는 API 엔드포인트를 통해 이러한 사용 가능한 AI 모델을 탐색, 경험 및 평가할 수 있습니다. NVIDIA AI 엔터프라이즈로 어디든 배포할 수 있습니다.
Convai의 새로운 기술로 진화하는 Kairos 데모
NVIDIA는 Convai와의 협업을 통해 최신 버전의 카이로스 데모를 선보이며 차세대 AI NPC가 어떻게 게임에 혁신을 가져올지 선보였습니다. Convai는 3D 월드의 캐릭터가 사람과 같은 대화, 지각, 행동 능력을 갖도록 쉽게 구현할 수 있는 NPC 개발자 플랫폼입니다.
“가상 세계의 생성형 AI 기반 캐릭터는 이전에는 불가능했던 다양한 사용 사례와 경험을 제공합니다. Convai는 지연 시간이 짧고 충실도가 높은 자연스러운 애니메이션을 구현하는 실감나는 비플레이어블 캐릭터(NPC)를 구현하기 위해 Riva ASR과 A2F를 활용하고 있습니다.”라고 Convai의 설립자 겸 CEO인 푸르넨두 무커지(Purnendu Mukherjee)는 말합니다.
NPC와의 자유로운 대화는 게임에서 인터랙티브한 상호작용의 가능성을 열어줍니다. 하지만 대화는 잠재적인 행동으로 이어질 수 있는 결과를 가져야 합니다. NPC의 행동을 유도하려면 NPC가 주변 세계를 인식하고 동적으로 상호작용할 수 있어야 합니다.
파트너사인 Convai와 최신 릴리스를 통해 협업 데모를 한 단계 더 발전시켜 다음과 같은 새로운 기능을 통해 이러한 AI NPC를 구현했습니다:
- 공간 인식: 게임 캐릭터가 대화를 통해 상호작용하고 세계를 묘사할 수 있습니다.
- 행동: 게임 캐릭터가 대화를 기반으로 게임 세계의 아이템과 상호작용할 수 있습니다(예: 요청에 따라 술병을 배달).
- NPC 간 상호작용: 플레이어의 상호작용 없이 게임 캐릭터가 생성된 대화를 할 수 있습니다.
Convai는 새로운 NVIDIA ACE 마이크로서비스인 Audio2Face와 Riva ASR을 통합했습니다. 이제 게임 캐릭터는 플레이어의 말을 들을 때 향상된 립싱크, 더 나은 표정, 정확한 음성 감지를 제공합니다.
새로운 Kairos 데모를 살펴보세요.
Convai는 차세대 AI 기반 디지털 캐릭터를 제공하기 위해 NVIDIA와 긴밀히 협력하고 있습니다. 플랫폼 시작에 대한 자세한 내용은 플레이그라운드 단계별 안내를 참조하세요.
최고의 디지털 아바타 개발사, NVIDIA ACE 도입
NVIDIA는 게임 에코시스템의 최고 개발사들과 협력하여 Charisma.AI, Inworld, miHoYo, NetEase Games, OurPalm, Tencent, Ubisoft, UneeQ 등 ACE 기술을 사용하는 디지털 아바타를 제작하고 있습니다.
“게임 내 AI의 획기적인 순간입니다.”라고 Tencent Games는 말합니다. ” NVIDIA ACE와 Tencent Games는 비디오 게임에 개별적이고 실제와 같은 개성과 상호작용을 갖춘 디지털 아바타를 구현할 수 있는 기반을 마련하는 데 도움을 줄 것입니다.”
“수년 동안 NVIDIA는 게임 기술의 피리 부는 사나이로서 새롭고 혁신적인 게임 제작 방법을 제공해 왔습니다. 또한, NVIDIA는 게이밍 AI 기술의 도입을 통해 게임을 더욱 지능적이고 플레이하기 쉽게 만들어 궁극적으로 더욱 몰입감 있는 경험을 선사하고 있습니다.”라고 NetEase의 수석 부사장이자 LeiHuo 비즈니스 그룹 책임자인 Zhipeng Hu는 말했습니다.
지금 바로 NVIDIA Audio2Face 및 NVIDIA Riva ASR 마이크로서비스에 대해 자세히 알아보고, NVIDIA AI 파운데이션 모델에서 기술을 살펴보고, NVIDIA AI 엔터프라이즈로 어디서나 배포하여 지능형 NPC를 솔루션에 통합해 보세요.
관련 리소스
- GTC 세션: 지능형 인터랙티브 디지털 휴먼 구축을 위한 AI 기초(2023년 봄)
- GTC 세션: 원클릭으로 컴퓨터 비전 그랜드 챌린지 해결(2023년 봄)
- SDK: Omniverse ACE
- SDK: NVIDIA Tokkio
- SDK: 통합 컴퓨팅 프레임워크
- 웨비나: Omniverse 아바타 클라우드 엔진
