图形/仿真

数字人类时代:突破真实照片数字角色创作的极限

多年来,我们一直致力于 数字人类 的创建。

传统上,数字人类已经广泛应用于媒体和娱乐 from video game characters to CGI characters in movies 。但创造数字人类的过程是极其劳动密集型和手工的。它需要数百名领域专家,如艺术家、程序员和技术艺术家。另外,当人造人是假的时,人类也能理解。我们对神秘的山谷效应非常敏感,所以我们知道什么时候发生了什么。

NVIDIA 正在研究加速和简化数字人类创作的工具和方法 我们相信 AI 和模拟是实现这一点的关键。

什么是数字人?

数字人的核心是我们在虚拟世界中的数字形式。从 3D 游戏的早期开始,VR 战士是最早展示 3D 角色如何一起战斗的人之一。如今,玩家可以体验流行游戏中令人难忘的角色的旅程,如战争之神,我们的最后一位。 或者你可能在流行电影中认出了数字人 ,就像那个臭名昭著的恶棍塔诺斯复仇者:终局或是布拉德·皮特在电影中扮演自己的老版本本杰明·巴顿。

通过数字化身讲故事,娱乐领域也出现了新的案例。 Fable AIBaobab 等公司正在创建涉及数字角色的互动和虚拟故事。但我们如何定义数字人呢?我们可以用什么标准来描述不同类型的数字人类?

我们测量数字人类的尺度或范围通常有三种:

  • 现实主义与风格主义
  • 与离线相比,实时
  • 人工智能与人类驱动的比较
Graphic displays the breakdown of the digital human SDK: AI, generation, simulation, and rendering
图 1 。数字人 SDK

将数字人类带入生活

如前所述,创建数字人的过程可能具有挑战性。打造数字人类有三个主要组成部分,每一个组成部分都需要不同的艺术和技术组合:生成 动画 和智能。

要生成数字人类,团队必须首先制作 3D 模型、纹理、着色器、骨骼装备和皮肤变形,使其跟随骨骼。

对于动画和运动,艺术家必须关注数字人的物理元素,从身体和面部到头发和衣服。通常,它是变形和模拟的组合,以实现这些零件的正确运动。就现实表现而言,到目前为止,实现这一目标主要有两种方式;手动设置动画或使用各种性能捕捉技术获取运动数据。通常,这是两者的结合。

在过去几年中,使用 人工智能 (AI) 生成或合成动画的现象开始增多。他们的角色现在变小了,通常处理特定类型的性能,但这种情况正在迅速变化。

任何这些方法的底线都是创建基于上下文的行为,以便数字人类能够以可信的方式行动。要像真人一样表现情感和行为仍然很困难。人工智能和模拟领域的新技术正在帮助简化这一过程。

This graphic displays the quality of the human body and realism of skin on digital humans; it displays a sense of age and emotion in the skin that is rendered.
图 2 。数字人体皮肤

最后,艺术家必须为数字人类带来智慧,他们可以通过双向互动实现这一点。通过人类语言处理和自然语音技术,如 NVIDIA RivaEnsemble Health AIReplica ,数字人类可以与真实人类进行对话。他们也可以在虚拟世界和现实世界中拥有视野。它们可以识别物体并在环境中导航。他们可以看到与他们交谈的用户,并相应地进行查看和响应。

This graphic displays the multi-layer process of not only the facial exterior, but the muscles, cartilage, and more that makes the digital human so lifelike.
图 3 。数字人脸崩溃

数字人类的重要性

数字人类可能已经出现在媒体和娱乐领域,但对数字人类的需求正在增长,并且正在跨越各个行业。今天,我们已经看到了数字人类的所有好处和潜在用例。

首先,人工智能数字助理在医疗保健和零售等行业具有巨大潜力。对于医疗专业人员来说,数字助理可以帮助改进培训和程序。医生可以在真实的模拟中进行手术,他们可以进行数百次模拟,以确保在现实生活中进行手术之前获得最佳效果。在零售业, AI 数字协助可以通过提供更个性化的体验来增强客户服务。

his graphic displays a female AI digital assistant rendered in an anime style.
图 4 。女性人工智能数字助理

为了让这项工作发挥作用,人工智能数字助理需要对语言交流有深刻的理解。这是帮助人们更好地与数字助理互动和交谈的关键,这样他们就可以完成他们需要的任务。

视频 1 。动画聊天机器人米斯蒂

对于建筑和 制造 等行业的其他公司来说,数字孪生兄弟正在帮助团队模拟大型环境中的工人和人,从工厂、城市到建筑物。在数字人的帮助下,公司可以通过精确的模拟来评估风险和预测环境,帮助他们确保物理建筑得到最佳设计。

数字人类的智能需求不同于人工智能数字助理。当你把一个数字人放在一个虚拟环境中,他们必须知道如何像人一样导航和行为,无论是工厂工人还是在摩天大楼中行走的游客。

This graphic displays how a digital human may act within a digital twin factory floor; it is important that AI agents act real humans would in various environments
Figure 5. Factory AI agent

最后,数字人类将有助于改进 creation of synthetic data generation 。对于人工智能来说,数据和训练神经网络是其本质。像 Synthesis AIMicrosoftDataGenEpic GamesReallusion 这样的公司已经开始着手捕捉和合成 3D 数字人体数据,以训练 AI 模型。但我们需要更多的数据,特别是未来的数据。合成数据生成是人工智能发展的关键,而数字人类的合成数据生成对于扩展人工智能至关重要。

视频 2 。为 Omniverse 创建动画数字人
视频 3 。 Audio2Face :为超人类设置动画

 

每个声音都有一张脸

数字人类的前景如何?人们将创造性地利用一个被采用的数字人类世界。随着我们走向虚拟世界的体验,这一点将变得更加突出。

数字人对于虚拟世界体验至关重要。事实上,每个人总有一天都会有自己的数字版本,无论是准确的还是风格化的化身。

通过 NVIDIA Omniverse ,我们希望创建一个框架,使多种类型的数字人类能够共存。使用 Pixar’s Universal Scene Description (USD) 是所有 3D 行业的标准格式,因此每个人都可以交换数据并一起交谈。 Omniverse 有助于推动这些努力朝 USD 发展,这是使不同的应用程序和技术能够沟通和协作以创建数字人的关键。

对于拥有大量数字用户的大世界,我们必须能够扩大规模。这是一个具有挑战性的计算问题,要模拟能够相互连接的大世界,并且有大量能够实时交互的数字人类。但 Omniverse 正在应对这一挑战,该平台可以为大型世界和模拟提供动力。这对未来的物理和虚拟世界至关重要,在那里你可以拥有大量不同种类的数字人类,他们可以一起参与和互动。

随着时间的推移,真实人类和数字人类之间的联系将不断增长。这将不仅仅是在电脑上观看木偶。最终,计算机将阅读并与我们互动,就像我们在现实生活中所做的那样。

我们将能够与数字人交谈,甚至可以通过数字人订购商品、食品、处方和其他物品,然后数字人将向您交付有形的真实世界对象。交流和互动将成为一条双向的街道,这为自由和创新提供了新的元素。

下一步是什么?

请访问 NVIDIA GTC 了解数字人类的未来走向。免费注册并查看 Digital Human Technologies 上的会话以及 Expert Breakout 以深入了解。

请不要错过 11 月 9 日由我们的首席执行官黄延森( Jensen Huang )主持的 special keynote ,聆听 AI 和图形领域的所有最新技术。

 

Tags