增强现实/虚拟现实

3D 内容与无拓扑建模的互操作性

当前基于拓扑的建模软件以单个细节级别生成三维对象。这使得它们无法在 元宇宙 中的多个平台上运行。此外,由于拓扑创建过程, 3D 建模非常耗时,并且对于内容创建具有很高的入门门槛。

NVIDIA Inception Program 成员和总部位于纽约的初创公司 Shapeyard 正在通过在导出或流式传输时以多个细节级别自动生成拓扑来解决元宇宙 3D 内容互操作性挑战。

3D model of a cat with icons showing that is only suitable for one type of hardware.
图 1. 由于拓扑创建过程,基于拓扑的 3D 模型的互操作性有限

Shapeyard 解决方案

Shapeyard 可在各种移动设备上使用,被证明是一种功能强大、用户友好的 3D 建模工具。它使开发人员能够在自动生成模型拓扑的情况下,同时创建、导出一个模型,并将其流式传输到多个平台中(并且具有多个详细级别)。

3D model of a cat created in Shapeyard, with icons showing compatibility with multiple hardware types.
图 2 :在 Shapeyard 中创建的 3D 模型与各种平台和硬件兼容,提供多个层次的细节,无需在众多拓扑变化中重新创建相同的资产

3D 建模市场概述

传统上,游戏和娱乐行业使用由多边形组成的基于拓扑的虚拟 3D 对象,使开发人员能够最有效地在计算机上进行渲染。一个对象的多边形越多,它看起来就越详细,但多边形的数量越多,需要更多的计算能力。这些项目的多边形布局或拓扑必须有效规划并提前创建,以尽量减少多边形数量并生成最高等级的对象。

此外,进一步设置动画的对象(如角色)保持其自身严格的拓扑要求,以使变形有效工作。拓扑创建是三维建模中的关键元素,需要花费大量时间和精力来掌握。

直到最近,基于拓扑的建模一直是创建 3D 对象的唯一方法,限制了建模者的创造力。然而,数字雕刻软件使用极高分辨率的多边形网格(或体素网格)。这种网格可以像传统的粘土一样使用大量的工具进行建模,使建模者在工作中有更多的自由和灵活性。

不幸的是,使用数字雕刻应用程序制作的 3D 对象在创建软件之外基本上无法使用,因为它们太重,无法处理、存储和传输。这与实体雕塑的局限性相似。为了使建模人员能够在其他平台上工作,必须在这个数字粘土上绘制更不详细的多边形网格。这个过程被称为重组,代表了一个自己的行业。

更改完成网格的分辨率(例如,对于移动游戏)需要一个更不详细的模型才能有效运行,迫使建模者从头开始重新创建。大多数游戏引擎还需要多个级别的资产详细信息,这需要使用多个资产,并导致额外的生产和运行成本。

总之,现有的 3D 建模工具缺乏详细的可扩展性,存在可操作性限制,并且很难使用。此外,雕刻工具通常在其自身生态系统之外无法使用。

Shapeyard 的 3D 建模方法

Shapeyard 重新构想了建模,允许建模人员以无限的细节级别生成、自动导出和流式处理 3D 对象。这使它们与多个元宇宙平台兼容。

Shapeyard 还自动化了具有挑战性和耗时的拓扑创建过程,减轻了对艺术家的要求。这种 3D 建模技术解决了创作者的关键需求,通过提供以下功能实现了主流应用:

  • 无分辨率数字粘土作为介质
  • 执行自由形式建模和精确建模的能力
  • 由于较低的平均主模型文件大小(相当于平均 JPEG 文件),提高了可传输性
  • 任何分辨率的人类级自动重拍
  • 在普通平板电脑或智能手机设备上的流畅性能

Shapeyard 的专有引擎提供基于签名距离场的 3D 建模,这降低了 3D 创建的进入门槛,并使创作者能够使用多个平台生产可互操作的资产。

根据 Shapeyard 开发公司 Magic Unicorn 的首席执行官 Ashot Gabrelyanov 的说法,“随着网络的发展,其内容形式也在发生变化。我们的团队预计,互联网将从根本上转变为一系列空间结构,通常称为元宇宙,以虚拟 3D 对象为核心, USD 、 OBJ 和 FBX 成为新的 HTML 、 JPG 和 PNG 。 Shapeyard 正处于这一转变的前沿,以使 3D 内容创作更容易获得,并允许创作者捕捉和放大他们在元宇宙中创造的价值。”

该产品的当前版本专为使用移动设备( iPad 和 iPhone )的初学者和喜欢平板电脑灵活性的休闲 3D 建模者设计。

Shapeyard 建模工作流基于放置基本体(如球体、长方体和圆环体),并通过混合、变形或平滑来修改它们。该解决方案还允许用户使用颜色填充对象,使用 RBG 笔刷在其上绘制,或使用基于物理的渲染( PBR )材质覆盖区域。这些交互在解决方案的用户界面中是直观的,相对于传统的桌面替代方案,可以快速学习。

视频 1 。在 iPad 上演示 Shapeyard 在早期 alpha 阶段的操作

Shapeyard 3D 模型构建

如图 3 所示, Shapeyard 模型由可变形的程序图元( a )构建,如立方体、球体、圆锥体、圆柱体和其他形状,这些图元可以增大或减小彼此的体积,以生成覆盖它们的连续曲面( b )。每个模型都以具有参数化分析曲面( a )和用户可见的几何曲面( b )的基本体开始。

Four primitives merging to form a single 3D object in Shapeyard.
图 3 。 Shapeyard 中合并图元组合的可视化生成三维模型
A rectangle primitive with two outlines.
图 4 。 Shapeyard 图元的分析曲面和几何曲面的可视化

然后可以通过在其参数范围内添加、删除或操纵图元来修改模型。

Three primitives modifying one rectangle-shaped primitive.
图 5 。 Shapeyard 中修改图元的可视化

从 Shapeyard 自动重新定位和资产导出

Shapeyard 的 3D 模型使用程序分析曲面作为其主要媒介,提供了无限的细节级别。模型在导出时自动转换为多边形,从而实现了模型与其他生态系统的兼容性。

程序分析曲面存储模型的整个构建历史。除了直观、无损的编辑功能(包括纹理应用)之外, Shapeyard 还可以实现自动的人类级重绘。

传统的手动重新定位是一个时间密集的过程,需要识别模型内的基本形状和形状流,并用多边形填充这些区域(图 6 )。

Sketch comparison of a low-poly version and a high-poly version of the same model.
图 6 。手动重新定位的可视化

相比之下, Shapeyard 的重拍算法通过提取基本体的轴,有效地会聚它们,并生成三角形和四边形条的引导线,从而完全自动化了这一过程(图 7 )。

Sketch of three models showing the automatic retopology in Shapeyard.
图 7 。 Shapeyard 自动重测的可视化

其结果是近乎即时的人类等级模型重新拓扑,其细节级别由创建者设置(图 8 )。

A single model visualized in multiple levels of detail with options to export it in different formats (including STL and OBJ) and levels of detail in the Shapeyard app.
图 8 。从 Shapeyard 以多种格式和细节级别导出三维模型

NVIDIA Omniverse 支持和当前产品愿景

此时, Shapeyard 生产的资产的主要用例是 3D 打印。 Shapeyard 模型以多种网格形式出现,因此可以完美导入,而无需使用其他软件进行切片准备。

Four screenshots showing the production process of a 3D printed model from Shapeyard.
图 9 。在 Shapeyard Alpha 中生成的 3D 打印对象

基于 official Shapeyard product road map , Shapeyard 预计将在 2023 年第二季度增加对象分组和雕刻修改器, Shapeyar 将扩展其功能,以使用户能够卸载 FBX 和 OBJ 中完全游戏就绪的资产。该公司最近发布了一项功能,可将其导出到 USD Z ,使 Shapeyard 中创建的模型与 NVIDIA Omniverse 兼容。要了解更多信息,请参阅 Shapeyard Export to Omniverse in USDZ Guide

Three 3D models of a deer, including a basic gray model created with simple primitives and a fully in-game ready asset.
图 10 。根据产品路线图,可在 Shapeyard 生产 3D 模型

为了推广 3D 建模并获得广泛采用, Shapeyard 旨在超越内容创建工具,为内容分发提供庞大的基础设施。随着时间的推移, NVIDIA Omniverse 、 Roblox Studio 、 Unreal Engine 和 Unity 等游戏开发引擎将引入无缝 3D 资产集成。

该公司于 2022 年 10 月加入 NVIDIA Inception Program ,并开始开发 Shapeyard 与 NVIDIA Omniverse 的集成。这些新功能将有助于通过连接器和扩展在 NVIDIA Omniverse 引擎中使用 3D 内容,扩大 NVIDIA Omniverse 的资产创建者社区,并为 Shapeyard 资产创建者提供直接分发渠道。

A screenshot of a 3D model produced in Shapeyard, which is imported into the NVIDIA Omniverse engine.
图 11 。 Shapeyard 的 3D 模型成功导入 NVIDIA Omniverse

机器学习在 Shapeyard 中的应用

机器学习( ML )在 Shapeyard 的解决方案开发中发挥着重要作用。在计划用于生产的基于 ML 的特征中,有用于模型优化和增强的更高级分类系统。

这些系统将帮助用户识别 3D 模型中不可见的部分(例如,汽车底部或防护罩内部)和将变形的元素(例如,角色肘部)。使用 NVIDIA TITAN V 上的 TensorFlow 进行训练,基于 ML 的模型将识别这些组件,并自动减少多边形数量或改变拓扑结构,以减少识别区域中的变形。

Shapeyard 还使用机器学习识别和过滤不适当的内容,为创作者和合作伙伴提供安全的用户体验。 Shapeyard 基于深度学习的 3D 模型分类技术通过两种类型的分类器(基于渲染和基于几何)通过相关标签过滤内容。

基于渲染的分类器是相对较小的模型,在配备 NVIDIA GPU 的台式计算机上进行训练,并在设备上高效运行。基于几何的分类器依赖于体素或点云输入,这需要更多 GPU 计算内存和功率,但可以使用 AWS Neuron SDK 部署的预训练模型部署到具有 NVIDIA GPU 的服务器。

结论

Shapeyard 的现有功能使其成为 3D 建模初学者的强大且易于访问的工具,其即将推出的功能将吸引使用移动设备的高级和专业 3D 建模师。遵循 official product road map 以跟上软件的发展。要体验该软件,请下载 Shapeyard app

Register for NVIDIA GTC 2023 for free 并于 3 月 20 日至 23 日加入我们,参加以下相关会议:

 

Tags