在 SIGGRAPH 大会上，NVIDIA 发布了 NVIDIA Omniverse 库和 Cosmos 世界基础模型 (WFM) 的更新。借助 OpenUSD，开发者可以访问新的库、模型和开发工具，以构建物理准确的虚拟环境和理解现实世界的 AI 智能体。
借助 NVIDIA 的最新发布，模拟机器人能够更快、更可靠地理解现实世界并与之交互，包括：
- 最新发布的 Omniverse OpenUSD Exchange SDK 2.0，可统一机器人数据工作流，以及用于机器人仿真物理级准确材质的全新 SimReady 材质库。
- 用于 3D 高斯点渲染的全新 Omniverse NuRec 库可将真实世界的传感器数据渲染到交互式 OpenUSD 仿真环境中。
- NVIDIA Isaac Sim 5.0 和 Isaac Lab 2.2 的开发者预览版包含基于 OpenUSD 的全新机器人和传感器架构，以及扩展的 USD 素材库。
- 新的 OpenUSD 开发认证计划现已推出，以满足对 USD 专业知识日益增长的需求。
全新 Omniverse 库推动世界合成应用的发展
OpenUSD 是物理 AI 工作流的基础技术，使开发者能够集成 3D 数据进行高度详细的仿真，并加速机器人、自动驾驶汽车和工业系统的发展。
OpenUSD Exchange SDK 2.0 包含 UsdPhysics 创作的新模块和分层资产结构，可将物理特性直接集成到机器人模型中。该 SDK 是一个开源框架，用于简化 3D 数据工作流，使开发者能够集成其 3D 数据以进行高度详细的仿真并加速机器人开发。该库现已在 GitHub 和 PyPi 上提供。
在物理 AI 中，将几何数据引入模拟环境只是开始。为了有效地训练模型，材质不仅需要具有视觉逼真度，还需要能够用于仿真。NVIDIA 发布了 SimReady 材质库。该开源集合包含数千种用于物理 AI 的基材材料，使用 MaterialX/OpenPBR 功能以 USD 格式编写：
- 基于 UsdShade 的材质利用 OpenPBR v1.1 提供高质量的基于物理性质的渲染 (PBR) 。
- 激光雷达和雷达（如热成像、超声波）中非视觉数据的语义标记。
该库中的所有材质都是准确的传感器仿真和逼真的物理交互所必需的。由于它支持视觉和非视觉渲染，开发者可以导入 NVIDIA Isaac Sim 等仿真环境，并为其仿真添加逼真的材质，从而加快物理 AI 工作流的迭代速度并提高其保真度。
构建从 MuJoCo 到 USD 的可互操作数据管线
NVIDIA 和 Google DeepMind 正在通过增强 MuJoCo (MJCF) 和 USD 格式之间的数据互操作性来赋能机器人开发者，从而实现更准确、更一致的机器人数据生成。
使用 OpenUSD Exchange SDK 2.0 和 Google DeepMind 的 MjcPhysics USD 架构构建的新 mujoco-usd-converter 可将 MJCF 数据互操作性地转换为 USD 格式。MJCF 至 USD 数据转换的早期版本也可在 GitHub 和 PyPi 上获取。
要开始使用转换器，请使用您喜欢的包管理器将 Python wheel 安装到虚拟环境中：
pip install mujoco-usd-converter
mujoco_usd_converter /path/to/robot.xml /path/to/usd_robot请参阅 mujoco_usd_converter --help 以了解 CLI 参数。
或者，也可以直接从 Python 模块访问相同的转换器功能，这在转换后进一步转换 USD 数据时非常有用。
import mujoco_usd_converter
import usdex.core
from pxr import Sdf, Usd
converter = mujoco_usd_converter.Converter()
asset: Sdf.AssetPath = converter.convert("/path/to/robot.xml", "/path/to/usd_robot")
stage: Usd.Stage = Usd.Stage.Open(asset.path)
# modify further using Usd or usdex.core functionality
usdex.core.saveStage(stage, comment="modified after conversion")Google DeepMind 推出了一个新的实验版本。它通过新的 MjcPhysics USD 架构和新的 SdfFileFormatPlugin 将 MJCF 引入 USD 生态系统，从而实现 USD 数据导入 MuJoCo。对作为动画图层的仿真导出的原生支持也即将推出。发布详情请参阅 Google DeepMind 文档和 GitHub。
用于物理 AI 的真实场景重建
NVIDIA Omniverse NuRec 库将 NVIDIA RTX 光线追踪与 3D 高斯点阵结合起来，将现实世界中的传感器数据转化为交互式 OpenUSD 仿真环境。这使得世界重建能够以令人难以置信的规模和效率实现高保真度。NuRec 渲染集成在 Omniverse Kit SDK、Isaac Sim 和 CARLA 中，CARLA 是领先的开源仿真器，拥有超过 15 万名开发者。
以下是一个示例教程，介绍如何捕获真实世界数据、训练重建并将其结果加载到 Isaac Sim 中：
- 从各个角度和光线条件下拍摄 100 张场景照片
- 使用 COLMAP 和 3DGUT 重建场景
- 通过 USD 导出、规范化和导入 Isaac Sim 来部署场景。
阅读有关如何将真实场景导入 Isaac Sim 的详细步骤。
Isaac Sim 5.0 和 NVIDIA Isaac Lab 2.2
Isaac Sim 5.0 和 Isaac Lab 2.2 正在推进开源机器人仿真和学习框架，使仿真设置更快、更一致，更接近现实世界中的行为。Isaac Sim 5.0 的早期开发者预览版现已在 GitHub 上发布，其中包含基于 OpenUSD 的机器人和 OmniSensor 架构，可将 USD 中的机器人和传感器定义标准化。
PhysX 扩展程序现在支持通过 OpenUSD 架构定义的新关节摩擦模型。该技术由 Hexagon 的机器人部门和 maxon 开发，可使模拟机器人运动更接近现实生活中的行为。
亚马逊 Lab126、波士顿动力、Figure AI、Haply Robotics、Hexagon、Lightwheel、RAI Institute、Resim.ai 和 Skild AI 等行业领导者正在采用 NVIDIA Isaac 库和 AI 模型（例如 Isaac Sim 和 Isaac Lab）来加速其 AI 机器人开发。
开始使用机器人仿真技术
立即开始使用最新的 NVIDIA Omniverse 库和工具进行构建，包括 NuRec、Omniverse Kit SDK 108、SimReady 材质库、NVIDIA MuJoCo-to-USD 数据转换器（在 GitHub 和 PyPi 上发布的早期版本）、USD Exchange SDK 2.0 以及 Isaac Sim 5.0 和 Isaac Lab 2.2 的早期开发者预览版。
了解这些 OpenUSD 优秀用户如何加速其物理 AI 工作流。有兴趣成为全明星吗？通过 OpenUSD 开发认证（一项行业认可的专业级考试）验证您使用 OpenUSD 构建、维护和优化 3D 内容管线的技能，从而在职业生涯中迈出下一步。
订阅 NVIDIA 新闻，并在 Discord 和 YouTube 上关注 NVIDIA Omniverse，及时了解最新动态。观看 SIGGRAPH 上的 NVIDIA 研究特别演讲。
