NVIDIA 中国开发者日活动 中国・苏州 | 2025 年 11 月 14 日 了解详情
机器人

使用 OpenUSD 强化机器人开发的 3 种简单方法

随着对机器人技术需求的持续增长,人们对高精度物理仿真的需求也达到了前所未有的高度。通用场景描述(OpenUSD)正成为推动这一变革的关键力量,为构建用于机器人学习的虚拟世界提供了强大且开放的标准支持。

本指南介绍了三种利用 OpenUSD 提升机器人开发工作流程的实用方法。我们将逐一探讨以下内容:

  1. 数据提取:如何通过 OpenUSD 实现 CAD 数据、统一机器人描述格式(URDF)以及传感器信息的整合,构建面向仿真的标准化数据工作流。
  2. 数据聚合:借助 OpenUSD 的合成能力,如何在大规模训练场景中高效构建包含数十万个对象的可扩展虚拟世界。
  3. SimReady:SimReady 方法如何将机器人开发流程与 NVIDIA 物理 AI 堆栈中支持即插即用的资产体系无缝对接,实现开发与仿真的协同统一。

无论您是经验丰富的机器人工程师还是初学者,都能深入了解这项基础技术如何显著缩短部署时间,并提升机器人仿真与训练的性能。

1. 数据提取:拓展机器人生态系统

An image of logos connecting to the text “OpenUSD” in the center.
图1:OpenUSD 日益扩展的数据源生态系统,涵盖了常见的机器人仿真和数字内容创作(DCC)应用。

数据提取能够将多种数据格式转换为 OpenUSD,从而作为接入 NVIDIA Isaac Sim 和 NVIDIA 机器人生态系统的重要桥梁。

现代机器人开发项目依赖于多种复杂的数据源,包括CAD文件、描述机器人运动学的URDF数据、以及实时传感器和物联网数据。OpenUSD作为通用聚合平台,能够将这些异构数据整合为统一的格式,实现高效协同。

这种统一:

  • 支持合成数据生成、机器人算法的软件在环测试,以及基于 Isaac Sim 和 NVIDIA Isaac Lab 等框架的强化学习等高级工作流程。
  • 通过构建通用的 USD 表示,加速开发进程,简化从设计到 AI 训练的完整工作流。

立即将其融入您的工作流程:

适用于机器人工作流程的多种转换器和传感器模型包括:

  • Wandelbots OpenUSD 库Wandelbots NOVA 提供了来自 FANUC、Yaskawa、Universal Robots、ABB 和 KUKA 等主流制造商的丰富且经过标注的 OpenUSD 机器人模型库。
  • SICK 虚拟传感器模型 提供经认证的工业激光雷达、安全激光扫描仪及视觉传感器的 OpenUSD 格式数字孪生模型,可直接用于 Isaac Sim 中的训练仿真。
  • Newton 的 MuJoCo-USD 转换器 支持物理属性、几何结构和材质信息,可将 MuJoCo(MJCF)文件高效转换为 OpenUSD 格式。

构建数据管道以实现 MJCF 文件到 OpenUSD 的自动转换。

pip install mujoco-usd-converter
mujoco_usd_converter /path/to/robot.xml /path/to/usd_robot

2. 数据聚合:拓展至大规模虚拟世界

An image of a factory with a close-up of the robot arm on the left and a close-up of the assembly line conveyor belt on the right.
图2展示了OpenUSD如何提供一个统一的虚拟舞台,使物理系统的各个不同元素能够在共享的虚拟环境中共存并相互交互。

数据聚合采用 OpenUSD 的基于图层的合成技术,将来自不同来源的模块化、可复用资产整合为结构清晰、可扩展且高性能的虚拟世界。

OpenUSD 能够在单一环境中管理数十万个对象,支持大规模机器人仿真,使机器人团队可在贴近现实的场景中进行训练、测试与优化。通过构建可重复使用的模块化资产(如仓库货架或工厂机器人),用户能够灵活组合出多样化的环境配置。这不仅加快了 AI 模型的训练进程,提升了合成数据的多样性,也显著增强了机器人在实际部署中的性能与适应能力。

立即将其融入您的工作流程:

  • Hugging Face 上的物理 AI 仓库提供了近 1000 种 OpenUSD 资产,为开发者在仓库机器人仿真与训练方面带来显著优势。
  • 借助AI 驱动的 USD Search 功能,用户可通过自然语言或图像查询高效管理海量素材,即使 3D 数据缺乏结构或未加标注,也能快速定位所需内容。

开始将资产汇聚到众多大型虚拟环境中进行训练。

您可以通过在 Python 中以非破坏性方式引用数据集中的资源,实现场景的自动构建。

from pathlib import Path
from pxr import Usd

def ref_all_dataset_assets(root_dir: Path, stage: Usd.Stage):
    for usd_file in root_path.rglob('*.usd'):
        dir_name = usd_file.parent.name
        file_name = usd_file.stem
        if file_name == dir_name:
            print(f"Found asset entry point: {usd_file}")
            
            # Define a typeless prim
            prim_path = f"/{dir_name}"
            prim = stage.DefinePrim(prim_path)
                
            # Add reference to the layer
            prim.GetReferences().AddReference(str(usd_file))

深入了解 USD 搜索 API

3. SimReady:让您的机器人开发流程与更广泛的生态系统无缝对接

A digital image of boxes, buckets, bins, and ladders.
图3。SimReady 是一种针对具备精确物理属性的3D资产的标准,该标准包含真实世界中的属性、行为以及数据绑定(例如物联网)。

SimReady 资产是高保真的 OpenUSD 对象,具备精确的物理属性(包括材质、运动学和行为),可直接用于高真实感的仿真、机器人开发、AI 训练以及数字孪生应用。

使用 SimReady 资产目录有助于解决临时 3D 模型常见的碎片化与兼容性问题,从而简化机器人开发流程。这种标准化支持资产在不同仿真运行时之间的互操作性、重复利用与集成。SimReady 资产可直接用于 Isaac Sim 等基于 OpenUSD 的框架,无需耗费时间进行素材准备和格式转换,使开发者能够专注于训练和仿真等核心增值任务,并在各工作流阶段灵活选用合适的工具。

将其融入您的工作流程:

Lightwheel 提供了丰富的 SimReady 资产库,专为机器人学习模仿学习以及视频语言动作(VLA)等训练方法优化,并与主流研究基准兼容。通过 USD Search,开发者可依据颜色、运动学特性及物理数据,便捷地检索所需的 SimReady 资产。

An image of the simready.com web page with “simready” typed in the search bar.
图4。Lightwheel 的 simready.com 平台提供了丰富的 SimReady 资产库。

首先,从 Lightwheel 库或 NVIDIA 开源物理 AI 数据集中获取素材,并在 NVIDIA Isaac Sim 中进行试用。

入门指南

OpenUSD 标志着机器人开发的一次范式转变,推动行业从分散的、工具特定的工作流转向统一、可扩展且高度互操作的生态系统。通过掌握数据提取方法、利用大规模聚合数据集,并采用 SimReady 标准,机器人团队能够显著加快开发进程,同时构建出更强大、更具可迁移性的 AI 系统,更好地应对现实世界的挑战。

NVIDIA 提供丰富的 OpenUSD 资源,助您加速学习进程。您可从自主学习的 OpenUSD 课程数字孪生以及机器人培训课程入手,逐步掌握本指南所涵盖的核心技能。

对于希望在机器人领域职业发展上更进一步的专业人士,OpenUSD 开发认证提供了一项专业级考核,用以验证您在使用 OpenUSD 构建、维护和优化 3D 内容流程方面的专业能力。如果您将参加在华盛顿特区举行的 NVIDIA GTC 大会,可现场免费参与该认证考试,充分提升您的参会价值与技术体验。

收听即将推出的 OpenUSD 预览体验计划直播,与 NVIDIA 开发者社区保持紧密联系。关注 NVIDIA Omniverse 在 InstagramLinkedInXThreadsYouTube上的官方账号,及时获取最新资讯。

了解将于9月27日至10月2日在韩国首尔举行的CoRL与Humanoids大会所展示的前沿研究。同时,不要错过NVIDIA首席执行官黄仁勋在华盛顿特区NVIDIA GTC大会上发表的主题演讲,他将深入探讨物理AI的突破如何推动通用机器人时代的发展,并为各行业带来变革动力。

 

标签