机器人

Isaac Sim 和 Isaac Lab 现已推出早期开发者预览版

NVIDIA 今天发布了 NVIDIA Isaac SimNVIDIA Isaac Lab开发者预览版 — — 参考机器人仿真和学习框架。这些版本现已在 GitHub 上推出,可让您抢先体验先进功能,以便在基于物理的仿真环境中构建、训练和测试 AI 机器人。

Isaac Sim 的新功能

An image of a simulated factory scene with boxes, ladders and a forklift, as generated by Isaac Sim.
图 1:Isaac Sim 中叉车的模拟工厂场景

Isaac Sim 是一款基于 NVIDIA Omniverse 构建的参考应用,支持用户在基于物理的仿真环境中开发、仿真和测试 AI 驱动的机器人。Isaac Sim 5.0 的主要更新包括:

开源可用性

Isaac Sim 专用的扩展程序正在一个新的公共 Github 存储库中开源,这将允许用户构建和运行 Isaac Sim。此资源库将作为社区的抢先体验版,通过公共开发分支提供新功能的访问权限。请注意,Omniverse Kit 的组件仍处于封源状态,目前不接受外部贡献。此公共开发分支将通过错误修复不断更新。一旦所有组件都通过 NVIDIA 的质量保证标准,我们将为官方 5.0 版本提供二进制版本。

先进的合成数据生成 pipeline

Isaac Sim 引入了多个新扩展程序,可扩展用于训练、测试和验证 AI 机器人的合成数据生成功能

  • MobilityGen 将作为 Isaac Sim 中的扩展程序提供,支持生成各种基于物理性质的数据和感知模型训练数据,例如占用地图、机器人状态、姿态、速度和图像。
  • 抓取数据生成将作为新教程提供,其中介绍了一个工作流,支持自动生成抓取候选项,模拟每次抓取尝试,并记录训练和评估的成功指标。
  • NVIDIA Omniverse Replicator 的新写入器针对 NVIDIA Cosmos Transfer 输入进行了优化,使用户能够轻松生成和导出用于提取的高质量合成数据。它支持独立工作流和 Script Editor,并且可以无缝集成到现有的 Isaac Sim 合成数据生成脚本中。
  • Isaac Sim 中的新工作流现支持为大规模物理环境生成合成数据。其中包括触发各种真实场景的 Incident Simulation,以及自动标记事件数据以丰富训练数据集的 Caption Generation。它们共同增强了视觉 AI 模型开发的场景理解。此外,现有的 Actor 和 Object Simulation 工作流程已经过优化,可进一步提高合成数据的质量和效率。

新的机器人模型

Isaac Sim 5.0 引入了新的机器人模型和导入工具,使仿真设置更快、更一致,并且更接近现实世界的行为。

  • 新的机器人模式将 OpenUSD 中的机器人定义标准化,该模式现已应用于 NVIDIA 的扩展机器人资产库,库中包含新机器人模型。机器人导入器现在使用新的机器人模式,新的 Robot Import Wizard 提供了一个简化的分步流程,用于装配和导入用于仿真的机器人。
  • Isaac Sim 5.0 中的新模式还支持通过 OpenUSD 模式定义的新关节摩擦模型,包括 actuator 和 friction 参数,该模型是与 Hexagon Robotics 和 maxon 合作开发的。这些模型可确保仿真中关节和电机的驱动能够密切反映现实世界的系统动态,从而缩小仿真与现实之间的差距。

改进了传感器仿真

Isaac Sim 现在为传感器仿真带来了重大飞跃,使定义和测试传感器模型变得比以往更容易,具有更高的真实感和可控性。

  • 新的 OmniSensor USD 架构将直接在 USD 中定义 RTX 传感器,以及新的深度传感器模型,该模型可以模拟具有详细差异伪影的逼真立体深度。此外,素材库已得到扩展,包含新的传感器模型。

标准化 ROS 2 接口和 ZMQ 桥接器

Isaac Sim 5.0 全面支持 ROS 2 Jazzy Jalisco,兼容标准化的 ROS 2 模拟接口,以及针对运动规划工作流程更新的 MoveIt 2 教程。此外,新的 ZeroMQ 桥接器可促进 Isaac Sim 与外部系统之间的通信。它还可作为开发自定义中间件桥接器的参考示例。

Isaac Lab 的新功能

An image of a robot standing in front of a table, representing a bi-manipulation task of pipe sorting using a fine-tuned GR00T N1 model with GR00T-mimic data in Isaac Lab.
图 2:Isaac GR00T N1 部署在 Isaac Lab 的 Fourier GR1 人形机器人上,执行双操作任务。

Isaac Lab 是一个专为训练和评估机器人学习策略而构建的开源框架。Isaac Lab 2.2 的新更新支持:

  • GR00T N1 基准测试:它可以使用预构建任务 (例如螺母倾注和管道分类) 对 NVIDIA Isaac GR00T N 开放基础模型进行闭环评估 (数据生成、后训练和评估) 。
  • 增强的合成运动生成:这将使用 NVIDIA Isaac GR00T-Mimic 的双手动训练环境放大收集的机器人操作数据。
  • Omniverse Fabric 集成:Isaac Lab 现在支持 Fabric,可缩短加载时间,并更高效地执行物理模拟和传感器数据采集。
  • 张量化吸盘抓手:这提供了灵活的,动态抓取模拟,对于准确的强化学习和操作任务至关重要。

开始使用

从 Github 下载源代码,立即开始使用 Isaac Sim 5.0Isaac Lab 2.2 的早期开发者版本。

您可以在此处详细了解这些功能。

观看 NVIDIA 创始人兼首席执行官 Jensen Huang 在 VivaTech 2025 上发表的 NVIDIA GTC 巴黎主题演讲,并探索 GTC 巴黎会议

订阅我们的时事通讯并在 LinkedInInstagram、X 和 Facebook 上关注 NVIDIA Robotics随时了解最新动态探索 NVIDIA 文档YouTube 频道,并加入 NVIDIA Developer Robotics 论坛。要开启您的机器人开发之旅,请立即注册我们的免费 NVIDIA Robotics Fundamentals 课程。

开始使用 NVIDIA Isaac 库和 AI 模型开发物理 AI 系统

 

标签