NVIDIA Isaac Sim

NVIDIA Isaac Sim 由 Omniverse 提供动力支持,是一款可扩展的机器人模拟应用和合成数据生成工具,可提供逼真、物理属性准确的虚拟环境,以便开发、测试和管理基于 AI 的机器人。


本地运行

下载 OMNIVERSE




在 GTC 2022 大会上,我们发布了 NVIDIA Isaac SIM 2022.1,其中包括 Gazebo/Ignition 连接器、Isaac Gym 集成、新的 Isaac 复制器功能和其他相关内容。

注册以便在其上市时获取通知。

通知我 >




>

借助 Isaac Sim,世界各地的开发者和研究人员能够针对各种任务训练和优化 AI 机器人。在本演示中,我们展示的三个机器人各不相同且令人惊艳,这些机器人在模拟环境中开发并在现实世界得到了验证



Isaac Sim 图表


Isaac Sim 栈



逼真模拟

Isaac Sim 利用 Omniverse 平台的强大模拟技术,包括使用 PhysX 5 实现支持 GPU 的高级物理模拟、借助实时光线和路径追踪打造逼真效果,以及通过 MDL 材质定义支持实现基于物理属性的渲染。

模组化架构适合各种应用

没有一个模拟器可以解决每个机器人模拟挑战。但 Isaac Sim 旨在解决多数常见的机器人用例,包括操作、导航、生成用于训练数据的合成数据。此外,由于其模组化设计,此工具可以进行自定义并扩展到许多新用例中。

无缝连接和互操作

借助 NVIDIA Omniverse,Isaac Sim 可获益于 Omniverse Nucleus 和 Omniverse Connector,进而在 USD 中协作构建、共享和导入环境和机器人模型。通过 Isaac SDK 和 ROS/ROS2 接口、全功能 Python 脚本编写以及用于导入机器人和环境模型的插件,轻松将机器人大脑连接到虚拟世界。




生成用于训练感知模型的合成数据


训练感知模型需要大量多样的数据集。组装这些数据集可能耗时耗钱又危险,甚至在某些极端情况下无法进行。利用 Isaac Sim 的 Omniverse Replicator,开发者可以启动训练任务。在项目的早期阶段,合成数据可以加速概念验证或验证 ML 工作流。在开发周期的后期阶段,可以使用合成数据来增强真实数据,从而缩短训练产品模型的时间。Isaac Sim 内置了对域随机化的支持,允许更改纹理、颜色、照明和放置。它还支持不同类型的数据,包括边界框、深度和分割。开发者能够以 KITTI 格式输出数据集,从而更轻松地利用 NVIDIA 的 TAO 工具套件

探索如何在 Isaac Sim 中使用 Replicator Composer ›




模拟操作


机器人的主要应用领域之一是机械手,可以识别、拾取和移动物体。在现代工厂或仓库环境中,机械手可以大幅度提高处理和分拣材料的效率和吞吐量。Issac Sim 内置了一些常见任务示例,例如填充和堆积货箱。这些基于 python 的示例可以进行修改,以便处理您的自定义任务。UR10、Frank Emika Panda (Leonardo) 和低成本 DofBot 是 Isaac 支持的机械手机器人,可以快速启动您的项目。

详细了解 Leonardo 和 UR10 互动演示 ›




模拟导航


自主移动机器人必须能够在其环境中从 A 点移动到 B 点。此功能由导航栈提供支持。Isaac Sim 支持开发和测试机器人导航功能。Isaac Sim 提供了关于如何使用 ROS 导航栈的完整示例。在本示例中,NVIDIA Carter 机器人能在仓库环境中自动移动。同样,在 Carter 上运行的 Isaac SDK 导航栈也可在其中一个示例中自由练习。

详细了解 Carter 上的 ROS 2 导航栈 ›

详细了解 Carter 上的 Isaac SDK 导航栈 ›




将机器人/素材导入 Isaac Sim


将机器人模型和其他素材导入机器人模拟器至关重要,而且在设置训练场景或测试场景时,这有时也是一项重大挑战。Isaac Sim 利用 Omniverse 中内置的强大连接器功能,内置了对热门产品设计格式的支持。先进的 URDF 导入器已在多个机器人模型上进行测试。此外,CAD 文件可以直接从 Onshape 和 STEP 文件导入,并且所需的后期处理很少。

为了更轻松地将素材添加到不同的环境中,Isaac Sim 支持 Shapenet。Shapenet 导入器提供了大量的 3D 素材。

详细了解如何使用 OnShape 导入器 ›

详细了解如何使用 STEP 导入器 ›




查看 Isaac Sim 的实际应用





教程

单击此处,访问完整的教程播放列表

Isaac Sim:使用 Replicator Composer 生成合成数据
使用 Isaac Sim 的 OnShape 导入器
Isaac Sim 中的数字孪生



Isaac Sim 的新动态


适用于 Isaac Sim 的 Omniverse Replicator

使用 Isaac Sim 数据复制器

探索真实世界的案例,这些案列使用合成数据来训练和部署基于视觉的生产级 AI 模型。

阅读博客

Isaac Sim/Trimble 合成数据

了解 Trimble 如何通过适用于 Isaac Sim 的合成数据来训练机器人。

阅读博客

NVIDIA/Open Robotics 新闻

NVIDIA 和 Open Robotics 宣布合作,将 NVIDIA 技术引入 ROS 开发者社区。

阅读博客




资源





立即开始使用 Isaac Sim


下载 Omniverse 并安装启动程序
查找并安装 Isaac Sim 应用

下载 OMNIVERSE
在云端运行 Isaac Sim

下载容器和客户端