以物理人工智能为动力的机器人时代已经到来。物理人工智能模型了解其环境，并自主完成物理世界中的复杂任务。许多复杂任务，如灵巧的操纵和在崎岖地形上的人形运动，都太难编程，依赖于使用强化学习（RL）在模拟中训练的生成物理人工智能模型。
通过NVIDIA Isaac Sim，这是一个基于NVIDIA Omniverse的参考应用程序，开发人员可以在一个遵守物理定律的虚拟环境中设计、模拟、测试和训练基于人工智能的机器人和自主机器。
NVIDIA Isaac Sim 使团队能够生成合成数据、训练机器人策略，并运行多种假设场景，以在部署前验证整个机器人堆栈。
该帖子涵盖了最新的 Isaac Sim 4.0 版本，其中包括NVIDIA PhysX 5.4 和Isaac Lab。现在可以下载的 Isaac Sim 4.0 是基于NVIDIA Omniverse Kit 106构建的，这为开发人员带来了对工作流程的更大方便和控制。
NVIDIA Isaac Sim 4.0 新功能特性
Isaac Sim 4.0 提供了强大的新功能和增强功能，以增强您的机器人工作流程，包括：
- 使用 PIP 加快安装速度
- 通过基于向导的导入和系统兼容性检查器提高了可用性
- 新资产、环境、机器人、环境传感器
- 新的 PhysX 功能，如模拟关节、TGS 解算器、残差可视化等
- 用于强化学习的多 GPU 和多节点功能
继续阅读，了解更多关于这些新功能，以及模拟阶段使用的新 PhysX 和传感器功能的信息。
使用 PIP 安装快速入门更快
现在，您可以使用 Python 包管理器（如PIP）在本地或远程系统上安装 Isaac Sim，这大大加快并简化了使用开发人员熟悉的相同开发环境的安装过程。在基于云的 IDE（如 Jupyter）中轻松部署 Isaac Sim。
此外，您现在可以使用兼容性检查器应用程序查看系统要求和兼容性，从而在开始安装过程之前提供即时反馈。
基于向导的导入提高了可用性
每一次模拟都是从构建虚拟环境和占据其中空间的机器人开始的。为了加快这一过程，Isaac Sim 现在包含了一个向导，该向导具有引导用户在指定环境中导入和调整机器人的过程。该向导还提供了一大堆其他选项文档，其中包括最常见的工具，如 CAD 导入器、传感器、索具机器人等。
其他资源库例如 PyTorch、pandas、LangChain、Megatron、NVIDIA、cuOpt 和 Stable Diffusion。
使用以下新资源进行模拟：例如 PyTorch、pandas、LangChain、Megatron、NVIDIA、cuOpt 和 Stable Diffusion。
- 预制仓库模型
- 机器人模型
- 通用机器人的 UR20 和 UR30 机械臂
- 波士顿动力公司的 Spot
- 类人族
- 1X Neo
- Unitree H1
- Agility Digit
- Fourier GR1
- Sanctuary AI Phoenix
- 小鹏 PX5
- 传感器
- Ouster
用于模拟和检查关节的 PhysX 5.4 新功能
一旦场景构建完成并将机器人设置在环境中，就可以在机器人模型上使用NVIDIA PhysX 5.4中的新功能。
例如，“模拟关节”功能使您能够对机器人中的耦合关节位置进行建模。现在，您可以对平行夹具机构、四连杆机构或平行夹具或机械手的机械耦合元件进行建模，模拟关节可以捕捉 URDF 规格关系。
jointPosition = multiplier * referenceJointPosition + offset
关节速度受到类似的约束，并且相互作用是双向的。为满足约束，模拟关节施加的力将根据乘数（即齿轮传动）反馈到参考关节。
物理检查器功能现在可以通过将机械臂定位到给定模拟场景的特定姿势来创建单个关节和最大关节，从而实现单个关节和最大关节的 authoring。团队还可以在实际模拟之前目视检查碰撞和自由度。
新的模拟功能
模拟阶段的一些新功能旨在帮助增强物理和传感器模拟。
增强的物理模拟
物理在机器人的整体运动和性能中起着不可或缺的作用。Isaac Sim 4.0 中的新增强功能提供了更好的模拟、可视化和调试工具。
TGS 解算器的最新更新采用了一种新模式，有助于提高解算器收敛性和碰撞保真度。通过新引入的解算器选项，TGS 能够在每次 TGS 位置迭代（子步骤）中考虑重力和其他外力，并阐明联合努力，而不是在时间步骤开始时进行一次。在“物理场景高级”选项或 USD PhysxSceneAPI EnableExternalForcesEveryIteration 属性中启用该模式。
对于高性能模拟，重要的是要在求解器迭代次数和模拟保真度之间找到适当的折衷。新的残差报告功能通过在时间步长结束时暴露与解算器收敛质量相对应的数据，以帮助完成这一模拟调整任务数据可以在物理场景中聚合查询，也可以按关节和最大坐标关节查询。
不仅可以看到解算器残差，还可以使用新的“模拟数据可视化器”窗口监视模拟数据，如位置和方向。支持的属性包括身体位置和方向、解算器残差等。了解更多信息，请参阅可视化工具文档。
现在，您还可以使用统一的 API 查询刚体和关节连接的线性加速度和角加速度，例如报告的值可用于计算惯性测量单元的模拟输出。
其他功能包括 SDF 碰撞改进、接触摩擦力报告等。
对传感器模拟的更多支持
传感器构成了机器人感知堆栈的主干。Isaac Sim 拥有越来越多的逼真传感器模型库，可以模拟地面实况感知和基于物理的传感器。
最新版本包括对非视觉材料的 RTX 支持，这些材料的光学特性现在扩展到非视觉光谱，如红外、无线电波和紫外线，从而实现新的、更先进的传感器建模。此外，您可以使用新的 RTX 非视觉材料功能集，基于 RTX 的雷达来准确模拟雷达对不同材料类型和环境的响应。
此外，IMU 传感器后端现在与 Tensor API 兼容，这有助于统一 IMU 传感器的物理后端与其他 Isaac Sim 传感器和节点，从而能够更一致地访问最新的物理数据。
对基于 OmniGraph 的传感器管道的性能改进包括仅在需要时运行管道而不是每帧，以减少管道的开销。
利用 Isaac Lab 加速强化学习
Isaac Lab 建立在 Isaac Sim 的基础上，是一个统一、模块化和开源的机器人学习框架，旨在简化常见的工作流程，如强化、模仿和演示学习以及运动规划，它融合了Orbit的功能，这是一个由NVIDIA、AI Institute、苏黎世联邦理工学院和多伦多大学联合开发的开源框架。
Isaac Lab 使用 PyTorch 分布式框架，利用 Linux 上的多 GPU 和多节点培训，帮助团队进行扩展，这些工作可以轻松地在异构环境中进行扩展，使用OSMO
当在多个 GPU 上运行时，使用多个 GPU 可以获得更高的卷展 FPS（如图 5所示）。这意味着在相同的时间内可以生成更多的轨迹和体验，为模型提供更丰富的数据集供学习，然后模型可以更快地收敛并实现更高的性能水平，相比于在单个 GPU 上训练。
在强化学习中，机器人必须执行多种相互独立的场景。当这些机器人在多个相机上执行任务时，可视化它们的进度可能会非常乏味，但平铺渲染有助于在单个视图中可视化所有这些场景。平铺渲染的工作原理是将多个相机的输出连接起来，渲染一个大图像，而不是每个相机生成的多个小图像。
此外，对于具有许多环境的大型 RL 场景，PhysX 5.4 中的新优化将环境克隆速度比上一版本提高了 3 倍。
生态系统采纳
来自 1X、Agility Robotics、The AI Institute、Boston Dynamics、Fourier、Galbot、LimX Dynamics、RobotEra、Sanctuary AI 和 UBTECH 的领先机器人开发人员正在整合 Isaac Lab，开发他们的下一代机器人和人形机器人。许多公司已经在利用 Isaac Sim 在现实环境中测试他们的机器人，并生成用于模型训练的合成数据。
了解更多关于波士顿动力公司与 NVIDIA 和人工智能研究所合作开发现场强化学习研究工具包的信息，该套件结合了先进的模拟、NVIDIA Jetson AI 技术和精确的机器人控制，可以有效地将四足动物从虚拟环境过渡到现实世界的应用程序。
Isaac Lab 根据 BSD-3 许可证开源，通过GitHub 上的 isaac-sim/IsaacLab可获得。
Isaac Sim 为 ROS 开发者提供更多支持
Isaac Sim 的最新版本为 ROS 开发人员提供了丰富的新功能，使其比以往任何时候都更容易在 Isaac Sim 中测试和模拟机器人。这从增强可用性开始，支持从ROS2 节点导入 URDF，从而能够在 URDF 文件或包含机器人描述的 ROS2 节点之间切换。对于 Cyclone DDS 用户，Isaac Sim 在Linux上支持 Isaac ROS 或 Nav2 相关工作流。
其他新功能包括：
- 利用 ROS2 发布支持简化和改进了端到端工作流程
- ROS2 服务质量，用于使用 QoS 设置配置任何 ROS 订户或发布者
- 支持任何可用消息类型的 ROS2 publisher/subscriber 和 server/client，这可用于与系统中安装的任何可用消息以及自定义消息对接。
开始开发您的机器人解决方案
要支持您的开发目标，请注册NVIDIA 开发者计划，以接收以下额外资源和参考体系结构的更新。
- NVIDIA Isaac ROS，基于开源ROS 2 软件框架，是一个集合，包含加速计算包和人工智能模型，为全球的 ROS 开发者带来 NVIDIA 加速。
- NVIDIA Isaac Sim基于NVIDIA Omniverse构建，是一款参考应用程序，使开发人员能够在基于物理的虚拟环境中设计、模拟、测试和训练基于人工智能的机器人和自主机器，它包括NVIDIA Isaac Lab，一款用于机器人学习的轻量级应用程序。
- NVIDIA Isaac Perceptor，自动移动机器人（AMR）和自动导引车辆（AGV）的参考工作流程。
- NVIDIA Isaac Manipulator为工业机械臂提供了新的基础模型和参考工作流程。
- NVIDIA Jetson 是自治机器和嵌入式应用程序的领先平台。
在LinkedIn、Instagram、X和Facebook上保持最新信息。浏览NVIDIA 文档和YouTube频道，并加入NVIDIA 开发者机器人论坛。通过自定进度培训和Isaac ROS和Isaac Sim的网络研讨会了解更多信息。
