机器人需要具备适应能力，能够随时学习新技能并适应周围环境。然而，传统训练方法可能会限制机器人在新情况下应用所学技能的能力，这通常是由于感知和行动之间的差距，以及在不同环境中传递技能所面临的挑战。
NVIDIA Isaac Lab 是一个用于机器人学习的开源模块化框架，可解决这些限制。Isaac Lab 的模块化高保真模拟适用于各种训练环境，提供物理 AI 功能和 NVIDIA GPU 驱动的物理模拟。
Isaac 实验室支持模仿学习 (imitation learning) 和强化学习，为任何机器人 embodiment 提供灵活的训练方法。它为训练场景提供了用户友好型环境，帮助机器人制造商根据不断变化的业务需求添加或更新机器人技能。
许多行业协作者都在使用 Isaac Lab 高效地训练人形机器人。其中包括 Fourier Intelligence 公司 (其 GR1 人形机器人具有类似人类的自由度) 和 Mentee Robotics 公司 (其 MenteeBot 专为家庭到仓库应用而构建)。
ORBIT-Surgical 是一个基于 Isaac Lab 的模拟框架，用于训练 da Vinci Research Kit (dVRK) 等机器人，以协助外科医生并减少他们的精神工作负载。该框架使用在 NVIDIA RTX GPUs 上运行的强化学习和 imitation learning，使机器人能够操作刚性和软性物体。此外，NVIDIA Omniverse 帮助生成高保真的 synthetic data，这些数据可用于训练 AI 模型，以便在真实的医院手术室视频中分割手术工具。
Boston Dynamics 正在使用 NVIDIA Isaac Lab 和 NVIDIA Jetson AGX Orin，支持直接部署用于推理的模拟策略，从而简化部署流程。有关更多信息，请参阅 Closing the Sim-to-Real Gap: Training Spot Quadruped Locomotion with NVIDIA Isaac Lab。
本文概述了 NVIDIA Isaac Lab 的主要功能，并预览了NVIDIA Humanoid Robot Developer Program中的 Isaac Lab 生态系统协作者。本文还介绍了如何使用NVIDIA OSMO平台扩展机器人工作流程。
用于加速机器人学习的 Isaac Lab 功能
Isaac 实验室提供的主要功能包括用于无缝有效机器人策略训练的强化学习和模拟学习、PhysX 提供的快速准确的物理模拟、用于矢量化渲染的平铺渲染 API、用于提高机器人策略的可靠性和适应性的领域随机化，以及对在云中运行的支持。
一个工具中包含多种机器人训练技术：Isaac Lab 是一款模拟应用程序，通过强化学习和模仿学习实现机器人学习。
强化学习 (RL)：机器人通过试验和错误进行学习，使其更能适应新的情况，并可能超过人类在某些任务中的表现。然而，RL 可能很慢，需要精心设计的奖励函数来指导机器人的学习。Isaac Lab 通过向不同的库提供 wrappers，支持 RL，这些库将环境数据转换为函数参数和返回类型。
模仿学习：机器人通过模仿人类演示进行学习。这方法非常适合具有特定动作或行为的任务，需要更少的数据并利用人类专业知识。学习框架 Robomimic 支持模仿学习，并支持在 HDF5 中保存数据。
任务设计工作流的灵活性： 通过两种方式构建机器人训练环境，基于 manager 的工作流或 direct 的工作流。借助基于 manager 的工作流，您可以轻松切换出环境的不同部分。为了优化复杂逻辑的性能，推荐使用 direct 工作流。
平铺渲染：Isaac Lab 是目前唯一一款为机器人学习提供高保真渲染的行业工具，有助于缩小 sim-to-real 之间的差距。 平铺渲染 通过将多个摄像头的输入整合到单个大型图像中来缩短渲染时间。它提供了用于处理视觉数据的简化 API，其中渲染的输出直接用作模拟学习的观察数据。
多 GPU 和多节点支持：： 对于复杂的强化学习环境，最好跨多个 GPU 扩展训练。这在 Isaac 实验室中是可行的，通过使用PyTorch 分布式框架。
Vectorized API：利用增强的 View API 提高易用性，消除预先初始化缓冲区的需要，并且缓存场景中不同对象的索引，此外还支持场景中的多个视图对象。
轻松部署到公有云：支持在AWS、GCP、Azure 和 Alibaba Cloud 上部署，通过 Docker 集成可在容器中高效执行 RL 任务，以及使用 OSMO 无缝扩展多 GPU 和多节点作业。
准确的物理模拟：通过 Isaac Lab 利用最新的 GPU 加速 PhysX 版本，包括对可变形性的支持，确保快速准确的物理模拟通过域随机化增强准确的物理模拟。
借助 NVIDIA OSMO 扩展机器人工作流程
NVIDIA OSMO是一个云原生工作流编排平台，帮助编排、可视化和管理一系列任务，这些任务包括生成合成数据、训练基础模型，以及为任何机器人实施实现软件在环系统。
借助 NVIDIA OSMO，企业无需具有广泛的内部 IT 专门知识即可高效地训练机器人。 请求早期访问 NVIDIA OSMO。
用于人形机器人学习的 AI 基础模型
NVIDIA Project GR00T 是一项为人形机器人开发通用基础模型的计划。Isaac Lab 使行业协作者能够执行机器人学习，包括 1X, The AI Institute, Boston Dynamics, ByteDance Research, Field AI, Fourier, Galbot, LimX Dynamics, Mentee, NEURA Robotics, RobotEra, 和 Skild AI。
随着自由度的增加，模拟人形动力学的复杂性也会呈指数级增长。RL 和模仿学习是为在各种任务和环境中工作的人形生物制定策略的唯一可扩展方式。
邀请使用人形机器人构建机器人应用的企业申请加入NVIDIA 人形机器人开发者计划。
开始使用
NVIDIA Isaac Lab 提供模块化功能，包括可定制的环境、传感器和训练场景，以及强化学习和模仿学习等技术，可帮助任何机器人 embodiment 从快速演示中学习。
准备好开始更快地训练您的机器人实施策略了吗？Isaac Lab 是在 BSD-3 许可下开源的，可通过 GitHub 上的 isaac-sim/IsaacLab 获取。
如果您是 NVIDIA Isaac Gym (NVIDIA Isaac Lab 的前身) 的现有用户，我们建议迁移到 NVIDIA Isaac Lab，以确保您能够访问机器人学习的最新进展和强大的开发环境，从而加速您的机器人训练努力。
在 SIGGRAPH 2024 大会上，NVIDIA CEO Jensen Huang 与 Meta 创始人兼 CEO Mark Zuckerberg 和 WIRED Sr. Writer Lauren Goode 进行了炉边谈话。点播观看 NVIDIA 在 SIGGRAPH 2024 大会上的炉边谈话和其他会议从 NVIDIA 在 SIGGRAPH 2024 大会上点播。
订阅我们的机器人开发者时事通讯，并在 YouTube、Discord 和 开发者论坛上关注 NVIDIA Robotics，保持最新动态。
