通用型类人型机器人旨在快速适应现有的以人为中心的城市和工业工作空间，处理繁琐、重复或对身体要求苛刻的任务。这些移动机器人的设计初衷就是在以人为中心的环境中表现卓越，这使得它们在从工厂车间到医疗健康设施中的价值与日俱增。
模仿学习是机器人学习的一个子集，使人形机器人能够通过观察和模仿专家的人类演示来获得新的技能。在现实世界中收集这些广泛的高质量数据集既繁琐又耗时，而且成本高昂。从物理属性准确的模拟环境中生成的合成数据可以加速收集过程。
NVIDIA Isaac GR00T 可帮助应对这些挑战 ，为类人型机器人开发者提供机器人基础模型、数据流水线和仿真框架。用于合成运动生成的 NVIDIA Isaac GR00T 蓝图是一种用于模拟学习的模拟工作流，使您能够从少量人类演示中生成指数级的大型数据集。
在本文中，我们将介绍如何从 Apple Vision Pro 中捕获远程操作数据，使用 NVIDIA Isaac GR00T 从几个人类演示中生成大型合成轨迹数据集，然后在 Isaac Lab 中训练机器人运动策略模型。
合成运动生成
工作流程的关键组件包括以下内容：
- GR00T-Teleop:
- NVIDIA CloudXR： 连接到 Apple Vision Pro 头显设备，使用专为人形远程操作设计的自定义 CloudXR 运行时来流式传输动作。
- Isaac XR Teleop： 使用此适用于 Apple Vision Pro 的参考应用，将远程操作数据串流到 NVIDIA Isaac Sim 或 Isaac Lab，或从 NVIDIA Isaac Lab 串流。
- Isaac Lab：使用用于机器人学习的开源统一框架训练机器人策略。Isaac Lab 基于 NVIDIA Isaac Sim 构建。
- GR00T-Mimic：从几次人类演示中生成大量合成运动轨迹数据。
- GR00T-Gen：通过 在场景中随机化背景、照明和其他变量来增加多样性，并通过 NVIDIA 的 Cosmos 放大生成的图像。(本文不会详细介绍 GROOT-Gen.)
合成运动生成工作流是一个复杂的过程，旨在创建用于训练机器人的大型多样化数据集。
首先是数据采集，使用 Apple Vision Pro 等高保真设备在模拟环境中捕捉人类动作。Apple Vision Pro 可将手部追踪数据串流到 Isaac Lab 等模拟平台，同时将机器人环境的沉浸式视图串流回设备。此设置支持直观的交互式机器人控制，有助于收集高质量的远程操作数据。
Isaac Lab 中的机器人仿真将流式传输到 Apple Vision Pro，使您能够可视化机器人的环境。通过移动双手，您可以直观地控制机器人来执行各种任务。此设置有助于实现沉浸式交互式远程操作体验。
使用 GR00T-Mimic 生成合成轨迹
收集数据后，下一步是生成合成轨迹。Isaac GR00T-Mimic 用于从一小部分人类演示中推断，创建大量的合成运动轨迹。
此过程包括在演示中标注关键点，并使用插值确保合成轨迹平滑且符合上下文要求。然后，对生成的数据进行评估和细化，以满足训练所需的标准。
在本示例中，我们成功生成了 1K 合成轨迹。
在 Isaac 实验室中使用模拟学习进行训练
最后，使用合成数据集，使用模仿学习技术训练机器人。在此阶段，训练 Robomimic 套件中的递归高斯混合模型 (GMM) 等策略以模拟合成数据中演示的动作。
训练在 Isaac Lab 等模拟环境中进行，并通过多项试验评估经过训练的策略的性能。此流程可显著减少开发和部署机器人系统所需的时间和资源，使其成为机器人领域的宝贵工具。
为了展示如何使用这些数据，我们训练了一台配备抓手的 Franka 机器人在 Isaac 实验室中执行堆叠任务。抓手类似于人形机器人。
我们将行为克隆与 Robomimic 套件中的循环 GMM 策略结合使用。该策略使用两个隐藏维度为 400 的长短期记忆（LSTM）层。
网络输入包括机器人的终端执行器姿态、抓手状态和相对物体姿态，而输出是增量姿态动作，用于在 Isaac Lab 环境中对机器人进行步进。
借助由 1K 成功演示和 2K 迭代组成的数据集，我们实现了约 50 次迭代/秒的训练速度 (相当于在 NVIDIA RTX 4090 GPU 上训练时间约为 0.5 小时)。经过训练的策略在堆栈任务中平均进行了 50 多次试验，成功率高达 84%。
开始使用
在本文中，我们讨论了通过生成合成生成的轨迹数据，通过 NVIDIA Isaac GR00T 快速追踪人形运动策略学习。
GR00T-Teleop 堆栈仅接受邀请抢先体验。加入 Humanoid 开发者计划 ，以便在测试版中提供堆栈。
观看 NVIDIA 首席执行官 Jensen Huang 先生的 CES 2025 主题演讲 ， 并通过订阅我们的时事通讯 以及在 YouTube、Discord 和我们的开发者论坛上关注 NVIDIA Robotics 来了解最新信息。
