从现实世界演示中训练机器人策略不仅成本高、耗时长，还容易导致过拟合，从而限制了在不同任务和环境中的泛化能力。相比之下，以仿真为优先的方法能够简化开发流程，降低风险与成本，同时实现更安全、更具适应性的部署。
Isaac Lab 2.3 的最新版本，在早期开发者预览中进一步提升了人形机器人的能力，实现了更先进的全身控制、增强的模仿学习以及更流畅的运动表现。此次更新扩展了远程操作支持，新增对 Meta Quest VR 和 Manus 手套等设备的兼容，从而加速演示数据集的采集与构建。此外，版本还引入了基于运动规划器的工作流，用于在操作任务中高效生成训练数据。
新的强化学习与模仿学习示例
Isaac Lab 2.3 推出了支持灵巧操作任务的新功能，包括用于感知与本体感知的字典式观察空间，以及自动域随机化（ADR）和 基于群体的训练（PBT） 技术，从而提升强化学习训练的可扩展性。这些功能进一步扩展了 DexPBT 中所实现的环境：通过群体化训练与 视觉运动策略，增强了多臂系统的灵巧操作能力，使其能够利用灵巧手抓取各类物体。
要启动针对灵巧环境的训练，请使用以下脚本：
./isaaclab.sh -p -m torch.distributed.run --nnodes=1 --nproc_per_node=4
scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Dexsuite-Kuka-Allegro-Reorient-v0
--num_envs 40960 --headless --distributed
Isaac Lab 2.3 在此前版本的基础上进行了扩展，新增了基准测试环境，支持在吸力抓取和传统夹爪配置下的操作任务。前一版本已在直接工作流程中集成了表面抓手的示例，本次更新则进一步将基于 CPU 的表面抓手支持引入基于管理器的工作流，以更好地支持模仿学习任务。
请使用以下命令来运行此示例并进行演示记录。
./isaaclab.sh -p scripts/tools/record_demos.py --task Isaac-Stack-Cube-UR10-Long-Suction-IK-Rel-v0
--teleop_device keyboard --device cpu
有关更多详细信息，请参阅关于与表面抓手交互的教程与表面抓手交互。
提升远程操作性能，实现精准灵巧的操控
机器人远程操作是指人类操作员通过通信链路，利用输入设备对真实或虚拟的机器人进行远程控制，实现对其动作和运动的操控。
Isaac Lab 2.3 新增了对 Unitree G1 机器人的远程操作支持，并实现了 Unitree 三指灵巧手 和 Inspire 五指灵巧手 的灵巧动作重定向。
灵巧重定向是将人手姿态映射为机器人手部关节位置的过程，旨在完成具体操作任务。该技术实现了高效的人机技能迁移，提升了机器人在处理复杂接触任务时的表现，同时能够生成丰富的操作示范，用于训练更加稳健的操控策略。
灵巧重定向工作流充分利用了重定位远程操作框架内置于Isaac Lab，能够根据具体任务灵活配置远程操作设备。
此外，双目机器人（例如里叶 GR1T2 和 Unitree G1）的上半身控制也得到了进一步优化。为此，我们改进了 Pink IK（逆运动学）控制器，使机械臂在手动操作时保持更自然的姿态，有效减少了手部不必要的外翻现象。本版本还引入了支持躯干旋转的新环境，从而拓展了机器人的可操作空间。同时，我们进行了多项参数调优，以提升运行速度，并降低执行过程及目标达成中的误差。
此外，Isaac Lab 2.3 版本还增强了用户界面，使操作更加直观。新增了 UI 元素，用于提醒远程操作员注意反向运动学（IK）控制器的异常情况，例如关节达到极限或无解状态。同时，系统还新增了弹窗提示，以便在演示集合结束时及时通知远程操作员。
引入用于生成操作数据的无碰撞运动规划方法
SkillGen 是一种用于生成自适应、无碰撞操作演示的工作流。该方法结合了人类提供的子任务分段与 GPU 加速的运动规划，能够使机器人从少量人类演示中学习现实世界中富含接触的操作任务。
开发者可在 Isaac Lab Mimic 中利用 SkillGen 生成演示，该功能已集成于 Isaac Lab 的新版本。SkillGen 支持多阶段规划，包括接近、接触和撤离等阶段，通过合理的碰撞球管理实现动态物体的连接与分离，并在技能拼接过程中同步世界状态，以确保符合运动学约束并规避障碍物。通过手动标注子任务的“开始”和“结束”，可将富含接触行为的技能与运动规划部分解耦，从而为下游用户提供一致的轨迹合成与可复现的结果。
在早期版本中，Isaac Lab Mimic 采用 MimicGen 实现数据生成。SkillGen 在 MimicGen 的基础上进行了改进，突破了原有的一些限制。从 Isaac Lab 2.3 版本开始，您可以在 Isaac Lab Mimic 中选择使用 SkillGen 或继续使用 MimicGen。
要运行两个堆叠任务的管道，请使用预标注的数据集并执行相应命令。您也可以选择下载该数据集。
若要启动原始的立方体堆叠任务，请使用以下命令：
./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
--device cpu \
--num_envs 1 \
--generation_num_trials 10 \
--input_file ./datasets/annotated_dataset_skillgen.hdf5 \
--output_file ./datasets/generated_dataset_small_skillgen_cube_stack.hdf5 \
--task Isaac-Stack-Cube-Franka-IK-Rel-Skillgen-v0 \
--use_skillgen
使用以下命令启动 bin 任务中的立方体堆叠操作。
./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
--device cpu \
--num_envs 1 \
--generation_num_trials 10 \
--input_file ./datasets/annotated_dataset_skillgen.hdf5 \
--output_file ./datasets/generated_dataset_small_skillgen_bin_cube_stack.hdf5 \
--task Isaac-Stack-Cube-Bin-Franka-IK-Rel-Mimic-v0 \
--use_skillgen
有关前提条件和安装说明，请参阅 SkillGen 的自动演示生成相关文档；关于策略训练与推理，请参考 Isaac Lab 中的模仿学习工作流；如需了解具体命令的详细信息，请查阅 SkillGen 文档。
适用于移动机器人的端到端导航方案
除了操控能力之外，人形机器人与移动机器人还需在复杂多变的环境中实现安全导航。开发者现在可利用 Isaac Lab 中的移动工作流，对 NVIDIA COMPASS 进行后训练。该工作流基于视觉技术，支持跨机器人类型和不同环境的导航任务。整个流程涵盖在 Isaac Sim 中生成 合成数据（SDG）、训练移动模型，以及在 NVIDIA Jetson Orin 或 NVIDIA Thor 平台上完成部署。通过 Cosmos Transfer 技术，合成数据的质量得以提升，有效缩小了仿真与现实之间的差距。
通过集成 NVIDIA Isaac CUDA 加速库，机器人能够利用 cuVSLAM 实现精准定位，借助 cuVGL 构建环境地图，并通过 COMPASS 理解场景内容，从而在动态变化的环境中实时导航并规避障碍物。此外，COMPASS 还为开发者提供了生成合成数据的能力，可用于训练高级视觉语言动作（VLA）基础模型，例如 GR00T。目前，ADATA、UCR 和 Foxlink 正在将其整合至各自的工作流程中。
面向人形机器人的运动-操作协同合成数据生成
Loco-manipulation 是指机器人在移动身体（如行走或滚动）的同时对物体进行操作（如抓取、推拉），实现了运动与操纵的协调执行，被视为一项涉及全身协同的复杂任务。
该工作流通过集成导航与全身控制器（WBC），将机器人操作与运动相结合，实现了任务演示的合成。这种集成使机器人能够执行复杂的任务序列，例如从桌面取物、在环境中移动，并将物体放置到指定位置。
该系统通过随机化桌面的拾取与放置位置、目标点以及地面障碍物来增强演示效果。该方法将数据采集过程重构为由运动分隔的拾取和放置片段，从而能够利用仅包含操作动作的人类演示，训练人形机器人完成复杂的组合任务。
以下展示了如何运行此增强示例，请下载相应的样本输入数据集。
./isaaclab.sh -p \\
scripts/imitation_learning/disjoint_navigation/generate_navigation.py \\
--device cpu \\
--kit_args="--enable isaacsim.replicator.mobility_gen" \\
--task="Isaac-G1-Disjoint-Navigation" \\
--dataset ./datasets/generated_dataset_g1_locomanip.hdf5 \\
--num_runs 1 \\
--lift_step 70 \\
--navigate_step 120 \\
--enable_pinocchio \\
--output_file ./datasets/generated_dataset_g1_navigation.hdf5
该界面具有高度灵活性，用户可根据需求自由切换不同实施形式，例如人形机器人或移动机械臂。
策略评估框架
如果仅依赖真实硬件，对学习到的机器人技能（如操纵物体或在空间中移动）的评估将难以扩展。仿真则提供了一种可扩展的途径，能够针对多种场景、任务和环境对这些技能进行全面评估。
然而，从采样仿真就绪型资产、配置和多样化环境，到编排大规模评估并进行分析，用户需要在 Isaac Lab 上手动整合多个组件，才能实现预期结果。这导致系统设置分散、可扩展性受限、开销较大，且入门门槛较高。
为了解决这一问题，NVIDIA 与 Lightwheel 正在联合开发 NVIDIA Isaac Lab – Arena，一个面向可扩展仿真的开源策略评估框架。通过该框架的 API，开发者无需自行构建系统，即可简化并高效执行复杂的大规模评估任务。这不仅使他们能够专注于策略的迭代优化，还能将评估方法贡献给社区，从而推动 机器人技术 的快速发展。
该框架提供了简化的任务定义和可扩展的库，支持灵活的指标计算、评估与多样化功能。通过采用 Isaac Lab 实现并行的 GPU 加速评估，同时与数据生成、训练及部署框架无缝互操作，构建了高效流畅的工作流程。
在此基础之上，构建了一个用于操作、运动及运动操作的示例任务库。NVIDIA 还与策略开发者、基准设计者以及 Lightwheel 等仿真解决方案提供商合作，共同对该框架进行评估，并将评估方法反馈给社区。
对于大规模评估，可采用 NVIDIA OSMO 来编排工作负载。NVIDIA OSMO 是一个云原生平台，支持在本地和云环境中调度并扩展机器人及自主机器的工作流。Isaac Lab – Arena 即将发布。
基础设施支持
NVIDIA RTX PRO Blackwell 服务器以及由 NVIDIA RTX PRO Blackwell 服务器 和 NVIDIA DGX Spark 驱动的 NVIDIA GB10 Grace Blackwell 超级芯片。RTX PRO 与 DGX Spark 为研究人员提供了高性能平台，可用于在训练、合成数据生成（SDG）、机器人学习 和 仿真 等领域开展各类机器人开发工作负载的实验、原型设计与运行。
请注意，DGX Spark 上的 Isaac Lab 2.3 暂不支持在 Isaac Lab Mimic 中使用 XR/AVP 及模仿学习进行远程操作。对于人形机器人环境，开发者需预先采集相关数据；而 Franka 环境则支持使用键盘和鼠标等标准设备进行操作。
采用生态系统
领先的机器人开发企业，包括Agility Robotics、Boston Dynamics、Booster Robotics、Dexmate、Figure AI、Hexagon、Lightwheel、General Robotics、maxon 和 Skild AI，正在借助 NVIDIA 的各类库和开放模型，推动机器人技术的持续发展。
开始使用 Isaac Lab 2.3
Isaac Lab 2.3 通过加强人形机器人的控制能力、拓展远程操作功能以更便捷地采集数据，并支持复杂操作与运动数据的自动生成，从而加速机器人学习进程。
要开始使用 Isaac Lab 2.3 的早期开发者版本，请前往 GitHub 仓库查阅相关资源和文档。
如需深入了解 Isaac Lab 如何通过 GPU 加速的仿真框架，将 GPU 原生机器人仿真拓展至大规模多模态学习，推动机器人研究领域的创新突破，请参阅Isaac Lab：A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning（适用于多模态机器人学习的 GPU 加速仿真框架）。
了解将于9月27日至10月2日在韩国首尔举行的CoRL与Humanoids大会所展示的研究成果。
此外，您还可以参与 2025 BEHAVIOR 挑战赛，这是一项机器人基准测试，旨在评估推理、运动与操作能力，涵盖 50 项家庭任务以及 10,000 次远程操作演示。
订阅我们的时事通讯并在 时事通讯，在 LinkedIn、Instagram、X 和 Facebook 上关注 NVIDIA Robotics，及时获取最新资讯。浏览 NVIDIA 文档 和 YouTube 频道，参与 NVIDIA 开发者机器人论坛。 立即注册免费的 NVIDIA 机器人开发基础课程，开启您的机器人开发之旅。
开始使用 NVIDIA Isaac 库和 AI 模型，开发具备物理交互能力的 AI 系统。
