基于真实世界演示训练机器人策略，不仅成本高、速度慢，还容易出现过拟合问题，进而限制其在不同任务与环境中的泛化能力。而仿真优先的方法可简化开发流程、降低风险与成本，同时部署到真实环境也将更安全、适应性更强。
最新的 Isaac Lab 2.3 早期开发者预览版，通过先进的全身控制、强化的模仿学习和更优的运动能力，提升了人形机器人的性能。此次更新还扩展了遥操作的数据收集功能，可支持 Meta Quest VR 和 Manus 手套等设备，加速了演示数据集的创建。此外，新版本引入了基于运动规划器的工作流，用于在操作任务中生成数据。
新增强化学习与模仿学习示例及代码
Isaac Lab 2.3 为灵巧操作任务推出了多项新功能，包括用于感知和本体感知的字典观察空间，以及自动域随机化（ADR）和群体训练（PBT）的技术，以提高强化学习训练的可扩展性。这些新功能在“DexPBT：基于群体训练的手与臂系统灵巧操作扩展研究”和“用灵巧手抓取的视觉运动策略”已实现的环境基础上进行扩展。
若需启动灵巧操作环境的训练，可运行以下脚本：
./isaaclab.sh -p -m torch.distributed.run --nnodes=1 --nproc_per_node=4
scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Dexsuite-Kuka-Allegro-Reorient-v0
--num_envs 40960 --headless --distributed
在先前版本的基础上，Isaac Lab 2.3 新增了带吸盘夹具的基准测试环境，可支持吸盘与传统夹具两种操作模式。上一个版本中已支持在直接工作流中提供平面夹具示例，本次更新则在基于管理器的工作流中加入了针对 CPU 端平面夹具的支持，以强化模仿学习功能。
若需通过该示例录制演示数据，可执行以下命令：
./isaaclab.sh -p scripts/tools/record_demos.py --task Isaac-Stack-Cube-UR10-Long-Suction-IK-Rel-v0
--teleop_device keyboard --device cpu
有关平面夹具交互的更多详细信息，请参阅相关教程。
优化升级的灵巧操作遥操作功能
机器人遥操作是指操作者通过输入设备，经通信链路对真实或仿真机器人进行远程控制，进而实现远程操作与运动控制的技术。
Isaac Lab 2.3 新增对 宇树 G1 机器人的遥操作支持，可对宇树三指灵巧手和 Inspire 五指灵巧手进行动作映射。
灵巧动作映射指将人手姿态转换为机器人手部关节位置的过程，可实现高效的人机技能迁移，提升接触密集型手部任务的执行表现，并为训练稳健的操作策略生成丰富的演示数据。
灵巧动作映射工作流基于 Isaac Lab 内置的重定向遥操作框架实现，该框架支持针对不同任务配置专用遥操作设备。
本次更新还针对傅利叶 GR1T2、宇树 G1 等双臂机器人，改进了上半身控制。通过优化 Pink IK (Inverse Kinematics) 控制器，让机器人双臂保持更自然的姿态，减少不必要的手肘外展。同时，新增了支持机器人躯干旋转的工作环境，扩大了其可触及的空间。此外，还通过额外参数调优，提升了末端执行器的运动速度，并降低了其目标定位误差。
Isaac Lab 2.3 版本还包含多项界面优化，使操作更直观。新增的界面元素可反馈逆运动控制器的异常，如关节限位警告、无解状态。同时，在演示数据采集结束时，还会向操作人员进行弹窗提示。
引入无碰撞运动规划技术，助力操作数据生成
SkillGen 工作流能生成自适应、无碰撞的操作演示。它将人工提供的子任务片段与 GPU 加速运动规划相结合，使得只需少量的人工演示，就能学习现实世界中接触密集型操作任务。
在最新版的 Isaac Lab 中，开发者可以使用 Isaac Lab Mimic 中的 SkillGen 来生成演示。SkillGen 支持多阶段规划（包括接近、接触、后退），支持动态物体附着和分离与碰撞球体管理，并在技能拼接过程中同步世界状态以遵循运动学约束和障碍物。通过人工标注子任务的“开始”和“结束”注释，将接触密集型的技能与运动规划段分开，确保为下游用户提供一致的轨迹合成和可重复的结果。
在早期版本中，Isaac Lab Mimic 一直使用 MimicGen 来生成数据。SkillGen 现已针对 MimicGen 的局限性作出改进，并且 Isaac Lab 2.3 版本允许用户在 Isaac Lab Mimic 中灵活选择 SkillGen 或 MimicGen来使用。
若需使用预标注数据集运行两项堆叠任务的流程，可下载该数据集。
若需启动基础立方体堆叠任务，可执行以下命令：
./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
--device cpu \
--num_envs 1 \
--generation_num_trials 10 \
--input_file ./datasets/annotated_dataset_skillgen.hdf5 \
--output_file ./datasets/generated_dataset_small_skillgen_cube_stack.hdf5 \
--task Isaac-Stack-Cube-Franka-IK-Rel-Skillgen-v0 \
--use_skillgen
若需启动箱内立方体堆叠任务，可执行以下命令：
./isaaclab.sh -p scripts/imitation_learning/isaaclab_mimic/generate_dataset.py \
--device cpu \
--num_envs 1 \
--generation_num_trials 10 \
--input_file ./datasets/annotated_dataset_skillgen.hdf5 \
--output_file ./datasets/generated_dataset_small_skillgen_bin_cube_stack.hdf5 \
--task Isaac-Stack-Cube-Bin-Franka-IK-Rel-Mimic-v0 \
--use_skillgen
如需了解前置条件与安装步骤，请参阅 SkillGen 自动演示生成指南。关于策略训练与推理，可参考 Isaac Lab 中的模仿学习工作流，命令详情请查阅 SkillGen 文档。
移动机器人的端到端导航
除了操作任务外，人形机器人和移动机器人还需在复杂且动态的环境中实现安全导航。开发者现可利用 Isaac Lab 中的移动工作流对 NVIDIA COMPASS 进行后训练。NVIDIA COMPASS 是基于视觉的通用移动工作流，适配不同类型机器人与多样环境。该工作流包括三个环节：在 Isaac Sim 中进行合成数据生成、训练移动模型，以及最终部署到 NVIDIA Jetson Orin 或 NVIDIA Thor。通过 Cosmos Transfer 技术优化合成数据，可以有效缩小仿真与现实的差距。
通过整合 NVIDIA Isaac CUDA 加速库，机器人可借助 cuVSLAM 实现自主定位、通过 cuVGL 学习地图构建，并依托 COMPASS 理解场景并生成动作指令，进而在动态环境中实时规避障碍完成导航。此外，COMPASS 还为开发者提供了用于训练 GR00T N 等先进视觉语言动作（VLA）模型的合成数据生成方案。目前，ADATA、UCR 与 Foxlink 均已将 COMPASS 集成至自身工作流中。
人形机器人移动操作的合成数据生成
移动操作是指移动与操作的协同执行：机器人在移动机身（行走或滚动）的同时，对物体实施动作（抓取、推动或拉动），形成全身协同作业体系。
该工作流通过整合导航与全身控制器（WBC），生成移动与操作协同合作的机器人任务演示数据。借助这一方案，机器人能够执行复杂且连续的任务，例如从桌面抓取物体、穿越空间，再将物体放置到其他位置。
该系统通过随机化桌面抓取与放置位置、目标地点及地面障碍物，实现演示数据多样性。此流程将数据采集重构为“抓取、移动、放置”的分段模式，仅需人类操作演示，即可构建大规模移动操作数据集，进而用于训练人形机器人执行复合任务。
以下展示了运行该增强功能的示例，可在此下载示例输入数据集。
./isaaclab.sh -p \\
scripts/imitation_learning/disjoint_navigation/generate_navigation.py \\
--device cpu \\
--kit_args="--enable isaacsim.replicator.mobility_gen" \\
--task="Isaac-G1-Disjoint-Navigation" \\
--dataset ./datasets/generated_dataset_g1_locomanip.hdf5 \\
--num_runs 1 \\
--lift_step 70 \\
--navigate_step 120 \\
--enable_pinocchio \\
--output_file ./datasets/generated_dataset_g1_navigation.hdf5
该接口灵活性高，用户可根据需要切换不同机器人类型（如人形机器人、移动机械臂），并自由选择对应的控制器。
策略评估框架
在评估机器人已习得技能，如物体操作和空间移动时，如果仅依赖实体硬件，其评估规模将难以扩展。而仿真技术能通过多场景、多任务、多环境的测试，为技能评估提供可扩展的解决方案。
然而，从选取可用于仿真的资产，到搭建并丰富环境多样性，再到统筹协调和分析大规模评估，用户需要在 Isaac Lab 手动整合多个组件，才能实现预期效果。这导致整个搭建过程零散，不仅可扩展性受限、运营成本高昂，还形成了较高的使用门槛。
为解决这一问题，NVIDIA 正与光轮智能共同开发 NVIDIA Isaac Lab – Arena。这是一款用于可扩展仿真实验的开源策略评估框架。借助该框架的 API，开发者无需自行搭建系统，即可简化并执行复杂的大规模评估任务。这意味着开发者既能专注于策略迭代，也能向社区贡献评估方法，进而加速机器人研究领域的研发进程。
该框架提供经过简化的可定制化任务定义，以及适用于指标、评估与多样化的可扩展库。其特色在于借助 Isaac Lab 实现并行化的 GPU 加速评估。同时，能与数据生成、模型训练及部署框架实现互操作，构建无缝衔接的工作流。
在此基础上构建的示例任务库，涵盖了操作、移动及移动操作三个类型。NVIDIA 正与策略开发者、基准测试编写者，以及光轮智能等仿真解决方案提供商开展合作，助力各方在该框架上开展评估工作，同时将评估方法反馈至社区。
针对大规模评估，可借助 NVIDIA OSMO 云原生平台进行工作流编排。该平台能跨本地与云端计算资源，调度并扩展机器人及自主机器的处理流程。Isaac Lab – Arena 即将正式发布。
基础设施支持
Isaac Lab 2.3 现支持搭载 NVIDIA GB10 Grace Blackwell 超级芯片的 NVIDIA RTX PRO Blackwell 服务器与 DGX Spark 系统。无论是 RTX PRO 还是 DGX Spark，均为研究人员提供了卓越平台，可支撑从训练、合成数据生成到机器人学习与仿真等各类机器人开发工作负载的实验、原型开发与运行。
需要注意的是，在 DGX Spark 平台上运行的 Isaac Lab 2.3，暂不支持基于 XR/AVP 的遥操作功能，也不支持 Isaac Lab Mimic 中的模仿学习功能。开发者需为人形机器人环境准备预采集数据；而 Franka 环境则支持键盘、空间鼠标等标准设备。
生态系统应用
全球领先的机器人开发商：Agility Robotics、Boston Dynamics、加速进化、Dexmate、Figure AI、Hexagon、光轮智能、General Robotics、maxon 及 Skild AI，正采用 NVIDIA 库与开放模型，加速机器人技术研发。
开始使用Isaac Lab 2.3
Isaac Lab 2.3 通过三大方向加速机器人学习：增强人形机器人控制能力，扩展遥操作功能以简化数据采集，实现复杂操作与移动数据的自动化生成。
如果想体验 Isaac Lab 2.3 开发者预览版，请访问 GitHub 代码库与技术文档。
如果想深入了解 Isaac Lab 如何将 GPU 原生机器人仿真扩展至大规模多模态学习领域，进而推动机器人研究的新一轮突破，可参阅文档“Isaac Lab：面向多模态机器人学习的 GPU 加速仿真框架”。
更多研究成果，请关注 9 月 27 日至 10 月 2 日在韩国首尔举办的 CoRL 及 Humanoids 会议。
欢迎参加 2025 BEHAVIOR Challenge，这是一项机器人基准测试，旨在测试机器人的推理、运动和操作能力，包含 50 项家务任务和 10,000 个远程操作演示。
若想及时了解最新动态，可订阅我们的新闻资讯，关注 NVIDIA Robotics 在 LinkedIn、Instagram、X 及 Facebook 等平台官方账号。此外，还可浏览 NVIDIA 技术文档，观看 YouTube 频道内容，加入 NVIDIA 开发者机器人论坛。若您希望开启机器人技术探索之旅，可报名参加免费的 NVIDIA 机器人基础课程。
开始使用 NVIDIA Isaac 库与 AI 模型，开发物理 AI 系统。
