本期 NVIDIA 机器人研发摘要 (R2D2) 探讨了 NVIDIA Research 针对机器人装配任务提供的多个接触性丰富的操作工作流，以及它们如何通过固定自动化来应对鲁棒性、适应性和可扩展性等关键挑战。
什么是接触密集型操作？
接触性丰富的操作是指涉及机器人与其环境中的物体之间持续或重复物理接触的机器人任务，需要精确控制力和运动。与简单的拾取和放置操作不同，这些任务需要精细交互来管理不确定性下的摩擦、合规性和对齐。
它在 机器人 、 制造 和 汽车 等行业中发挥着关键作用，在这些行业中，插入定位器、合齿轮、螺纹螺栓或组装卡扣配合部件等任务很常见。作为机器人装配的核心能力，具有丰富接触性的操作使机器人能够执行复杂的高精度任务，这对于自动化装配和处理现实世界的可变性至关重要。
NVIDIA 研究工作流程，用于完成具有挑战性的机器人装配任务
由于需要在动态环境中进行精确操作，因此解决机器人装配任务一直具有挑战性。传统上，机器人装配依赖于固定自动化，限制了灵活性。然而，AI、 机器学习 和 机器人仿真 方面的进步使机器人能够处理更复杂的任务。以下适用于机器人装配任务的 NVIDIA Research 工作流程标志着从刚性自动化向更灵活、更可扩展的机器人系统的转变。
- 工厂 ：基于物理性质的快速仿真和学习工具包，用于进行接触丰富的实时交互。
- IndustReal ：一个算法和系统工具包，使机器人能够使用 强化学习 并将其传输到现实世界。
- AutoMate：一种新颖的策略学习框架，用于训练不同几何结构的专家和多面机器人装配策略。
- MatchMaker：一种新型工作流，用于使用生成式 AI 自动生成多样化的仿真就绪型装配资产对。
- SRSA：用于检索现有技能的框架，以便对新的机器人装配任务进行微调。
- TacSL ：基于 GPU 的视觉触觉传感器仿真和学习库。
- FORGE：零样本仿真到现实转换的强化学习策略，使用力测量作为输入。
机器人装配领域的基础性进展：Factory、IndustReal 和 Automate
Factory 是一个基于 GPU 的仿真框架，使用 SDF 碰撞、接触归约和 Gauss-Seidel 求解器，实时模拟接触丰富的交互 (长期以来一直被认为是难以处理的计算) 取得了突破。如图 1 所示，NVIDIA Isaac Lab 现已提供这些环境。基于此，在仿真感知策略更新、基于 SDF 的奖励、基于采样的课程和策略级行动集成商等创新的推动下，IndustReal 的发布使装配技能从仿真到现实世界的零样本转移达到了超过 600 次试验的 83% 到 99% 的成功率。它在 Franka Panda 和 UR10e 上进行了测试，为这些方法的实际工业应用打开了大门。
AutoMate 推出了首个基于仿真的框架，通过将强化学习（reinforcement learning）与模仿学习（imitation learning）相结合来解决各种具有挑战性的装配任务，从而大规模实现零样本仿真到现实的传输（zero-shot sim-to-real transfer），从而扩展了这些工作。它提供 100 种兼容仿真的组装资产、用于解决大约 80 项任务的专家策略，以及通过蒸馏训练（distillation）和微调（fine-tuning）来处理 20 项任务的通用策略，所有这些策略的成功率都达到了 ~80%。
值得注意的是，这两种策略都展示了零样本仿真到现实的传输，有时甚至超过了模拟性能。通过超过 5M 次模拟试验和 500 次真实试验对 AutoMate 进行了评估，示例如图 2 所示。专家策略的训练采用了按拆组装、强化学习与模仿学习和 Dynamic Time Warping (DTW) 的新组合。多面手策略使用 PointNet 自动编码器进行几何表示，从专家策略中提取知识，并利用基于 RL 的微调。
借助先进的学习算法和自动化技术，探索 Robotic Assembly 领域的新前沿
基于 Factory 和 IndustReal 的突破，该团队利用自动化资产生成、技能检索和适应、强化和模仿学习以及不同的感官输入，解决了更复杂、更多样的装配挑战，从而突破了接触性丰富的操作的界限。以下各节将重点介绍下一波创新浪潮。
MatchMaker：用于机器人装配的自动化资产生成
MatchMaker 在 ICRA 2025 上亮相，是一种新颖的生成式工作流，可自动生成多样化且与仿真兼容的装配资产对，以促进学习装配技能。它通过生成无渗透、几何匹配的部件，解决了手动管护资产的挑战。MatchMaker 接受三种可能的输入 (无输入、单个 asset 或 assembly 对) ，并输出具有可调整 clearance 的仿真就绪型 asset 对。
主要贡献：
- 自动转换 ：将不兼容的资产对转换为与仿真兼容的模型。
- 素材对生成：为新的装配任务从单个素材创建几何匹配部件。
- 逼真的接触交互 ：根据用户定义的间隙对接触表面进行腐蚀，确保逼真的部件交互。
MatchMaker 分三个阶段生成装配体对，作为形状完成任务，如 Figure 3 所示：
- 接触面检测 ：VLM (GPT-4o) 可识别资产类型、装配方向和轴，以检测接触面。
- 形状完成 ：3D 生成模型完成这对作品的第二个素材。
- 间隙规范 ：接触面受到腐蚀，以避免相互渗透，并确保与模拟器兼容。
图 4 显示了生成的资产示例。MatchMaker 已在模拟和真实环境中得到验证，证明了其在开发稳健的装配策略方面的有效性。
SRSA：Skill retrieval 和 adaptation for 机器人装配任务
SRSA ，其特色是 ICLR 2025 聚焦 是一个能够高效利用数据的框架 机器人学习 通过重复使用和调整组装任务库中的预训练技能。它根据几何图形、动态、操作和预测成功为新任务选择最合适的现有策略，然后针对目标任务对其进行微调。
SRSA 在提供更好的性能、效率和稳定性的同时，还支持持续学习，优于从零开始学习 (例如，使用 AutoMate 技术进行学习) 。它在新任务上的成功率提高了 19%，所需样本数量减少了 2.4 倍，在现实世界测试中的平均成功率达到了 90%。
TacSL：一个用于视觉触觉传感器仿真和学习的库
TacSL (taxel) 是一个基于 GPU 的视觉触觉图像加速模拟库 (即热门机器人触摸传感器的输出) 和相应的接触力场，比之前的先进技术快 200 多倍。
对于人类而言，触觉是我们理解世界并与之互动的关键部分，帮助我们感受压力、纹理和形状。在机器人中，tactile sensing 是指使用特殊的 touch sensors 来检测与物体的接触，这对于拾取物品、组装部件或调整抓握等任务尤其有用。尽管 tactile sensing 具有价值，但与 visual sensing 相比，机器人中的 tactile sensing 仍未得到充分利用，因为很难理解数据、逼真地模拟触觉并训练机器人根据数据采取行动。
TacSL 通过适用于视觉触觉传感器和学习算法的快速 GPU 加速触觉模拟模块来应对这些长期挑战。它使机器人能够通过逼真的触摸反馈在仿真环境中学习接触性丰富的任务，例如固定放置。TacSL 支持大规模训练和成功的 sim-to-real 转移 (成功率为 83% 到 91%) ，使基于触摸的学习更加实用和可扩展性。
视频 1。使用不同的 socket 位置、peg-in-hand 位置和 peg-in-hand 方向执行插入策略，展示了对严重照明变化的鲁棒性
FORGE：force-guided 探索，在不确定的情况下实现强大的接触丰富的操作
FORGE 引入了一种方法，可实现强化学习策略的零样本仿真到现实的转换，该策略利用力测量作为输入。当部分姿势存在重大不确定性，或者任务需要高精度和准确性时，这种方法非常重要。
主要特性：
- 力观察输入：自适应调节操作期间施加的力度。
- 力值机制：限制最大力度，以保护易损部件。
- 动态随机化方案 ：在训练期间改变机器人的动力学和部件属性，以实现稳健的现实世界泛化。
- 成功预测器：实现任务自动完成，而非依赖固定持续时间的执行。
借助这些功能，FORGE 支持安全探索和成功执行，即使位置估计误差高达 5 毫米。这种能力表现在多级行星齿轮系统的组装上，如图 8 所示。这项任务需要三种装配技能：插入、齿轮 meshing，以及 nut-and-bolt 螺纹。
FORGE 可处理卡扣拟合插入等强制任务，并在所需力未知时使用成功预测自动调整力极限。这表明它能够以高精度管理复杂任务，并适应现实世界的不确定性。
总结
机器人组装非常复杂，需要精确的接触和现实世界的适应性。本文重点介绍了推动 sim-to-real 传输、触觉和力感知以及自动资产生成的研究，为实现更灵活、适应性更强的自动化铺平道路。
本文是 NVIDIA 机器人研发摘要 (R2D2) 系列文章的一部分，旨在帮助开发者更深入地了解 NVIDIA 研究团队 在 物理 AI 和机器人应用方面的 SOTA 突破。
订阅 时事通讯 并在 YouTube 、 Discord 和 开发者论坛 上关注 NVIDIA Robotics，随时了解最新信息。
要开始您的机器人开发之旅，请注册免费的 NVIDIA 机器人开发基础课程 。
致谢
感谢 Abhishek Gupta、Adam Moravanszky、Ankur Handa、Bingjie Tang、Bowen Wen、Chad Kessens、Chuang Gan、Dieter Fox、Fabio Ramos、Gaurav S. Sukhatme、Gavriel State、Iretiayo Akinola、Jan Carius、Jie Xu、Kaichun Mo、Karl Van Wyk、Kier Storey、Lukasz Wawrzyniak、Michael A. Lin、Michael Noseworthy、Michelle Lu、Miles Macklin、Nicholas Roy、Philipp Reist、Yashraj Narang、Yian Wang、Yijie Guo、Yunrong Guo.
