仿真是机器人学习新技能的重要工具。这些技能包括感知（从相机图像中理解世界）、计划（制定解决问题的一系列行动）和控制（生成电机命令以改变机器人的位置和方向）
机器人装配在汽车、航空航天、电子和医疗器械行业无处不在。设置机器人执行装配任务是一个耗时且昂贵的过程，需要一个团队来设计机器人的轨迹并仔细约束其周围环境
在机器人的其他领域，仿真已经成为不可或缺的工具，尤其是在人工智能的发展中。然而，机器人装配涉及几何复杂、公差严格的零件之间的高精度接触。长期以来，模拟这些富含接触的交互一直被认为是计算上难以解决的问题。
随着最近基于 NVIDIA advancing robotic assembly 的发展，比实时模拟更快。这些高速模拟使得能够在强化学习（ RL ）中使用强大的、最先进的技术。有了 RL ，虚拟机器人可以探索模拟环境，获得多年的经验，并通过智能试错学习有用的技能。将 RL 用于机器人装配最大限度地减少了对人类专业知识的需求，提高了对变化的鲁棒性，并减少了硬件磨损。术语模拟到真实参考将技能从模拟转移到现实世界。
将 RL 用于机器人装配的最大挑战之一是，机器人在模拟中学习的技能通常不能很好地转移到真实世界的机器人身上。模拟器和现实世界之间的物理、电机信号和传感器信号的细微差异导致了这个问题。此外，现实世界中的机器人可能会遇到模拟器中从未见过的场景。这些问题统称为现实差距。
什么是 IndustReal ？
为了将 RL 用于具有挑战性的装配任务并解决现实差距，我们开发了 IndustReal 。 IndustReal 是一套算法、系统和工具，用于机器人在模拟中解决装配任务，并将这些功能转移到现实世界
IndustReal 的主要贡献包括：
- 一组用于模拟机器人的算法，用于解决具有 RL 的复杂装配任务。
- 一种在现实世界中部署时解决现实差距并稳定所学技能的方法。
- 一个真实世界的机器人系统，从端到端执行模拟训练的装配技能的模拟到真实的转移。
- 用于研究人员和工程师复制系统的硬件和软件工具包。
- IndustRealKit 是一套 3D 打印的资产 CAD 模型，灵感来自NIST Task Board 1，机器人装配的既定基准。
- IndustRealLib 是一个轻量级的 Python 库，它部署了在NVIDIA Isaac Gym模拟现实世界中的 Franka Emika Panda 机器人手臂。
训练算法和部署方法
在这项工作中，我们提出了三种算法来帮助在模拟中使用 RL 学习装配技能。我们还提出了一种在真实世界的机器人上执行技能的部署方法
模拟感知策略更新
像这样的机器人模拟器NVIDIA Isaac Gym和NVIDIA Isaac Sim模拟真实世界的物理，同时满足许多物理约束——最重要的是，物体不能相互重叠，或者，互相渗透。在大多数模拟器中，对象之间的小交互是不可避免的，尤其是在实时执行时
我们介绍模拟感知策略更新其向仿真机器人提供仿真预测何时可靠或何时不可靠的知识。具体而言，在 SAPU 中,我们在中实现了一个基于 GPU 的模块NVIDIA Warp它在机器人学习如何使用 RL 组装零件时检查相互渗透
当穿插较小时，我们对机器人的模拟体验进行更多加权，而当穿插较大时，我们则较少加权。这种策略可以防止模拟机器人利用不准确的物理来解决任务，这将导致它学习不太可能转移到现实世界的技能。
签名距离场奖励
为了用 RL 解决任务，必须定义奖励信号（例如测量机器人在解决任务方面取得的进展）。然而，在装配过程中为几何复杂零件的对准定义奖励信号是具有挑战性的。
我们介绍一个有符号距离场（ SDF ）奖励以测量在装配过程中模拟零件的对齐程度。 SDF 是一种数学函数，可以获取一个对象上的点，并计算到另一个对象表面的最短距离。它提供了一种自然而通用的方式来描述零件之间的对齐，即使它们是高度对称或不对称的
在 SDF 奖励中，我们将奖励信号定义为装配过程中零件的当前位置和目标位置之间的 SDF 距离。
基于抽样的课程
课程学习是 RL 中一种既定的方法，用于解决涉及许多个人步骤或动作的问题；随着机器人的学习，任务的难度逐渐增加。
在我们的组装任务中，机器人首先解决简单的组装问题（即零件部分组装的地方），然后再解决更难的问题（即部件拆卸的地方）
随着零件之间的初始接合逐渐减少，出现了零件不再开始接触的点。这种难度的突然增加可能导致性能崩溃，因为机器人的知识对部分组装的配置过于专业化。
我们介绍一个抽样课程使模拟机器人逐步学习复杂的装配任务。我们要求机器人在课程的所有阶段解决整个难度范围内的装配问题。然而，我们逐渐从问题分布中去除了最简单的问题。在课程的最后阶段，各部分从未接触过。请参见以下可视化。
政策级行动集成器
在 RL 最常见的机器人应用中，机器人生成的动作是对其姿势（即其位置和方向）的增量调整。这些增量应用于机器人的当前姿势，以产生瞬时目标姿势。对于现实世界中的机器人，由于物理机器人的复杂性，这种策略可能会导致机器人的最终姿态与其最终目标姿态之间的差异
我们还建议政策级行动集成器，一种简单的算法，当在现实世界的机器人上部署所学技能时，可以减少稳态（即长期）错误。我们将增量调整应用于先前的瞬时目标姿态，以产生新的瞬时目标姿势
在数学上（类似于经典 PID 控制器的积分项），该策略生成瞬时目标姿态，该姿态是初始姿态和机器人随时间产生的动作的总和。即使在物理复杂的情况下，这项技术也可以最大限度地减少机器人的最终姿态和最终目标姿态之间的误差。
我们比较了标准（标称）策略、我们的 PLAI 算法和经典 PID 控制器在到达任务上的性能，其中机器人试图移动到目标位置。请参见以下可视化。
系统和工具
在 IndustReal 进行的真实世界实验所使用的设置包括一个手上安装有 Intel RealSense D435 相机的 Franka Emika Panda 机械臂和一个带零件的组装平台。
IndustReal 提供硬件（ IndustRealKit ）和软件（ IndustRealLib ）用于再现本文中提出的系统。
IndustRealKit 包含本工作中使用的所有零件的 3D 可打印 20 部分 CAD 模型。这些型号配有六个销钉固定器、六个销钉插座、三个齿轮、一个齿轮底座（带三个齿轮轴）以及四个 NEMA 连接器和插座固定器，它们是美国使用的标准插头和电源插座
采购清单包括 17 个零件：六个金属钉（来自 NIST 基准）、四个 NEMA 连接器和插座、一个光学平台和紧固件。
IndustRealLib 是一个轻量级库，包含用于将通过 RL 在模拟中学习的技能部署到真实世界的机械臂上的代码。具体来说，我们为用户提供脚本以进行部署控制策略（即，将传感器信号映射到机器人动作的神经网络）在 NVIDIA Isaac 健身房模拟器中训练，快速将其应用到 Franka Emika Panda 机器人上。
未来方向
IndustReal 展示了在机器人装配任务中充分利用模拟潜力的途径。随着模拟变得更加准确和高效，以及开发出更多的模拟到真实的转移技术，我们预见到将这项工作扩展到制造业的其他任务（如螺钉紧固、电缆布线和焊接）的许多可能性。有理由相信，有一天，每一个先进的工业制造机器人都将使用这些技术进行模拟训练，以便无缝和可扩展地转移到现实世界。
我们接下来的步骤是扩展系统，以包括更多的对象、装配任务和复杂的环境。我们还致力于开发更多的模拟到真实的技术，以更低的成本、更高的可靠性和有保证的安全性顺利转移所学技能。
开始使用 IndutRel
- 访问IndustReal project page，获取论文和摘要视频的链接。敬请关注即将推出的 IndustralKit 和 IndustralLib 。
- 下载单机版NVIDIA Isaac Gym Preview Release和NVIDIA Isaac Gym Environments。这包括NVIDIA Omniverse factory environments这是在 Industrial 培训装配技能的基础。
- 下载下一代NVIDIA Isaac Sim powered by Omniverse.
论文作者唐炳杰、林、阿基诺拉、汉达、苏哈特梅、拉莫斯、福克斯和纳朗将介绍他们的研究成果IndustReal: Transferring Industrial Assembly Tasks from Simulation to Reality“在Robotics: Science and Systems (RSS)会议将于 2023 年 7 月举行
