我们宣布与Intrinsic.ai 合作，学习工业机器人任务的基础技能模型。
工业制造中的许多挑选和放置问题仍然由人工操作员完成，因为为这些任务编程机器人仍然具有挑战性。例如，在机器维护环境中，作为复杂的多步骤零件制造过程的一部分，协作机器人可以用来从料仓中挑选原材料零件，并将其送入数控或弯曲机。
这样的机器人可以通过编程基础模型，从而实现对物体零件、机器人实施例和真实世界工业环境方面的显著可变性的推广。
我们利用 NVIDIA Isaac 操纵器 生成抓取姿势和机器人运动，首先在 NVIDIA Isaac Sim 中进行模拟，然后在现实世界中使用 固有流状态 实现。
感知也是通过 Flowstate 完成的，在 Flowstate 中，我们使用对象姿态估计包来获得杂乱场景中可抓取对象的位置和方向。
在这篇文章中，我们在一个具有挑战性的智能取放应用程序上演示了该系统：一个机器人在杂乱的垃圾箱中抓取金属零件，并以精确的放置姿势将其分割。这些薄金属片物体很难感知，因为商品深度相机难以处理镜面。它们也很难操作，因为抓握需要吸盘而不是手指。
用于抓取和运动生成的 Isaac 操纵器
生成 合成数据 对于真空抓取，我们使用了金属片和吸盘的 CAD 模型。在 机器人仿真 中，我们可以为每个物体尝试数千次抓取，并找到最优的解决方案。
良好的吸盘需要密封，并避免出现在金属板上的孔。我们还希望避免金属板在运输过程中的任何摆动，这也是我们在模拟中确保的。
在我们生成了一组密集的抓取姿势后，我们使用对象姿势信息将它们转换为机器人框架。然后，我们利用 NVIDIA cuMotion（由 cuRobo）提供的 CUDA 加速运动生成库，生成无碰撞轨迹，以移动机器人并实现这些目标抓取姿势中的一个。
其中一些姿势可能在运动学上无法达到，或者可能发生碰撞，这两种姿势都可以通过 cuRobo 进行同时规划轨迹。作为参考，cuRobo 可以在 NVIDIA RTX 4090 上快速生成运动计划，仅需 30 毫秒。
Isaac Sim 评价
我们首先在 Isaac Sim 中评估了我们的管道。模拟机器人来源于配有吸盘的定制 Kuka K10 机械臂的 CAD 文件。对象被随机定位，以模拟真实世界的垃圾箱拾取场景。
代替对象检测器，直接从模拟器获取对象姿态信息。我们利用了关于物体类型的地面实况信息，并在给定物体初始姿态的情况下确定了最佳可达抓取。
具有内在流状态的真实世界执行
我们的工作流程直接从模拟转移到现实世界的工作单元。真正的硬件设置包括一个外部校准的头顶多摄像头系统和一个配备有吸盘的 Kuka K10 机械臂。
我们在中使用了原生对象姿态估计包 固有流状态，以检测片状金属物体的位置。然后，我们使用 Isaac Manipulator 来计算对象的抓取位置，并计划一个无碰撞的轨迹来执行抓取任务。
最后，我们通过在机械臂上的位置控制器执行了这个机器人轨迹 Flowstate。总的来说，在演示中我们实现了大约 8 秒/次的循环时间。
展望未来
我们计划将我们的框架扩展到更先进的智能取放形式，如机器维护。在这个例子中，机器人必须将抓取的物体精确地放置在机器进行下游处理的位置或固定装置上。
欲了解更多信息，请参阅 Isaac 操纵器 以及来自 Intrinsic 的公告：用人工智能解锁工业自动化的新价值。
