计算机视觉/视频分析

借助 NVIDIA Isaac Manipulator 和 Vention Machine 提高工业机器人的灵活性 Motion AI

随着工业自动化的加速,工厂越来越依赖先进的机器人技术来提高生产力和运营弹性。机器人的成功部署取决于精确的运动规划、准确的空间感知和可靠的避障等功能。支持 AI 的机器人和软件定义的自动化有助于提高工厂的自主性、可扩展性和弹性。高性能机器人软件对于现代制造业至关重要。

本博客探讨了 NVIDIA Isaac Manipulator 中的 cuMotion、nvblox、FoundationPose 和 FoundationStereo 软件库和 AI 模型如何显著优化支持 AI 的机械臂(也称为 Manipulator)的功能。这些先进的 GPU 加速工具可提供实时运动规划、精确的环境映射和准确的立体感知,使制造商能够以最小的集成复杂性快速部署复杂的自动化解决方案。

使用 NVIDIA Isaac Manipulator 优化机器人机械手

NVIDIA Isaac Manipulator 是一款全面的软件解决方案,可利用 NVIDIA 先进的 GPU 加速软件工具,简化高级机器人机械手功能的部署。它提供了一种使用以下工具在工业工作流程中实现复杂机器人功能的简化方法:

  • cuMotion:GPU 加速的运动规划
    cuMotion 提供 GPU 驱动的强大运动规划、轨迹生成和反向运动学。cuMotion 可显著加速实时机械臂操作,在杂乱的环境中实现快速且无碰撞的轨迹执行。这种能力可确保增强的性能和可靠性,这对于精度和效率至关重要的工业机器人应用至关重要。
  • nvblox:动态实时 3D 映射
    nvblox 为机器人机械手提供实时 3D 映射功能,从而实现动态空间感知和精确的环境理解。这使机器人能够准确感知和导航复杂、不断变化的环境,提高避障能力,并确保安全的操作工作流程。
  • FoundationPose:可靠、可扩展的 6D 姿态估计
    FoundationPose 使用 RGB-D 输入提供先进的 6D 姿态估计功能,对照明条件、反射和各种物体几何图形具有出色的鲁棒性。与可以在大量互联网文本上进行训练的语言模型不同,物理 AI 模型训练面临的最大挑战之一是缺乏现实世界的数据。为了克服这一问题,我们的团队在一台计算机上使用 Isaac Sim 生成了 500 多万张合成图像,然后在几天内使用 V100 GPU 在第二台计算机上训练了 FoundationPose。结果是零样本模型,无需训练或微调,可泛化到新对象,并且开箱即用。
  • FoundationStereo:准确的立体感知
    FoundationStereo 提供强大的立体视觉功能,这对于高精度深度估计至关重要。精确感知有助于实现与周围环境的可靠交互,使机械手即使在复杂、杂乱或动态的工业环境中也能准确执行任务。FoundationStereo 在大型合成数据集上进行训练,即使使用Intel RealSense等经济实惠的传感器,也能显著提高深度质量。其表现在 CVPR 2025 上获得了最佳论文提名,成为仅有的 14 篇获得认可的论文之一,提交的论文超过 10,000 篇。
The image contrasts two sets of photos: one showing a clear depth map of a container with parts using FoundationStereo and another showing a noisy, less defined depth map without it.
图 1。FoundationStereo 可增强深度感知

Vention MachineMotion AI

Vention 的 MachineMotion AI 是一款先进的自动化控制器,旨在将 AI 驱动的机器人技术直接无缝集成到工业工作流中。MachineMotion AI 由 NVIDIA Jetson Orin 和内置 cellular 连接提供动力支持,可实现机器人单元的快速部署、高效边缘计算和远程操作,从而更大限度地降低基础设施要求和复杂性。

MachineMotion AI 的主要应用包括:

  • 基于边缘的机器人拾取和放置
    MachineMotion AI 利用 NVIDIA Jetson Orin 模组的强大板载边缘处理功能,直接在机器人单元内实现实时物体检测和定位。这可显著降低延迟,并消除对外部处理资源的依赖。
  • 远程诊断和监控
    MachineMotion AI 利用内置蜂窝连接,使工程师能够远程监控机器人性能、执行诊断并更新软件组件,而无需现场干预。
  • 灵活的装配线
    MachineMotion AI 凭借 AI 直观的低代码软件界面和 GPU 加速的运动规划功能 (由在 NVIDIA Jetson Orin 平台上运行的 NVIDIA Isaac Manipulator 提供) ,使制造商能够快速重新配置机器人单元以执行各种任务。这种灵活性可确保生产线能够快速适应不断变化的产品规格和市场需求。

通过利用 NVIDIA Jetson Orin,MachineMotion AI 简化并加速了可扩展、可靠的 AI 驱动机器人系统的部署。它显著增强了 NVIDIA Isaac 的软件功能,并支持敏捷的工业自动化策略。

系统架构

机器人部署的系统架构将 NVIDIA Isaac Manipulator 与 Vention 的 MachineMotion AI 硬件集成到工业机器人拾放场景中。此架构由三个核心层组成,可协同提供高性能的实时自动化:

  • 感知层
    深度感知摄像头捕获 RGB-D 输入,用于物体检测和姿态估计。NVIDIA FoundationPose 可加速这些感知任务,并直接在 NVIDIA Jetson Orin 硬件上执行这些任务,从而提供响应迅速且准确的环境意识。在使用 Intel RealSense 等低成本传感器时,FoundationStereo 可以基于立体图像显著提高深度质量。
  • 规划和控制层
    cuMotion 利用姿态数据来计算无碰撞运动轨迹,并解决机械臂的反向运动学。GPU 加速架构可确保动态工业环境中的低延迟、流畅和精确的运动规划。
  • 驱动和边缘控制层
    Vention 的 MachineMotion AI 充当边缘控制器,使用 cuMotion 生成运动轨迹。它与机器人、执行器、传感器和网络通信层交互,在生产单元层面管理实时机器人操作,并内置远程诊断和更新支持。

这种模块化架构可实现灵活且可扩展的工业自动化,利用 GPU 加速和边缘控制在要求严苛的生产环境中提供强大的性能。

A diagram showing the workflow with the Isaac Manipulator packages
图 2。高级工作流

随机箱拣货系统

此集成系统的一个典型用例是工业随机垃圾桶拣货应用,展示了 NVIDIA Isaac Manipulator 和 Vention 的 MachineMotion AI 控制器的综合优势:

  • 物体姿态估计
    FoundationPose 处理 RGB-D 数据以估计物体位置和方向,从而实现精确的机器人操作。
  • 轨迹规划和执行
    cuMotion 接收物体位置数据,并快速计算经过优化的无碰撞轨迹。Vention 的 MachineMotion AI 控制器将这些轨迹流式传输到机器人控制器以执行,从而实现精确可靠的机械臂运动,以抓取和重新定位物品。

这种集成式方法可提供实时感知和运动规划性能,非常适合工业自动化环境中随机箱子拣货任务固有的复杂性和可变性。

图 3。机械臂通过 cuMotion 演示箱子拾取和防撞

后续步骤

将 NVIDIA Isaac Manipulator 与 Vention 的 MachineMotion AI 集成,为在工业环境中部署 AI 驱动的机器人提供了一个强大而实用的框架。这种组合解决方案在边缘利用 GPU 加速的感知和实时运动规划。它可实现灵活、高性能的自动化,满足现代制造环境不断变化的需求。

此集成的优势包括:

  • 实时性能
    通过 NVIDIA Jetson 平台实现的 GPU 加速可确保低延迟,从而在动态和苛刻的条件下实现响应灵敏的感知和精确的机器人操作。
  • 易于部署
    MachineMotion AI 简化了高级机器人功能的集成和可扩展性,降低了复杂性并缩短了工业团队的设置时间。
  • 远程功能
    凭借内置的蜂窝连接,MachineMotion AI 可实现可靠的远程监控、诊断和软件更新,最大限度地减少停机时间并实现持续的系统优化。

想要构建或扩展类似解决方案的制造商和开发者可以先探索 NVIDIA Isaac Manipulator 的功能,并参考 Vention 的 MachineMotion AI 文档

随着 AI 驱动的机器人技术不断发展,此集成堆栈为提高适应性、自主性和效率奠定了基础,为智能自动化在各行各业的广泛应用铺平道路。

订阅我们的时事通讯并在 LinkedIn、Instagram、X 和 Facebook 上关注 NVIDIA Robotics,随时了解最新动态。探索 NVIDIA 文档YouTube 频道,并加入 NVIDIA Developer Robotics 论坛要开启您的机器人开发之旅,请立即注册我们的免费 NVIDIA Robotics Fundamentals 课程。

 

 

标签