GTC 大会火热进行中!别错过 NVIDIA CEO 黄仁勋的最新发布,以及 AI 和加速计算的必听会议。
机器人

Jetson 本月最佳项目:利用预训练模型探索人机交互

他们说“模仿是最真诚的恭维。”嗯,在波兰开发者托马斯托马内克的机器人项目中,模仿或模仿是他的机器人马里奥拉的目标。

在此最新版本中 Jetson 当月最佳项目 , Tomanek 开发了一个时髦的小机器人,使用预训练的机器学习模型,使人机交互变得生动。该机器人的主控制器是 Jetson Nano 2GB .

使用 PoseNet models 使 Mariola 能够识别人的姿势和动作,然后使用这些模型使机器人模拟或复制这些人类动作。正如托马内克所指出的那样,“使用 Jetson 纳米使实现这一目标变得非常简单和直接。”

开发者在 YouTube 视频中提供了关于 Mariola 的概述:

视频 1 。带有 Jetson Nano 的 Mariola

正如你们所见,马里奥拉能够用轮子驾驶,移动手臂,转动头部,做鬼脸。嵌入机器人身体每个部分的单独 Arduino 控制器可以实现这些动作。伺服电机的单独控制器控制手臂和头部的运动。该机器人有四个机械轮,因此可以全方位移动。

马里奥拉的面部表情使用由 Neopix LED 构建的单独微控制器、一组 每只眼睛两个 和一组 八张嘴巴 。雏菊链在一起,它们由一个单独的 Arduino 纳米板驱动,该板管理颜色变化和眨眼的外观。

根据 Tomanek 的说法, Mariola 构建的一个关键思想是将每个子系统作为一个单独的单元,并让它们通过内部总线进行通信。有一个 UART / BT 接收器 Arduino nano ,它的作用是从用户那里获取命令,解码它需要去的子载波,并通过 CAN BUS 发送。

每个子控制器从 CAN 总线获取其命令,并为车轮、伺服(手和头部移动)或面部(新像素)创建相应的动作。

Tomanek 在 NVIDIA 开发者论坛 中指出,机器人后面的 Jetson 纳米级是大脑,通过 resnet18 身体运行自定义的 Python 脚本,当它检测到人的关节时,返回关节的平面坐标。通过 IK 模型重新计算这些坐标以获得伺服位置,结果通过 UART 发送给主 Arduino 。剩下的动作由阿杜伊诺人完成。

目前,马里奥拉将一次检测并模仿一个人的动作。如果机器人看不到任何人,或者检测到多人,则不会发生任何动作。

为什么 Tomanek 为这个项目选择了[of the Jetson 纳米?正如他所指出的,“ Jetson 可用的预训练模型的潜在威力,以及 Jetson Nano 的可负担性,让我使用 2GB 版本来学习和了解它的工作原理。”

“这对我来说是一个正在进行的工作和学习项目,” Tomanek notes 。虽然马里奥拉没有明确的目标,但他认为这是一个实验和学习使用这项技术可以实现什么的机会。“到目前为止,最好的结果是,通过机器学习模型驱动这些行为,这个小机器人具有某种自主性。”

当人们第一次与马里奥拉互动时,托马内克( Tomanek ) says “它总是会产生微笑。这是人机互动中一个非常有趣的方面。”很容易理解为什么会发生这种情况。只要看看马里奥拉的表演——我们不敢让你笑

视频 2 。 Arduino 和 Jetson Nano 机器人项目演示

Mariola project 仍在积极开发中,并定期进行修改和更新。正如托马内克在他的概述视频 中总结的那样,“我们将看到未来会带来什么。”

有关该项目的更多详细信息,请参阅 GitHub repository

 

Tags