边缘计算

NVIDIA Jetson 月度项目:通过声音识别鸟类

根据野生鸟类的外表来识别它是一回事。仅仅根据声音来识别同一只鸟是另一回事。除非你是一个熟练的观鸟者Big Year,通过声音识别鸟类可能相当具有挑战性

德国马尔堡大学的一组数学、计算机科学和生物学研究人员设计了一种快速识别鸟类和监测当地生物多样性的方法。他们使用连接到 NVIDIA 的便携式设备拍摄的录音Jetson Nano Developer Kit.

根据研究人员的说法Bird@Edge project是一个边缘人工智能系统,“基于分布式系统中运行的嵌入式边缘设备,能够对森林中记录的声景进行高效、连续的评估。”要了解更多信息,请参阅Bird@Edge: Bird Species Recognition at the Edge.

这个 Bird @ Edge 项目

使用多个基于 ESP32 的麦克风 (Bird @ Edge 麦克风),研究人员将鸟的声音传输到当地 Bird @ Edge 物种识别站。每个麦克风的 Wi-Fi 半径为 50 米

这种设置部署在当地的森林中,因此研究人员仔细考虑了音频流的 Wi-Fi 传输以及 GPU 性能。该团队确定,他们可以将多达 10 个麦克风连接到一个电台。从这些站点获得的结果随后被传输到后端云,供团队中的生物多样性研究人员进行进一步分析

研究人员 Jonas H ö chst 说:“我们在运行我们的模型的 Jetson Nano GPU 上仍然有一些处理能力。”。“我们还能够为 Jetson Nano 使用定制的低功耗配置文件,这表明 GPU 本身仍有一定的处理能力。”

使用 Bird @ Edge 该项目中,仅凭声音就可以快速识别鸟类。研究人员表示:“与传统方法的几天相比,麦克风记录的鸟鸣与其可视化之间的延迟约为几秒。”

Diagram showing the Bird@Edge system deployment: local Wi-Fi (left) and web frontend (right).
图 1 。这个 Bird @ Edge 该系统捕捉森林中的鸟叫声,并将信息传输到边缘服务器进行分析

Bird @ Edge 系统软件和人工智能

为了根据录音识别和识别鸟类,该团队开发了一个基于EfficientNet-B3 architecture并使用TensorFlow。该模型使用NVIDIA TensorRT并与NVIDIA DeepStream SDK.

这种方法使团队能够以支持 Jetson Nano GPU 上多个直播流的方式构建人工智能应用程序。该算法经过训练,可以识别在马尔堡大学拥有的森林中发现的 82 种鸟类中的任何一种,但如果需要,可以扩展到更多的物种

Jetson Nano 运行 Bird @ Edge 守护进程,负责发现麦克风,以及实例化和运行人工智能处理管道。结果通过蜂窝网络传送到 Bird @ Edge 服务器,并存储在 InfluxDB 数据库中。此连接到Grafana,这样研究人员就可以使用网络界面将数据可视化。

该团队证明了他们的 DNN “优于最先进的BirdNET neural network在几个数据集上,并实现了高达 95.2% 的声景记录平均精度的识别质量。”看见Bird@Edge: Bird Species Recognition at the Edge了解更多详细信息。

该系统还可以识别不太常见的鸟类。 H ö chst 说:“我们目前正在与一位自愿的鸟类学家合作,他正在收集罕见的、因此覆盖较少的鸟类的鸟鸣,这进一步改进了我们的方法。”

Bird @ Edge 系统硬件

这个 Bird @ Edge 该工具基于在分布式系统中运行的嵌入式边缘设备,包括:

  • Bird @ Edge 麦克风:Knowles microphones与兼容ESP32通过蓝牙或 Wi-Fi 进行通信的 SOC ,以及价格合理的电池
  • Bird @ Edge 火车站:从传入流中捕获音频记录,并对部署的每个麦克风执行推断。该电站是一个小型便携式机箱,包括 Jetson Nano 、 Wi-Fi 、调制解调器、电压转换器和一个小型太阳能充电器
  • Bird @ Edge 服务器:录音使用传输Grafana以动态地呈现以视觉方式生成的见解。

鉴于 Bird @ Edge 在森林中建立了发电站,该团队需要确保每个发电站都能高效运行,而无需频繁给电池充电。为了提高能源效率,麦克风和边缘站的硬件进行了协调

该团队能够为该电站创建一个高效的能源配置文件,只需要 3.16 瓦,并且可以在不充电的情况下持续近 2 周。使用连接在电站上的太阳能电池板,它可以连续运行。研究小组发现,即使连接到电台的麦克风数量增加,电台的功耗也不会有太大变化

视频 1 。研究人员讨论 Bird @ Edge 项目

追踪区域生物多样性

研究小组将该项目视为一种更容易追踪区域生物多样性的手段。以前,如果研究人员想了解栖息地的健康状况,他们需要数月乏味的手工转录录音,而他们的结果需要数月的时间来收集、分析和呈现

根据 H ö chst 和他的队友们的工作,世界各地的环境科学家现在可以在几秒钟内看到哪些当地鸟类的存在,并立即了解生态系统的状态

研究人员说:“鸟类对许多生态系统都很重要,因为它们将栖息地、资源和生物过程联系在一起,因此是生态系统健康的重要预警生物指标。”

摘要

我们能期待吗 Bird @ Edge 以便更广泛地提供?根据 H ö chst 的说法,该团队正在考虑如何将他们的系统商业化。他说:“从一个在受控环境中表现良好的手工组装原型,到一个可以在没有定期维护的情况下大量运行的产品,这是一个挑战。”

“然而,我们已经在 VHF 遥测信号自动检测硬件的设计和构建方面积累了经验,并正在为即将进行的大规模研究进行易于构建和稳健的硬件设计。”

此外,自他们的论文首次发布以来,该团队一直在开发一项网络服务,以使广大用户更容易使用录音

H ö chst 解释道:“一方面,这使用户能够使用现有的库存录音机,并将文件上传到我们的云网络服务。”。“另一方面,用户可以收到直接反馈,例如,可以查看上传文件的光谱,手动验证结果,或报告错误分类,以改进底层的机器学习模型。”

额外资源

有关更多详细信息,请访问 NVIDIA 开发者论坛Bird@Edge: Bird Species Recognition at the Edge。中使用的所有软件和硬件组件 Bird @ Edge 项目是开源的,可通过BirdEdge on GitHub.

其他使用人工智能通过声音识别鸟类的项目包括Merlin Bird ID app,适用于 iOS 和 Android 设备。要了解有关以环境为中心的人工智能模型的更多信息,请参阅DIY Urban AI: Researchers Drive Hyper-Local Climate Modeling Movement.

Tags