在过去的几十年里，随着经济发展和城市化进程的推进，废弃物产生率呈上升趋势。废弃物生产量的增加给全球政府带来了巨大的挑战，尤其是在高效处理和管理方面。尽管在一些国家 地区实施了废弃物分类系统，但由于污染问题，大部分废弃物最终仍会被填埋或燃烧，从而导致可回收材料的不可持续浪费。
本文介绍了边缘计算和计算机视觉用于检测垃圾收集卡车中的塑料袋污染的解决方案。该解决方案使用 NVIDIA Metropolis 应用框架，包括 NVIDIA Jetson, NVIDIA TAO 工具套件 以及 NVIDIA DeepStream SDK.
废弃物管理实践必须改变的原因
填埋和燃烧等传统的废弃物管理方法不仅无法解决日益加剧的废弃物问题，而且还会带来严重的环境和健康风险。为了确保可持续的未来，国家 地区日益需要加强废弃物回收和管理实践。
在本地垃圾管理领域，家庭垃圾中的污染是一个巨大的障碍，严重阻碍了回收过程。这一障碍在地方政府的雷达上非常明显，促使人们采用垃圾桶标记和垃圾审计等创新策略来正面解决问题，并收集基本的污染相关数据，以便做出明智的决策。
然而，垃圾桶标记的普遍做法在很大程度上依赖于人工干预，通常由垃圾收集卡车司机执行，他们使用车载摄像头直观地检查垃圾容器。遗憾的是，这种劳动密集型方法不仅给驾驶员的能力带来压力，而且还引入了主体性和潜在的数据差异，需要额外的分析和时间资源。
变革废弃物管理实践以及提高效率和可持续性的迫切性从未像现在这样明显。为此，开发利用尖端技术的自动化废弃物污染检测系统成为了一项关键需求。
边缘计算解决方案
为帮助解决废弃物污染问题，我们基于 NVIDIA Jetson 和 NVIDIA Metropolis 框架开发了边缘计算视频分析解决方案，并采用了以下新技术：
- 计算机视觉
- 智能视频分析
- 边缘计算
- AI
该拟议系统基于以下理念：从卡车漏斗中捕获垃圾视频，使用 NVIDIA Jetson 边缘 AI 平台处理垃圾以检测塑料袋污染，并存储与污染相关的信息以进行进一步分析。YOLOv4 深度学习模型使用我们的 Remondis 污染数据集 (RCD) 进行训练，并使用 NVIDIA DeepStream SDK.
Remondis 污染数据集
训练用于计算机视觉任务的卷积神经网络 (CNN) 模型需要包含相关图像的大量数据集。然而，垃圾污染检测问题仍未得到充分探索，尤其是在现实世界实用程序的复杂背景下。大多数现有研究通过使用仅包含一种污染物的直接数据(通常使用高分辨率视觉效果)来过度简化这一问题。遗憾的是，这些模型在处理污染与各种其他垃圾成分并存的真实场景方面表现出局限性，这些场景伴随着具有挑战性的照明情况和图像质量降低。
为此，我们率先推出了 RCD，这是一种根据回收公司 Remondis 的历史记录精心策划的新型训练数据集。该数据集展示了捕获塑料袋污染实例的图像，提供了各种照明条件、捕获角度和低分辨率，对真实世界的复杂性进行了更具代表性的描述。
最终数据集包含 1125 个样本(968 个用于训练，157 个用于验证)，共包含 1851 个 bbox 标注(1588 个用于训练，263 个用于验证)。图 1 显示了 RCD 中的一些标注样本。
系统开发
我们开发了一种自动化解决方案，用于检测垃圾卡车中的塑料袋污染，使用板载模拟摄像头处理图像，并利用 NVIDIA 加速计算部署计算机视觉模型。图 2 说明了这一概念。
开发的系统包括：
- 安装在卡车上的模拟摄像头 (Mitsubishi C4010) 用于捕获从垃圾桶收集垃圾的卡车斗车。
- NVIDIA Jetson TX2 使用经过训练的计算机视觉模型处理和推理废弃物图像。
- 计算机视觉模型(使用 CSPDarkNet 的 YOLOv4)用于检测图像中的塑料袋污染。
使用带有 CSPDarkNet_tiny 主干的 YOLOv4 模型进行塑料袋检测。使用 NVIDIA TAO Toolkit 由 Python、TensorFlow 和 Keras 提供支持。NVIDIA DGX 平台 用于基于 RCD 中的图像训练模型。
开发拟议解决方案时采用了分三阶段的方法(图 3)：
第一阶段：数据准备
- 原始数据集取自 Remondis 历史记录和在线来源。
- 对收集的数据进行处理和筛选，以识别潜在的训练候选对象。
- 通过使用 LabelImg 软件绘制边界框，为处理后的数据集标记为塑料袋。
第二阶段：模型训练
- 从现有的模型 Zoo 中选择合适的模型进行训练。
- NVIDIA TAO 工具套件用于训练用于检测塑料袋污染的模型。
- 训练性能受到密切监控，以确保正常的训练过程。
阶段 III：测试和验证
- 训练好的模型导出为 NVIDIA TensorRT 并部署在 NVIDIA Jetson TX2 上。
- 硬件性能已在 GPU 使用情况、温度、CPU 使用情况和 FPS 方面进行验证。
- 我们在现场部署了硬件，并收集了其他数据来微调模型。
经过训练的最佳模型(使用 CSPDarkNet_tiny background 的 YOLOv4)导出为 TensorRT，并使用 NVIDIA DeepStream SDK 部署在 Jetson TX2 模块上。硬件设置(图 4)在实验室中使用安装在垃圾车上的同一摄像头进行测试。在实验室中验证后，硬件设置部署在垃圾车上进行现场测试和其他数据收集。
在计算机视觉模型性能方面，第一个部署的基础模型能够为 NVIDIA Jetson TX2 实现 mAP=50%(63%)和 FPS=24.8.该模型在第一次部署后使用从现场收集的数据进行训练。这实现了更好的结果。使用现场数据重新训练后，模型的 mAP=50 增加了 10%.此外，在假阳性 (FP)、假阴性 (FN) 和真阳性 (TP) 方面的性能也得到了改进(表 1)。图 5 显示了计算机视觉模型在图像中成功检测到塑料袋污染的几个示例。
| 基础模型 | 重新训练的模型 | 百分比变化 | |
| 误报 (FP) | 176 | 112 | 减少 36.6% |
| 假阴性 (FN) | 238 | 218 | 减少 8.29% |
| 真阳性 (TP) | 330 | 359 | 增加 6.21% |
未来研究方向
计算机视觉在通过提取与污染物相关的信息来增强对废弃物污染的理解方面具有广阔的潜力。一些重点关注的未来方向包括：
- 多类别检测：开发的解决方案可以扩展到检测多个类别的塑料袋和包装材料。这将有助于更好地了解污染中常见的塑料袋类型的趋势，并可以相应地放置安全措施。
- 坑洞检测：部署在边缘计算机的多个经过训练的计算机视觉模型可以使用相同的计算资源。在这种情况下，可以训练另一个模型来检测道路上的坑洞。这样的模型可以帮助委员会识别损坏的道路并快速修复。
- 路边垃圾检测：与坑检测概念类似，安装在卡车上的其他摄像头可用于检测路边垃圾。这有助于更好地管理环境和教育社区。
总结
本文详细介绍了我们的边缘计算视频分析解决方案，该解决方案用于检测垃圾收集卡车中的塑料袋污染。此类解决方案有助于改善垃圾回收，提高可持续性，并教育社区。
该解决方案由 NVIDIA Jetson 平台提供支持，用于边缘 AI 和机器人开发，用于检测垃圾收集卡车上安装的摄像头拍摄的视频片段中是否存在任何塑料袋。为了帮助在这个独特的应用领域训练计算机视觉模型，我们开发了一个名为 Remondis Contamination Dataset 的新型挑战性数据集。
计算机视觉模型在污染检测中的成功部署和鼓舞人心的结果表明，在改进垃圾管理方面有很大的空间。此类系统可以扩展到检测多种类别的污染和多个类别的塑料袋，以更好地理解。此外，卡车上安装的其他摄像头可用于检测坑和路边垃圾。
