在快速发展的机器人和边缘 AI 领域，高效处理和传输传感器数据的能力至关重要。许多边缘应用正在摆脱单传感器固定功能解决方案，转而采用多样化的传感器阵列。其中包括视觉、音频、温度、力/扭矩和通信传感器、IMU、lidaradar 系统、超声波、电机和执行器。
NVIDIA Holoscan 传感器桥接器 (HSB) 是一种先进的以太网串流传感器技术，旨在实现实时数据串流并简化高速传感器和执行器集成。NVIDIA Holoscan 将 HSB 作为连接物理传感器和处理管道的接口。在实现硬件和 AI 处理之间的紧密集成至关重要的低延迟端到端工作流方面，它发挥着至关重要的作用。
本博文将深入探讨高速传感器处理所面临的挑战。还重点介绍了 HSB 如何通过超低延迟、易用性、可扩展性和强大的安全功能为机器人、医学成像和工业自动化等行业解决这些问题
高速传感器处理面临的挑战
由于几个关键因素，Physical AI 和机器人开发者在传感器集成方面面临巨大挑战。
1. 开发时间和多样性由于传感器类型不同且接口要求独特，开发传感器驱动并将其集成到系统中非常耗时。这种复杂性会拖慢整个开发过程。
2. 实时处理和低延迟实现实时处理和低延迟对于机器人和医疗仪器等应用至关重要。快速的数据采集、处理和传输必须避免可能导致性能欠佳或系统故障的延迟。
3. 传感器串流的复杂性持续的传感器数据串流应用面临着管理高数据速率、确保数据安全性、功能安全性以及同步来自多个传感器的数据等挑战。
什么是 Holoscan Sensor Bridge？
Holoscan 传感器桥接器专为低延迟数据流和控制而设计。它通过以太网使用用户数据协议 (UDP) 将传感器数据传输到 NVIDIA Jetson 和 NVIDIA IGX 等系统上的 GPU 显存，从而降低延迟和 CPU 占用率。它针对 NVIDIA ConnectX SmartNICs 和 camera-over-Ethernet 技术的使用进行了优化，可实现视频、边缘 AI 和机器人的实时处理。HSB 将原始传感器数据串流到 Holoscan SDK 中，支持从采集到推理和可视化的统一流程。
HSB 的主要特性和优势
Holoscan 传感器桥接器为开发者提供了巨大的价值，可在不牺牲性能的情况下加速开发时间。
- 超低延迟：提供超低延迟可确保以最小的延迟处理和传输来自传感器的数据。这对于需要实时数据处理的应用（例如人形机器人、自动驾驶汽车和医学成像）至关重要。
- 易用性：软件定义架构支持轻松列举和 API 编程，无需 FPGA 编程专业知识。这加快了摄像头、IMU、Lidar、DAC 和 ADC 等多个传感器的传感器软件开发速度。
- 可扩展性：通过多模态传感器集成支持，用户可以处理大量数据，这对于智慧城市和工业自动化至关重要。HSB IP 可以通过可定制的配置参数支持 100 Mbps 到 100 Gbps 的带宽。
- 安全性和可靠性：它包括冗余、故障检测、水印和 MAC SEC 支持等功能，有助于实现 SIL 2 级安全性。
Holoscan 传感器桥接器软件简介
借助 NVIDIA Holoscan SDK，开发者可以将模块化运算符组合成可定制的工作流，从而构建高性能串流应用。借助 Holoscan Sensor Bridge 主机软件，您可以构建自定义工作流，并使用即用型运算符处理来自网络连接的传感器的数据，以执行图像转换、信号处理、推理和可视化等任务。传感器对象提供用于配置和监控的特定于设备的 API，因此可以直接针对不同的传感器和应用调整工作流。
Holoscan 应用程序的结构是划分主应用程序类，并在 configure 方法中定义数据管道，根据需要连接 operators 。该平台灵活且开放：您可以扩展或修改 operators (以源代码形式提供) ，以满足独特需求。
使用 HSB 视觉传感器提升性能
现代嵌入式边缘系统需要具有不同接口、高分辨率、快速帧率、低延迟和精确同步的摄像头。HSB 的延迟比 USB 摄像头低 5 倍，延迟比 MIPI 摄像头低 1.5 倍，玻璃到玻璃的延迟低至 17 毫秒，从而满足这些需求。通过使用 RDMA 和以太网摄像头，它可以将数据直接传输到 GPU 内存，而 CPU 利用率几乎为零，从而缩短响应时间并实现实时操作。借助 HSB v2.0 版本，开发者可以使用最新工具在其特定用例中准确测量延迟。
对于传统的移动行业处理器接口 (MIPI) 摄像头，Argus 摄像头流水线通常需要多个内核空间驱动程序，在将数据传递到 GPU 显存之前，先将数据发送到 CPU 显存。借助 HSB，传统的内核空间驱动将被用户空间 API 取代，开发者无需为摄像头和控制功能创建单独的驱动。
这种简化的方法使开发者能够专注于应用程序逻辑，而不是低级驱动开发。它还具有灵活性，支持与一系列图像信号处理器 (Image Signal Processor, ISP) 选项集成，包括基于NVIDIA CUDA的ISP、HSB硬件上的软ISP实现，或NVIDIA Jetson AGX和NVIDIA IGX上的内部ISP。下图说明了HSB流程如何适应各种配置选择，突出了平台的通用性和模块化。
用户指南中提供了使用不同 ISP 选项的参考示例：
- 基于 GPU 的 CUDA ISP 示例，展示如何将基于 CUDA 的 ISP 连接到 HSB Pipeline
- Jetson 硬件 ISP 示例，展示如何将 NVIDIA Jetson 硬件 ISP 连接到 HSB 流水线
多传感器时间同步
另一项关键功能是 HSB 支持基于 IEEE 1588-2019 标准的 Precision Time Protocol (PTP) 。此功能使传感器桥接器能够将其内部时钟与主机系统同步，确保在采集时对每一项传感器数据进行精确的时间记。它可在 1 微秒内实现同步精度，并且精度通常超过 100 纳秒，因此非常适合医学成像、机器人和自主系统中的高性能应用。借助准确的时间，开发者可以满怀信心地准确追踪每个传感器事件的发生时间，从而实现跨多个来源的数据对齐，并在分布式系统中进行可靠的协调。
HSB 生态系统
作为传感器到计算的技术平台，HSB 支持由传感器、硬件和服务合作伙伴组成的充满活力的生态系统，帮助客户缩短上市时间。传感器合作伙伴提供各种由 HSB 提供支持的生产就绪型摄像头和传感器解决方案，提供实时性能和高带宽处理。硬件合作伙伴提供基于 FPGA 的评估板，使开发者能够快速设计具有低延迟、灵活的传感器配置和接口的自定义连接。服务合作伙伴专注于利用 NVIDIA Holoscan 软件 API 来实施 AI 解决方案和传感器集成，从而实现优化的端到端性能。
快速、准确的传感器数据分析正在改变医学成像和诊断方式。Holoscan 传感器桥接器为内窥镜、手术机器人和放射学领域的实时分析提供支持。Virtual Incision 等公司使用 HSB 来加速摄像头开发。Virtual Incision 首席技术官 Shane Farritor 强调说：“借助 Holoscan Sensor Bridge，我们能够彻底改变摄像头的开发和部署方式。使用 Python 和 C 代码取代 Verilog 的能力大大加快了我们的开发时间，将开发时间从几个月缩短到几周。CUDA 编程在效率和性能方面带来了巨大改变。”
在软件定义的无线电、6G 以及测试和测量应用中，数据转换器等模拟传感器至关重要。Holoscan 传感器桥接器可将这些传感器连接到 GPU，利用 NVIDIA IGX GPUDirect RDMA 实现快速、高效的信号处理。
开始使用 Holoscan Sensor Bridge
NVIDIA 提供全面的文档、开发者套件和参考示例，帮助用户开始使用 Holoscan Sensor Bridge。如需了解 Holoscan Sensor Bridge：
- 获取适用于边缘 AI 或机器人应用的 NVIDIA Jetson AGX Orin Developer Kit 或 NVIDIA IGX Orin Developer Kit。
- 从我们的硬件合作伙伴 Lattice (HSB FPGA IP) 和 Microchip (HSB FPGA IP) 提供的 Holoscan Sensor Bridge 评估板开始。
- 下载 HSB 软件和 HSB 用户指南。
- 观看如何使用传感器生态系统中完全集成的 HSB 传感器： Leopard Imaging 展示了其连接到 Jetson AGX Orin 的 5.1 MPixel 深度立体 HSB 摄像头，用于实时视觉应用和简化集成。 Econ 展示了其连接到 Jetson AGX Orin 的小型 HSB 摄像头。 D3 展示了一个 IP69 坚固耐用的摄像头，通过 HSB 连接到 Jetson AGX Orin，运行视觉语言模型。 YUAN 利用 HSB 实现 HDMI、SDI 和模拟信号等多种模式的医疗设备集成。
- 如需了解更多信息，请查看 HSB 教程：Ridge Run：Improving Latency with Holoscan Sensor Bridge。
参加 GTC 巴黎大会，了解 AI、机器人、数字孪生和先进的仿真技术如何助力实现更智能、更安全、更高效的工业自动化。
观看 NVIDIA 创始人兼首席执行官 Jensen Huang 在 VivaTech 2025 上发表的 NVIDIA GTC 巴黎主题演讲，并探索 GTC 巴黎会议。
订阅我们的时事通讯并在 LinkedIn、Instagram、X 和 Facebook 上关注 NVIDIA Robotics，随时了解最新动态。探索 NVIDIA 文档和 YouTube 频道，并加入 NVIDIA Developer Robotics 论坛。要开启您的机器人开发之旅，请立即注册我们的免费 NVIDIA Robotics Fundamentals 课程。
开始使用 NVIDIA Isaac 库和 AI 模型开发物理 AI 系统。
