隨著機器人技術(shù)和邊緣 AI 領(lǐng)域的快速發(fā)展，高效處理和傳輸傳感器數(shù)據(jù)的能力變得至關(guān)重要。許多邊緣應(yīng)用正在從單一傳感器的固定功能解決方案，轉(zhuǎn)向使用多種類型的傳感器陣列。這些傳感器包括視覺、音頻、溫度、力/扭矩、通信傳感器、IMU、激光雷達系統(tǒng)、超聲波設(shè)備、電機和執(zhí)行器等。

NVIDIA Holoscan Sensor Bridge (HSB)是一種先進的基于以太網(wǎng)的傳感器流技術(shù)，旨在實現(xiàn)實時數(shù)據(jù)傳輸，并簡化高速傳感器與執(zhí)行器的集成。NVIDIA Holoscan采用 HSB 作為連接物理傳感器與處理管線的接口，它在實現(xiàn)低延遲、需要硬件與 AI 高度集成的端到端工作流中發(fā)揮著關(guān)鍵作用。

本文將分析高速傳感器處理的挑戰(zhàn)，并重點介紹 HSB 如何以超低延遲、易用性、可擴展性及完善的安全保障，幫助機器人、醫(yī)療影像和工業(yè)自動化等領(lǐng)域應(yīng)對這些挑戰(zhàn)。

高速傳感器處理的挑戰(zhàn)

物理 AI 和機器人開發(fā)者在傳感器集成方面面臨諸多挑戰(zhàn)，比如：

開發(fā)周期長及類型多樣：由于傳感器類型多樣且接口要求各異，開發(fā)傳感器驅(qū)動并將其集成到系統(tǒng)中非常耗費時間。這種復(fù)雜性可能會拖延整體開發(fā)進程。

實時處理與低延遲：對機器人和醫(yī)療設(shè)備等應(yīng)用而言，實現(xiàn)實時處理和低延遲至關(guān)重要。這就要求快速的數(shù)據(jù)采集、處理和傳輸，同時必須避免可能導(dǎo)致性能不佳或系統(tǒng)故障的延遲。

傳感器流的復(fù)雜性：連續(xù)傳感器數(shù)據(jù)流應(yīng)用面臨諸多挑戰(zhàn)，比如管理高數(shù)據(jù)速率、確保數(shù)據(jù)安全和功能安全，以及同步來自多個傳感器的數(shù)據(jù)等。

什么是 Holoscan Sensor Bridge？

Holoscan Sensor Bridge 專為低延遲數(shù)據(jù)的傳輸和控制而設(shè)計。通過以太網(wǎng) UDP 協(xié)議，將傳感器數(shù)據(jù)直接傳輸?shù)絅VIDIA Jetson和NVIDIA IGX等系統(tǒng)的 GPU 內(nèi)存中，從而降低延遲和 CPU 使用率。HSB 針對NVIDIA ConnectX智能網(wǎng)卡和以太網(wǎng)攝像頭技術(shù)進行了優(yōu)化，支持視頻、邊緣 AI 和機器人技術(shù)的實時處理。HSB 將原始傳感器數(shù)據(jù)傳輸?shù)?Holoscan SDK 中，支持從采集到推理和可視化的統(tǒng)一流程。

圖 1. Holoscan Sensor Bridge 設(shè)計架構(gòu)

HSB 的核心特性與優(yōu)勢

Holoscan Sensor Bridge 為開發(fā)者帶來巨大價值，可在不犧牲性能的前提下加速開發(fā)進程：

超低延遲：實現(xiàn)超低延遲，確保以最低延遲處理和傳輸傳感器數(shù)據(jù)，這對于人形機器人、自動駕駛汽車和醫(yī)療成像等需要實時數(shù)據(jù)處理的應(yīng)用至關(guān)重要。

易用性：軟件定義的架構(gòu)，無需 FPGA 編程專業(yè)知識，就可以輕松枚舉和 API 編程，從而加速攝像頭、IMU、激光雷達、DAC 和 ADC 等多種傳感器的軟件開發(fā)。

可擴展性：支持多模態(tài)傳感器集成，用戶可處理大量數(shù)據(jù)，這對于智慧城市和工業(yè)自動化場景至關(guān)重要。HSB IP 可支持 100 Mbps 至 100 Gbps 的帶寬，并可自定義配置參數(shù)。

安全性：包含冗余、故障檢測、水印和 Mac SEC 支持等功能，有助于實現(xiàn) SIL 2 級安全標準。

Holoscan Sensor Bridge 軟件介紹

借助 NVIDIA Holoscan SDK，開發(fā)者可通過將模塊化算子組合成可自定義管線，來構(gòu)建高性能的數(shù)據(jù)流應(yīng)用。使用 Holoscan Sensor Bridge 主機軟件，開發(fā)者可構(gòu)建自定義管線，并使用現(xiàn)成的算子處理來自網(wǎng)絡(luò)連接傳感器的數(shù)據(jù)，完成圖像轉(zhuǎn)換、信號處理、推理和可視化等任務(wù)。傳感器對象提供設(shè)備特定的 API 用于配置和監(jiān)控，使管線能夠適配不同傳感器和應(yīng)用。

Holoscan 應(yīng)用的構(gòu)建方式是：劃分主應(yīng)用類，并在配置方法中定義數(shù)據(jù)管線，根據(jù)需要連接算子。該平臺靈活開放，開發(fā)者可擴展或修改算子（提供源代碼）以滿足獨特需求。

利用 HSB 視覺傳感器提升性能

現(xiàn)代嵌入式邊緣系統(tǒng)要求攝像頭具備多樣化接口、高分辨率、快速幀率、低延遲和精確同步能力。HSB 在這些方面有明顯優(yōu)勢，其延遲比 USB 攝像頭低 5 倍，比 MIPI 攝像頭低 1.5 倍，端到端延遲可低至 17 毫秒。通過使用 RDMA 和以太網(wǎng)攝像頭技術(shù)，HSB 支持直接將數(shù)據(jù)傳輸?shù)?GPU 內(nèi)存，幾乎不占用 CPU 資源，從而實現(xiàn)更快的響應(yīng)時間和實時操作。隨著 HSB v2.0 版本的發(fā)布，開發(fā)者可使用最新工具在特定用例中精確測量延遲。

圖 2. Holoscan Sensor Bridge 攝像頭解決方案與其他方案的性能基準對比

當采用傳統(tǒng)移動產(chǎn)業(yè)處理器接口 (MIPI) 攝像頭時，Argus 攝像頭管線通常需要多個內(nèi)核空間驅(qū)動程序，將數(shù)據(jù)發(fā)送到 CPU 內(nèi)存后再傳遞到 GPU 內(nèi)存。而通過 HSB，傳統(tǒng)的內(nèi)核空間驅(qū)動被用戶空間 API 所取代，開發(fā)者無需再分別為攝像頭和控制功能編寫單獨的驅(qū)動程序。

這種簡化的方法使開發(fā)者能夠?qū)Ｗ⒂趹?yīng)用邏輯，而非底層驅(qū)動程序開發(fā)。同時，它也提供了高度的靈活性，支持與多種圖像信號處理器 (ISP) 方案集成，包括基于NVIDIA CUDA的 ISP、HSB 硬件上的軟 ISP 實現(xiàn)，或 NVIDIA Jetson AGX 和 NVIDIA IGX 上的內(nèi)置 ISP。下圖展示了 HSB 管線如何適應(yīng)各種配置選擇，顯示了平臺的多功能性和模塊化特性。

開發(fā)者可以在用戶指南中查詢不同 ISP 集成方式的參考示例：

基于 GPU 的 CUDA ISP 示例：展示如何將 CUDA ISP 接入 HSB 處理管線：

https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#imx274-player-example

Jetson 硬件 ISP 示例：展示如何將 NVIDIA Jetson 的硬件 ISP 接入 HSB 處理管線：

https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#running-the-nvidia-isp-with-live-capture-example

圖 3. IGX 平臺上的 HSB 管線

圖 4. 搭載硬件 ISP 的 Jetson AGX Orin 平臺上的 HSB 處理管線

Jetson AGX Orin 上的 Holoscan Sensor Bridge 也可以與軟件 ISP (SW ISP) 或基于 CUDA 的 ISP 搭配使用，其處理流程與 IGX 平臺類似。而在 NVIDIA Jetson Thor 上，處理管線中使用的是以太網(wǎng)攝像頭，而不是 NVIDIA ConnectX。

支持多傳感器時間同步

HSB 的另一個關(guān)鍵特性是支持精確時間協(xié)議 (PTP)，PTP 基于 IEEE 1588-2019 標準構(gòu)建。通過這一功能，Sensor Bridge 能夠?qū)?nèi)部時鐘與主機系統(tǒng)同步，確保每個傳感器數(shù)據(jù)在采集時都能被精確打上時間戳。其同步精度可達 1 微秒以內(nèi)，甚至常常優(yōu)于 100 納秒的精度——這使其非常適合醫(yī)療成像、機器人和自主系統(tǒng)等高性能應(yīng)用。借助準確的時間戳，開發(fā)者能夠清晰地追蹤每個傳感器事件的發(fā)生時間，實現(xiàn)多源數(shù)據(jù)對齊，并在分布式系統(tǒng)中實現(xiàn)可靠的協(xié)同。

圖 5. HSB 多傳感器同步示意圖

HSB 生態(tài)系統(tǒng)

作為傳感器到計算的技術(shù)平臺，HSB 支持由傳感器、硬件和服務(wù)合作伙伴組成的活躍生態(tài)系統(tǒng)，幫助客戶加快上市時間。傳感器合作伙伴提供一系列基于 HSB 的現(xiàn)成攝像頭和傳感器解決方案，實現(xiàn)實時性能和高帶寬處理。硬件合作伙伴提供基于 FPGA 的評估板，使開發(fā)者能夠以低延遲、靈活的傳感器配置和接口快速設(shè)計自定義連接。服務(wù)合作伙伴專注于利用 NVIDIA Holoscan 軟件 API 實現(xiàn) AI 解決方案和傳感器集成，優(yōu)化端到端性能。

快速、準確的傳感器數(shù)據(jù)分析正在改變醫(yī)療成像和診斷方式。Holoscan Sensor Bridge 為內(nèi)窺鏡、手術(shù)機器人和放射醫(yī)療設(shè)備提供實時分析能力。Virtual Incision 等公司利用 HSB 加速攝像頭開發(fā)。Virtual Incision 首席技術(shù)官 Shane Farritor 強調(diào)：“借助 Holoscan Sensor Bridge，我們將能夠徹底改變攝像頭開發(fā)和部署的方式。我們現(xiàn)在可以用 Python 和 C 代碼取代 Verilog，將開發(fā)周期從幾個月壓縮到幾周?；?CUDA 的編程更是在效率和性能上帶來了質(zhì)的飛躍?！?/p>

在軟件定義的無線電、6G 和測試測量應(yīng)用中，數(shù)據(jù)轉(zhuǎn)換器等模擬傳感器至關(guān)重要。Holoscan Sensor Bridge 將這些傳感器連接到 GPU，利用 NVIDIA IGX 的 GPUDirect RDMA 實現(xiàn)快速、高效的信號處理。