基于 NVIDIA 的 GPU 解決方案，艾氪英諾持續(xù)拓寬產(chǎn)品在泛交通領(lǐng)域的自動駕駛-車路協(xié)同應用場景。

如何完成稀疏卷積的高效推理部署

成為一大挑戰(zhàn)

點云檢測算法 PointPillars 等衍生算法采用 2D 卷積，可以快速適配主流的算法框架便于落地部署，因而受到業(yè)界歡迎。但 Pillar 編碼與 2D 卷積結(jié)合的方式，并不能充分利用點云空間的三維特征，研究與實踐表明，基于 3D 卷積的 Voxel-based 方式則在識別準確率提升方面效果顯著，其中稀疏卷積在自動駕駛相關(guān)感知算法越來越受到廣泛重視。

現(xiàn)階段業(yè)內(nèi)十分需要面向 NVIDIA 設備成熟的 3D 點云感知壓縮算法部署工具，能夠?qū)⑾∈杈矸e部署到 NVIDIA GPU 上，在 3D 點云感知算法高精度需求下，滿足推理效率指標的工程落地要求。因此，如何利用 TensorRT 深度學習推理引擎的完整工具，完成稀疏卷積的高效推理部署的工程化落地成為一大挑戰(zhàn)。

NVIDIA TensorRT 高性能推理庫

助力艾氪英諾打造稀疏卷積的最佳部署

艾氪英諾所研發(fā)的部署工具 EE-DLVM 基于 TensorRT 開發(fā)。TensorRT 通過結(jié)合抽象出特定硬件細節(jié)的高級 API 和優(yōu)化推理的實現(xiàn)來達到高吞吐量、低延遲和低設備內(nèi)存占用。該部署工具兼容主流檢測模型同時針對稀疏卷積操作進行了設計與優(yōu)化，將 TensorRT 在 NVIDIA GPU 上加速效果與稀疏卷積算子本身的優(yōu)異效果相結(jié)合。

艾氪英諾 EE-DLVM 部署工具通過在稀疏卷積相關(guān)算子的實踐，在 3D 點云基于 Voxel 感知算法模型部署上取得三點突破：

（1）針對稀疏卷積的相關(guān)模型而設計的 Graph Trace 程序，可以跟蹤數(shù)據(jù)流向，然后轉(zhuǎn)化為 Graph 并成功導出 ONNX。

（2）前處理模塊使用了稀疏卷積，在 EE-DLVM 部署工具優(yōu)化下有高達 20 倍左右加速效果。

（3）將模型準確高效地部署到 NVIDIA GPU 上，如 Xavier NX 和 AGX Orin 上。

借力 NVIDIA 技術(shù)，艾氪英諾在自動駕駛-車路協(xié)同領(lǐng)域持續(xù)深耕創(chuàng)新

基于城市與高速等多種智慧交通場景，以及路側(cè)與車端的感知任務體系中，基于激光雷達的 3D 物體檢測是重要的感知信號來源，也是車路協(xié)同感知系統(tǒng)的核心之一，因此需要充分地考慮算法實時性和準確性的平衡。TensorRT 作為 NVIDIA 的深度學習推理引擎，可以為艾氪英諾相關(guān)自動駕駛算法應用提供低延遲、高吞吐率的部署推理。模型獲得 TensorFlow、PyTorch、Caffe 等主流訓練框架支持，在模型優(yōu)化與編譯過程中，已經(jīng)支持混合精度、PTQ 和 QAT 量化訓練，是在行業(yè)應用中最為普及的加速框架，適用于算法模型部署于嵌入端、云端以及汽車硬件平臺上運行。

——艾氪英諾聯(lián)合創(chuàng)始人 陳朋鑫博士

艾氪英諾的 EE-DLVM 部署工具，將稀疏卷積成功結(jié)合到 NVIDIA TensorRT 加速框架中。產(chǎn)品基于稀疏卷積強大的性能，在眾多交通場景的算法部署中，得到廣泛應用和迭代。產(chǎn)品采用 NVIDIA 系列的硬件平臺，在兼顧了數(shù)據(jù)長度可變的點云數(shù)據(jù)特性同時可利用 TensorRT 的結(jié)構(gòu)化加速特性，成功實現(xiàn)了 3D 點云細粒度結(jié)構(gòu)化稀疏在自動駕駛場景中的應用。同時，為了構(gòu)建高效、透明、安全的車路協(xié)同感知網(wǎng)絡體系，與 NVIDIA 初創(chuàng)加速計劃共享生態(tài)合作成果，在后續(xù)的產(chǎn)品規(guī)劃中，將會逐步開源產(chǎn)品的所有源代碼，其中也會包括稀疏卷積組件部分。

——艾氪英諾技術(shù)副總 葉溯

通過 NVIDIA 初創(chuàng)加速計劃，艾氪英諾利用會員專享的 NVIDIA 深度學習培訓中心（DLI）免費課程機會，結(jié)合 NVIDIA 初創(chuàng)加速計劃提供的 NVIDIA 技術(shù)與專家資源，對 EE-DLVM 部署工具進行深入的技術(shù)溝通與產(chǎn)品打磨。同時借助今年 8 月舉辦的 NVIDIA 初創(chuàng)企業(yè)展示華東站路演活動，亦得以將產(chǎn)品快速推廣給潛在用戶。在 NVIDIA 提供的 GPU 解決方案基石上，結(jié)合艾氪英諾在行業(yè)與技術(shù)上的認知，使得我們在自動駕駛-車路協(xié)同領(lǐng)域能夠持續(xù)不斷地深耕技術(shù)、創(chuàng)新產(chǎn)品，通過 AI 技術(shù)降本增效，拓寬產(chǎn)品在泛交通領(lǐng)域的應用場景。

——艾氪英諾創(chuàng)始人兼 CEO 張磊