當今時代，通過科技改變生產(chǎn)生活方式的各種先進技術(shù)紛紛崛起，交通產(chǎn)業(yè)也經(jīng)歷著巨大的變革。國家對于智能交通和交通強國戰(zhàn)略的支持使得交通產(chǎn)業(yè)更加需要相關(guān)技術(shù)支撐與賦能。對此，百度飛槳團隊與 Apollo 自動駕駛團隊強強聯(lián)合，聚焦人工智能關(guān)鍵技術(shù)，深耕自動駕駛各個場景，匯聚各方力量，不斷拓寬開源之路。

此次，飛槳基于和 Apollo 自動駕駛團隊合作開發(fā)的大量業(yè)務實踐經(jīng)驗，結(jié)合自動駕駛感知算法開發(fā)難點，聯(lián)合 NVIDIA 在 NGC 飛槳容器中進行深度適配，正式發(fā)布飛槳首個端到端 3D 感知開發(fā)套件 Paddle3D，歡迎大家在 NVIDIA GPU 上體驗！

加入 Paddle3D 技術(shù)交流群

體驗 NVIDIA NGC + Paddle3D

Paddle3D 官方開源代碼鏈接如下，也歡迎大家入群進行 3D 感知開發(fā)的技術(shù)交流，接下來將為大家全面介紹 Paddle3D。

https://github.com/PaddlePaddle/Paddle3D

? ?

Paddle3D 概覽

Paddle3D 是百度飛槳官方開源的端到端 3D 感知開發(fā)套件，套件整體結(jié)構(gòu)自下而上分為框架層、基礎(chǔ)層、算法層、工具層 4 層。接下來具體介紹 Paddle3D 的整體架構(gòu)。

2.1 基礎(chǔ)層

基礎(chǔ)層主要提供了數(shù)據(jù)處理管道、數(shù)據(jù)集的基礎(chǔ)支持、自定義算子的開發(fā)支持、高級 API 支持。

2.1.1 數(shù)據(jù)處理管道

提供數(shù)據(jù)處理的 I/O 加速能力，提高訓練階段數(shù)據(jù)吞吐速度。同時提供多種數(shù)據(jù)變換、數(shù)據(jù)增強能力，滿足 3D 模型的快速開發(fā)。

2.1.2 數(shù)據(jù)集

在本次的正式版中，我們?nèi)嬷С至俗詣玉{駛?cè)箝_源數(shù)據(jù)集 KITTI、Waymo 和 nuScenes。同時，Paddle3D 還支持用戶自定義數(shù)據(jù)集進行訓練，詳情請前往 Paddle3D 官方開源倉庫。

2.1.3 真值庫

在模型精度優(yōu)化方面，除了模型層面的一些優(yōu)化策略，Paddle3D 在數(shù)據(jù)層面也提供了基于真值庫的在線優(yōu)化策略。在做自動駕駛感知任務時，采集和標注點云數(shù)據(jù)所耗費的人力成本偏高，我們希望可以充分利用已有的數(shù)據(jù)來拓展訓練數(shù)據(jù)的多樣性。基于真值庫的在線優(yōu)化策略是先根據(jù)已有的訓練數(shù)據(jù)離線地生成真值庫，訓練的過程中在線地從真值庫里面隨機采樣一些真值目標，放到當前幀中來合成一幀新的點云，從而提升模型的泛化能力。

下圖是使用這個優(yōu)化策略前后的精度對比情況，整體精度有 5.39%的提升。

2.1.4 自定義算子即訓即推

3D 感知模型在訓練過程中會遇到需要開發(fā)特色的自定義算子的情況，例如用于過濾重疊三維框的非極大值抑制操作（3D IoU NMS）、PointNet++中聚合和采樣點云的操作、點云體素化操作等等。Paddle3D 的模型均可基于飛槳的原生推理庫 Paddle Inference 完成服務器端和云端的模型部署，且不需要在部署階段重新開發(fā)自定義算子，完全做到即訓即用。

2.2 算法層

算法層主要提供了開箱即用的單目 3D 感知、點云 3D 感知、BEV 3D 感知、多模態(tài) 3D 感知等算法，同時提供了主流的骨干網(wǎng)絡(luò)實現(xiàn)參考。

2.2.1 單目 3D 感知模型

在和自動駕駛開源框架 Apollo 的合作過程中，我們沉淀了 SMOKE、CaDDN 這兩個經(jīng)典的單目 3D 感知模型，并且已經(jīng)作為 Apollo 最新的內(nèi)置 3D 視覺感知模型。此外，在本次正式版發(fā)布中，我們還新增了 DD3D 模型，F(xiàn)COS3D 模型的支持也即將完成。

2.2.2 激光雷達 3D 感知模型

除了視覺模型之外，我們在和 Apollo 的合作過程中同樣沉淀了激光雷達 3D 感知模型 PointPillars、CenterPoint，且已作為 Apollo 的原生激光雷達支持模型，本次正式版中我們還新增了 IA-SSD、PAConv、PV-RCNN、Voxel-RCNN 等前沿點云 3D 檢測模型，同時，也補充了點云分割模型 SqueezeSegV3。

2.2.3 BEV 模型

在自動駕駛?cè)蝿罩?，對周圍場景的視覺感知非常重要，這一工作可以通過多個攝像頭給出的二維圖像完成對 3D 檢測框或語義圖的檢測。當前，最直接的解決方案是使用單目相機框架和跨相機后處理，該框架的缺點是其需要單獨處理不同的視圖，無法跨相機捕獲信息，導致性能和效率低下。作為單目相機框架的替代方案，一種更統(tǒng)一的框架是從多目相機圖像中提取整體表示。鳥瞰圖 (Bird’s Eye-View，BEV) 是一種常用的周圍場景表示方法，它能清晰地呈現(xiàn)物體的位置和規(guī)模，適用于各種自動駕駛?cè)蝿铡?/p>

而最近以 BEV 為基礎(chǔ)的 3D 檢測方案席卷自動駕駛屆，我們也在持續(xù)跟進該方向。目前已在 Paddle3D 的模型庫中補充BEV經(jīng)典模型 PETR、PETRv2、BEVFormer，而 BEVFusion 正在實現(xiàn)中，即將和大家見面。

2.3. 工具層

工具層主要提供了基于 VisualDL 的訓練、推理效果可視化，同時提供了模型的量化部署加速能力、Apollo 的集成開發(fā)能力以及混合精度訓練能力。

2.3.1 自動混合精度訓練支持

自動混合精度訓練(Auto Mixed Precision, AMP)是指通過混合使用單精度和半精度數(shù)據(jù)格式，加速深度神經(jīng)網(wǎng)絡(luò)訓練的過程，同時保持了單精度訓練所能達到的網(wǎng)絡(luò)精度?；旌暇扔柧毮軌?a href="http://www.www27dydycom.cn/tags/加速計/" target="_blank">加速計算過程，同時減少內(nèi)存使用和存取，并使得在特定的硬件上可以訓練更大的模型或 batch size。

Paddle3D 目前全面支持混合精度訓練，從而進一步優(yōu)化 3D 感知算法開發(fā)對硬件的需求，加速訓練。

2.3.2 量化部署支持

模型量化是一種將浮點計算轉(zhuǎn)成低比特定點計算的技術(shù)，可以有效地降低模型參數(shù)大小，降低算力、內(nèi)存等資源消耗，從而提升模型在端側(cè)硬件上的運行效果。

3D 感知模型相比傳統(tǒng)的 2D 檢測模型往往模型更復雜，參數(shù)更多，在服務器上可能可以達到不錯的推理速度和精度的平衡，但是實際部署時，由于硬件算力限制，幀率往往達不到要求。對此，Paddle3D 對 3D 感知模型通過量化壓縮等手段在端側(cè)硬件達到了實時性能。目前官方支持 SMOKE、CenterPoint 的量化部署，同時 Paddle3D 將結(jié)合飛槳部署神器 FastDeploy 對 3D 感知模型通過量化壓縮等手段在端側(cè)硬件進行端到端的優(yōu)化，支持更多模型的量化部署，鏈接參考如下：

https://github.com/PaddlePaddle/Paddle3D/tree/develop/configs/quant

https://github.com/PaddlePaddle/FastDeploy

2.3.3 稀疏卷積支持

在基于點云的 3D 檢測任務中，主流的解決思路會把無序的點云表示成有序的三維體素空間，精準地學習到幾何結(jié)構(gòu)特征的最佳方法莫過于采取 3D 卷積。但是 3D 卷積耗費非常大的顯存和計算量，使得面向?qū)崟r端側(cè)場景的應用須以損失部分檢測精度作為代價，將三維空間壓縮至二維空間后采用 2D 卷積來換取速度的提升和計算量的減小。然而，室外場景中數(shù)量高達~100k的點云經(jīng)過體素化后，三維體素空間的稀疏性低至~0.5%，采用 3D 卷積會有大量零元素的計算浪費。

在稀疏 3D 卷積中，會預先建立一個規(guī)則表，表中僅記錄與卷積核相乘的非零輸入元素及其輸出元素在密集特征層上的位置，基于規(guī)則表完成卷積計算可避免零元素的無效運算。飛槳框架 v2.4 已經(jīng)全面支持稀疏計算，Paddle3D 也集成了許多使用稀疏 3D 卷積的前沿模型，如 PV-RCNN、VoxelRCNN、CenterPoint。以CenterPoint 為例，基于飛槳原生推理庫 Paddle Inference 在一塊 RTX 3080 顯卡上的推理速度可達到 21.20 毫秒每幀，nuScenes 驗證集上精度 NDS（NuScenes Detection Score）可達到 66.74%。

2.4. 用戶體驗持續(xù)優(yōu)化

2.4.1 3D 感知算法多卡算力在線開發(fā)

考慮到 3D 感知算法在實際開發(fā)過程中對顯存等硬件資源需求較大，飛槳團隊提供了免費的算力資源，方便大家在線開發(fā)，同時 Paddle3D 也提供了官方的在線開發(fā)示例，歡迎大家 fork 進行二次開發(fā)。

在線開發(fā)示例鏈接如下：

https://aistudio.baidu.com/aistudio/projectdetail/5268894

https://aistudio.baidu.com/aistudio/projectdetail/5269115

2.4.2 詳細文檔

文檔是快速上手一個開源項目的關(guān)鍵，Paddle3D 針對模型訓練部署以及每個算法都有詳細的文檔說明，歡迎大家閱讀瀏覽，同時我們也歡迎大家一同建立更完善的 Paddle3D 文檔和教程。

2.4.3 直播課&技術(shù)解讀文章

考慮到 3D 感知的更新迭代速度快，上手難度大，Paddle3D 會定期組織直播課程，由開發(fā)同學為大家深入講解 3D 感知算法的開發(fā)、部署細節(jié)。同時也會定期發(fā)布技術(shù)專欄文章進行解讀。相應的課程鏈接以及技術(shù)文章鏈接我們會定期更新到 GitHub 首頁，再次歡迎大家關(guān)注 Paddle3D 官方倉庫：

https://github.com/PaddlePaddle/Paddle3D

2.5 Paddle3D & Apollo 無縫銜接

Apollo 是由百度開源的開放、完整、安全的自動駕駛平臺，助力開發(fā)者快速搭建自動駕駛系統(tǒng)，Apollo 官方倉庫：

https://github.com/ApolloAuto/apollo

Paddle3D 和 Apollo 在持續(xù)性的進行合作開發(fā)，目前已打通視覺感知模型 SMOKE、CaDDN，點云感知模型 PointPillars、CenterPoint，BEV 感知模型 PETR 等模型的訓練和推理。用戶可以在 Paddle3D 進行模型的訓練、測試、導出，然后一鍵部署集成到 Apollo 的感知算法部分，和下游的跟蹤算法、多傳感器融合算法、預測算法、規(guī)劃控制算法全棧運行。同時，用戶可以通過 Apollo 的 DreamView 平臺聯(lián)合定位、預測、規(guī)劃控制模塊進行仿真調(diào)試，找出 Badcase 指導模型的優(yōu)化開發(fā)。

詳細開發(fā)步驟請參考：

https://apollo.baidu.com/community/Apollo-Homepage-Document/Apollo_Doc_CN_8_0/lidar

https://apollo.baidu.com/community/Apollo-Homepage-Document/Apollo_Doc_CN_8_0/camera

2.6 總結(jié)

以上就是本次正式版本的主要內(nèi)容，歡迎大家 fork 體驗。未來，我們將持續(xù)更新豐富模型庫和預訓練模型，持續(xù)優(yōu)化模型在端側(cè)的量化壓縮部署，提供更詳細的開發(fā)文檔以及更簡潔的 API，為社區(qū)帶來更好用的 3D 感知開發(fā)套件。我們也歡迎社區(qū)用戶參與到 Paddle3D 的建設(shè)中，不斷完善 Paddle3D。

NGC 飛槳容器介紹

如果您希望體驗 PaddleNLP 的新特性，歡迎使用 NGC 飛槳容器。NVIDIA 與百度飛槳聯(lián)合開發(fā)了 NGC 飛槳容器，將最新版本的飛槳與最新的NVIDIA的軟件棧（如CUDA）進行了無縫的集成與性能優(yōu)化，最大程度的釋放飛槳框架在 NVIDIA 最新硬件上的計算能力。這樣，用戶不僅可以快速開啟 AI 應用，專注于創(chuàng)新和應用本身，還能夠在 AI 訓練和推理任務上獲得飛槳+NVIDIA 帶來的飛速體驗。

最佳的開發(fā)環(huán)境搭建工具 - 容器技術(shù)

1. 容器其實是一個開箱即用的服務器。極大降低了深度學習開發(fā)環(huán)境的搭建難度。例如你的開發(fā)環(huán)境中包含其他依賴進程（redis，MySQL，Ngnix，selenium-hub等等），或者你需要進行跨操作系統(tǒng)級別的遷移

2. 容器鏡像方便了開發(fā)者的版本化管理

3. 容器鏡像是一種易于復現(xiàn)的開發(fā)環(huán)境載體

4. 容器技術(shù)支持多容器同時運行

最好的 PaddlePaddle 容器

NGC 飛槳容器針對 NVIDIA GPU 加速進行了優(yōu)化，并包含一組經(jīng)過驗證的庫，可啟用和優(yōu)化 NVIDIA GPU 性能。此容器還可能包含對 PaddlePaddle 源代碼的修改，以最大限度地提高性能和兼容性。此容器還包含用于加速 ETL (DALI, RAPIDS),、訓練(cuDNN, NCCL)和推理(TensorRT)工作負載的軟件。

PaddlePaddle 容器具有以下優(yōu)點：

1. 適配最新版本的 NVIDIA 軟件棧（例如最新版本CUDA），更多功能，更高性能

2. 更新的 Ubuntu 操作系統(tǒng)，更好的軟件兼容性

3. 按月更新

4. 滿足 NVIDIA NGC 開發(fā)及驗證規(guī)范，質(zhì)量管理

通過飛槳官網(wǎng)快速獲取

環(huán)境準備

使用 NGC 飛槳容器需要主機系統(tǒng)（Linux）安裝以下內(nèi)容：

• Docker 引擎

• NVIDIA GPU 驅(qū)動程序

• NVIDIA 容器工具包

有關(guān)支持的版本，請參閱 NVIDIA 框架容器支持矩陣 和 NVIDIA 容器工具包文檔。

不需要其他安裝、編譯或依賴管理。無需安裝 NVIDIA CUDA Toolkit。

NGC 飛槳容器正式安裝：

要運行容器，請按照 NVIDIA Containers For Deep Learning Frameworks User’s Guide 中 Running A Container一章中的說明發(fā)出適當?shù)拿?，并指定注冊表、存儲庫?a target="_blank">標簽。有關(guān)使用 NGC 的更多信息，請參閱 NGC 容器用戶指南。如果您有 Docker 19.03 或更高版本，啟動容器的典型命令是：

dockerrun--gpusall--shm-size=1g--ulimitmemlock=-1-it--rm
nvcr.io/nvidia/paddlepaddle:22.08-py3

*詳細安裝介紹 《NGC 飛槳容器安裝指南》

https://www.paddlepaddle.org.cn/documentation/docs/zh/install/install_NGC_PaddlePaddle_ch.html

*詳細產(chǎn)品介紹視頻

【飛槳開發(fā)者說｜NGC飛槳容器全新上線 NVIDIA產(chǎn)品專家全面解讀】

https://www.bilibili.com/video/BV16B4y1V7ue?share_source=copy_web&vd_source=266ac44430b3656de0c2f4e58b4daf82

飛槳與 NVIDIA NGC 合作介紹

NVIDIA 非常重視中國市場，特別關(guān)注中國的生態(tài)伙伴，而當前飛槳擁有超過 535 萬的開發(fā)者。在過去五年里我們緊密合作，深度融合，做了大量適配工作，如下圖所示。

今年，我們將飛槳列為 NVIDIA 全球前三的深度學習框架合作伙伴。我們在中國已經(jīng)設(shè)立了專門的工程團隊支持，賦能飛槳生態(tài)。

為了讓更多的開發(fā)者能用上基于 NVIDIA 最新的高性能硬件和軟件棧。當前，我們正在進行全新一代 NVIDIA GPU H100 的適配工作，以及提高飛槳對 CUDA Operation API 的使用率，讓飛槳的開發(fā)者擁有優(yōu)秀的用戶體驗及極致性能。

以上的各種適配，僅僅是讓飛槳的開發(fā)者擁有高性能的推理訓練成為可能。但是，這些離行業(yè)開發(fā)者還很遠，門檻還很高，難度還很大。

為此，我們將剛剛這些集成和優(yōu)化工作，整合到三大產(chǎn)品線中。其中 NGC 飛槳容器最為閃亮。

NVIDIA NGC Container – 最佳的飛槳開發(fā)環(huán)境，集成最新的 NVIDIA 工具包（例如 CUDA）

點擊 “閱讀原文” 或掃描下方海報二維碼，即可免費注冊 GTC23，在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，將由 NVIDIA 專家主持，配中文講解和實時答疑，一起看 AI 的現(xiàn)狀和未來！