新研究成果帶來實現(xiàn)安全自動駕駛系統(tǒng)所需的先進 3D Occupancy 預測。

NVIDIA 以自動駕駛開發(fā)大賽 3D Occupancy 預測挑戰(zhàn)賽冠軍的身份亮相 CVPR 2023。

此次角逐冠軍的 400 多份參賽作品共來自 10 個地區(qū)近 150 個團隊。

3D Occupancy 預測是指預測場景中每個體素（即 3D 鳥瞰網(wǎng)格上的各個數(shù)據(jù)點）的狀態(tài)的過程，體素可以被識別為自由、占用或未知三種狀態(tài)。

觀看 NVIDIA 自動駕駛實驗室關(guān)于 3D Occupancy 預測的視頻。

3D Occupancy 網(wǎng)格預測對開發(fā)安全、魯棒的自動駕駛系統(tǒng)至關(guān)重要。該功能利用 NVIDIA DRIVE 平臺提供支持的先進卷積神經(jīng)網(wǎng)絡（CNN）和 Transformer 模型為自動駕駛汽車（AV）規(guī)劃和控制堆棧提供信息。

NVIDIA 學習和感知高級研究科學家 Zhiding Yu 表示：“NVIDIA 的獲獎方案包含兩項重要的先進自動駕駛（AV）技術(shù)。該方案展示了具有出色鳥瞰感知能力的先進模型設(shè)計，以及具有多達 10 億個參數(shù)的視覺基礎(chǔ)模型和大規(guī)模預訓練在 3D Occupancy 預測方面的有效性?！?/p>

在過去幾年中，自動駕駛感知已從處理 2D 任務，比如檢測圖像中的物體或自由空間等，發(fā)展到根據(jù)多個輸入圖像對 3D 世界進行推理。

NVIDIA 自動駕駛汽車應用研究總監(jiān)兼杰出科學家 Jose Alvarez 表示，“這項技術(shù)能夠靈活、精確而細致地呈現(xiàn)復雜交通場景中的物體，對于達到自動駕駛的安全感知要求至關(guān)重要?！?/p>

Yu 在太平洋時間 6 月 18 日（星期日）上午 10 點 20 分舉行的 CVPR 端到端自動駕駛研討會（https://opendrivelab.com/e2ead/cvpr23.html）以及太平洋時間 6 月 19 日（星期一）下午 4 點舉行的自動駕駛視覺專題研討會（https://vcad.site/#/）上介紹NVIDIA Research 的獲獎作品。

CVPR 研討會委員會表示，除了贏得該挑戰(zhàn)賽的第一名之外，NVIDIA 還榮獲本次活動的創(chuàng)新獎，以表彰其“在開發(fā)視角轉(zhuǎn)換模塊方面的新洞察”。與之前的方法相比，其“性能大幅提升”。

閱讀 NVIDIA 關(guān)于參賽作品的技術(shù)報告：

https://opendrivelab.com/e2ead/AD23Challenge/Track_3_NVOCC.pdf?=&linkId=100000205404832

通過 3D Occupancy 預測提升車輛安全性

雖然傳統(tǒng) 3D 目標檢測（通常使用 3D 邊界框來檢測和呈現(xiàn)場景中的物體）是自動駕駛汽車感知領(lǐng)域的一項核心任務，但它具有局限性。例如缺乏表現(xiàn)力，邊界框可能無法呈現(xiàn)足夠的真實世界信息。它還需要為所有可能的物體進行分類標準和 ground truth 的定義，甚至包括在現(xiàn)實世界中很少見的物體，比如可能從卡車上掉落的道路危險物。

相比之下，3D Occupancy 預測能夠為自動駕駛汽車的規(guī)劃堆棧提供豐富信息，這對于端到端自動駕駛是必不可少的。

軟件定義汽車可以不斷通過升級，以添加經(jīng)過證明和驗證的新研發(fā)成果。研究成果（例如在 CVPR 上得到認可的研究）所帶來的先進軟件更新，正在推動實現(xiàn)新功能和更安全的駕駛能力。

NVIDIA DRIVE 平臺可為汽車制造商帶來加速車輛生產(chǎn)的解決方案，為確保安全可靠的自動駕駛汽車開發(fā)提供了從汽車到數(shù)據(jù)中心的全棧式硬件和軟件。

CVPR 挑戰(zhàn)賽介紹

CVPR 的 3D Occupancy 預測挑戰(zhàn)賽要求參賽者開發(fā)在推理過程中只使用攝像頭輸入數(shù)據(jù)的算法。參賽者可以使用開源數(shù)據(jù)集和模型，從而推動對數(shù)據(jù)驅(qū)動算法和大型模型的探索。主辦方提供了一個基準沙盒，以便參賽者將最新的先進 3D Occupancy 預測算法應用于真實世界場景。

NVIDIA 參加 CVPR

NVIDIA 在 CVPR 上發(fā)表了近 30 篇論文和演講。在會上討論自動駕駛的專家包括：

• Jose Alvarez 在端到端自動駕駛研討會：新興任務和挑戰(zhàn)研討會上討論自動駕駛汽車中的新 3D 感知挑戰(zhàn)；并在嵌入式視覺研討會上討論優(yōu)化用于實時推理的大型深度模型。

• NVIDIA 深度學習總監(jiān) Nikolai Smolyanskiy 在端到端自動駕駛研討會：感知、預測、規(guī)劃和模擬上討論自動駕駛汽車的實時交通預測。

• NVIDIA 杰出工程師 Robin Jenkin 在與 CVPR 同時舉行的 OmniCV 研討會上討論魚眼相機的圖像質(zhì)量。

• NVIDIA 自動駕駛汽車研究部門的研究科學家 Xinshuo Weng 在自動駕駛視覺主題研討會上討論用于自動駕駛的視覺解決方案。

CVPR 于 6 月 18 日至 22 日舉行。查看議程上的其他講座并進一步了解 NVIDIA 在 CVPR 上的情況：https://www.nvidia.com/en-us/events/cvpr/

專題圖片由 OccNet 和 Occ3D 提供。