構(gòu)建一個能在復(fù)雜物理世界中導(dǎo)航的自動駕駛系統(tǒng)極具挑戰(zhàn)性。系統(tǒng)必須感知周圍環(huán)境并做出快速且明智的決策。乘客體驗也很重要，需要考慮加速、曲率、平滑度、路面附著力、碰撞時間等因素。

本文將介紹 Hydra-MDP，這個創(chuàng)新的框架將推動端到端自動駕駛領(lǐng)域的發(fā)展。Hydra-MDP 采用新穎的多教師、學(xué)生-教師知識提煉架構(gòu)，整合了來自人類和基于規(guī)則的規(guī)劃器的知識。這使模型能夠?qū)W習(xí)不同的軌跡，從而提高在不同駕駛環(huán)境和條件下的通用性。

圖 1 端到端規(guī)劃范式比較

Hydra-MDP 所提供的通用框架展示了如何通過基于規(guī)則的規(guī)劃器來增強基于機器學(xué)習(xí)的規(guī)劃。這一整合確保模型不僅能模仿人類駕駛行為，還能遵守交通規(guī)則和安全標(biāo)準(zhǔn)，打破了傳統(tǒng)模仿學(xué)習(xí)的局限性。

Hydra-MDP 以數(shù)據(jù)驅(qū)動的擴展法則展現(xiàn)了其魯棒性和適應(yīng)性。通過使用具有大量數(shù)據(jù)和 GPU 小時數(shù)的預(yù)訓(xùn)練基礎(chǔ)模型，Hydra-MDP 展示了其可擴展性以及持續(xù)改進(jìn)的潛力。

NVIDIA 的 Hydra-MDP 模型在 CVPR 2024 大規(guī)模端到端駕駛挑戰(zhàn)賽中獲得了第一名和創(chuàng)新獎，并且在 nuPlan 基準(zhǔn)測試中的表現(xiàn)優(yōu)于當(dāng)前最先進(jìn)的規(guī)劃器。它為基于 ML 的規(guī)劃系統(tǒng)在自動駕駛中的應(yīng)用開辟了一條前景廣闊的道路。

端到端自動駕駛是一套系統(tǒng)接收來自攝像頭、雷達(dá)和激光雷達(dá)的原始傳感器數(shù)據(jù)并直接輸出車輛控制的完整方法。

相關(guān)論文

Hydra-MDP：多目標(biāo) Hydra-Distillation 端到端多模式規(guī)劃

Hydra-MDP 采用新穎的多教師、學(xué)生-教師知識提煉架構(gòu)，整合了來自人類和基于規(guī)則的規(guī)劃器的知識。

借助基于規(guī)則的教師知識，Hydra-MDP 可以學(xué)習(xí)環(huán)境如何以端到端的方式影響規(guī)劃，而不是求助于無差別的后處理，使其在不同駕駛環(huán)境和條件下的通用性有了顯著提高。

通過多目標(biāo) Hydra-Distillation

加強多模態(tài)規(guī)劃

在開發(fā) Hydra-MDP 的過程中，NVIDIA 學(xué)到了一些關(guān)鍵的經(jīng)驗，這些經(jīng)驗決定了 Hydra-MDP 的架構(gòu)及其成功。Hydra-MDP 將人類和基于規(guī)則的知識提煉相結(jié)合，創(chuàng)建出一個強大的多功能自動駕駛模型。

以下是 NVIDIA 學(xué)習(xí)到的關(guān)鍵經(jīng)驗：

認(rèn)識到多模態(tài)和多目標(biāo)規(guī)劃的復(fù)雜性

利用多目標(biāo) Hydra-Distillation 的強大功能

克服后處理的局限性

了解環(huán)境背景的重要性

通過模擬反復(fù)完善

使用有效的模型組合

認(rèn)識到多模態(tài)和多目標(biāo)規(guī)劃的復(fù)雜性

認(rèn)識到多模態(tài)和多目標(biāo)規(guī)劃的必要性是一門“基礎(chǔ)課”。

傳統(tǒng)的端到端自動駕駛系統(tǒng)通常只側(cè)重于單個模態(tài)和目標(biāo)，這限制了其在現(xiàn)實世界中的有效性。Hydra-MDP 整合了根據(jù)安全、效率、舒適度等多個指標(biāo)定制的不同軌跡，確保模型不只是模仿人類駕駛員，而是能夠適應(yīng)復(fù)雜的駕駛環(huán)境。

圖 2 Hydra-MDP 架構(gòu)

利用多目標(biāo) Hydra-Distillation 的強大功能

多目標(biāo) Hydra-Distillation 是一個教師-學(xué)生多模態(tài)框架，它是 NVIDIA 方法中的關(guān)鍵策略。通過采用多個專業(yè)教師（既有人類教師，也有基于規(guī)則的教師），模型能夠?qū)W會預(yù)測與各種模擬指標(biāo)相一致的軌跡。該技術(shù)提高了模型在不同駕駛條件下的通用性。

NVIDIA 了解到加入基于規(guī)則的規(guī)劃器提供了一個結(jié)構(gòu)化框架，而加入人類教師則帶來了適應(yīng)性和細(xì)致的決策能力，這對于適應(yīng)不可預(yù)測的場景至關(guān)重要。

克服后處理的局限性

另一個洞察是依賴后處理進(jìn)行軌跡選擇存在固有的局限性。

傳統(tǒng)方法通常會將感知和規(guī)劃分離成不同且不可微分的步驟，從而丟失有價值的信息。Hydra-MDP 的端到端架構(gòu)將感知和規(guī)劃整合成一個無縫銜接的工作流，并在整個決策過程中保持了環(huán)境數(shù)據(jù)的豐富性。通過這種整合，使預(yù)測變得更加明智且準(zhǔn)確。

了解環(huán)境背景的重要性

加入詳細(xì)的環(huán)境背景對于規(guī)劃的準(zhǔn)確性來說至關(guān)重要。

Hydra-MDP 的感知網(wǎng)絡(luò)以 Transfuser 基線為基礎(chǔ)構(gòu)建而成，它將激光雷達(dá)和攝像機輸入所具有的特征加以組合。這種多模態(tài)融合有助于模型更好地理解和應(yīng)對復(fù)雜的駕駛環(huán)境。

Transformer 層將這些模態(tài)連接起來，保證了對環(huán)境背景的全面編碼，并提供豐富、可操作的洞察。

通過模擬反復(fù)完善

事實證明，離線模擬促進(jìn)的反復(fù)完善過程非常有價值。

在整個訓(xùn)練數(shù)據(jù)集上運行模擬生成了各項指標(biāo)的基準(zhǔn)真實模擬分?jǐn)?shù)。這些數(shù)據(jù)隨后被用于監(jiān)督訓(xùn)練過程，使模型能夠從各種模擬駕駛場景中學(xué)習(xí)。

該步驟凸顯了大量模擬在填補理論性能與實際應(yīng)用之間差距的重要性。

表 1 Hydra-MDP 的準(zhǔn)確性與輸入圖像分辨率、預(yù)訓(xùn)練和骨干架構(gòu)的函數(shù)關(guān)系。獲勝方案 Hydra-MDP-C 通過將這些因素結(jié)合在一起提高了性能。

使用有效的模型集合

有效的模型集合是取得成功的關(guān)鍵。

NVIDIA 使用了混合編碼器和子分?jǐn)?shù)集合等技術(shù)來結(jié)合模型的優(yōu)勢。這提高了 Hydra-MDP 的魯棒性，保證了最終模型能夠以高精度處理各種駕駛場景。

集合技術(shù)兼顧了計算效率和性能，對于實時應(yīng)用至關(guān)重要。

結(jié)論

Hydra-MDP 的開發(fā)是一個創(chuàng)新、實驗和不斷學(xué)習(xí)的過程。通過采用多模態(tài)和多目標(biāo)規(guī)劃、利用多目標(biāo) Hydra-Distillation，以及通過大量模擬加以完善， NVIDIA 創(chuàng)建了一個明顯優(yōu)于當(dāng)前最先進(jìn)方法的模型。這些經(jīng)驗造就了 Hydra-MDP 的成功，并為未來自動駕駛技術(shù)的進(jìn)步提供了寶貴的啟發(fā)。

更多信息，參見 Hydra-MDP：借助多目標(biāo) Hydra-Distillation 實現(xiàn)端到端多模態(tài)規(guī)劃。相關(guān)工作參見自動駕駛汽車應(yīng)用研究。