RAD

端到端智駕強化學習后訓練范式

受限于算力和數(shù)據(jù)，大語言模型預訓練的 scalinglaw 已經(jīng)趨近于極限。DeepSeekR1/OpenAl01通過強化學習后訓練涌現(xiàn)了強大的推理能力,掀起新一輪技術革新。當下主流的端到端智駕模型采用模仿學習訓練范式，即從大量的人類駕駛數(shù)據(jù)中擬合類人的駕駛策略。與大語言模型預訓練范式相對應，模仿學習的 scaling law 也將觸及瓶頸,其上限是人類的駕駛水平,難以實現(xiàn)遠超人類的高階自動駕駛。此外，模仿學習天然存在因果混淆和開環(huán)閉環(huán)差異性兩方面的局限性，其下限(安全性和穩(wěn)定性)也難以保證。

我們提出端到端強化學習后訓練范式 RAD(ReinforcedAutonomous Driving),基于 3DGS 技術構建真實物理世界的孿生數(shù)字世界，讓端到端模型在數(shù)字世界中控制車輛行駛，像人類駕駛員一樣不斷地與環(huán)境交互并獲得反饋,基于安全性相關的獎勵函數(shù),通過強化學習微調(diào)引導模型建模物理世界的因果關系。強化學習和模仿學習天然地互補，在模仿學習scalinglaw 的基礎上，強化學習scaling law 將進一步拓展端到端智駕模型的能力邊界。

項目主頁：https://hgao-cv.github.io/RAD 論文地址：https://arxiv.org/pdf/2502.13144

概述

受限于算力和數(shù)據(jù)，大語言模型預訓練的scaling law已經(jīng)趨近于極限。DeepSeek R1 / OpenAI o1 通過強化學習后訓練涌現(xiàn)了強大的推理能力，掀起新一輪技術革新。當下主流的端到端智駕模型采用模仿學習訓練范式，即從大量的人類駕駛數(shù)據(jù)中擬合類人的駕駛策略。與大語言模型預訓練范式相對應，模仿學習的scaling law也將觸及瓶頸，其上限是人類的駕駛水平，難以實現(xiàn)遠超人類的高階自動駕駛。此外，模仿學習天然存在因果混淆和開環(huán)閉環(huán)差異性兩方面的局限性，其下限(安全性和穩(wěn)定性)也難以保證。我們提出端到端強化學習后訓練范式RAD(Reinforced Autonomous Driving)，基于3DGS技術構建真實物理世界的孿生數(shù)字世界，讓端到端模型在數(shù)字世界中控制車輛行駛，像人類駕駛員一樣不斷地與環(huán)境交互并獲得反饋，基于安全性相關的獎勵函數(shù)，通過強化學習微調(diào)引導模型建模物理世界的因果關系。強化學習和模仿學習天然地互補，在模仿學習scaling law的基礎上，強化學習scaling law將進一步拓展端到端智駕模型的能力邊界。

模仿學習的局限性：因果混淆與開環(huán)閉環(huán)差異

因果混淆(causal confusion)是模仿學習訓練范式的一大痛點。模仿學習的本質(zhì)是使神經(jīng)網(wǎng)絡模仿人類駕駛員的駕駛策略，其優(yōu)化目標是最小化預測軌跡與專家軌跡之間的差異。模仿學習建模的是環(huán)境信息和規(guī)劃軌跡之間的相關性而非因果關系，容易造成因果混淆的問題。特別是對于端到端自動駕駛而言，輸入的環(huán)境信息尤為豐富，很難從高維度信息中找出導致規(guī)劃結(jié)果的真實原因，容易導致捷徑學習(shortcut learning)，例如，從歷史軌跡外推未來軌跡。此外，由于訓練集主要由常見的駕駛行為主導，在僅使用模仿學習訓練的情況下，導致對駕駛的安全性不夠敏感。

另外，開環(huán)訓練和閉環(huán)部署之間的差距，也是模仿學習訓練范式難以忽視的問題。模仿學習是基于良好的分布內(nèi)駕駛數(shù)據(jù)以開環(huán)方式進行訓練，但真實世界的駕駛系統(tǒng)是一個閉環(huán)系統(tǒng)，開環(huán)與閉環(huán)間存在極大的差異。在閉環(huán)中，單步的微小軌跡誤差會隨時間累積，導致駕駛系統(tǒng)進入一個偏離訓練集分布的場景。僅經(jīng)過開環(huán)訓練的駕駛策略在面對訓練集分布外的場景時往往會失效。

RAD訓練范式

RAD基于3DGS技術構建真實物理世界的孿生數(shù)字世界，讓端到端模型在數(shù)字世界中控制車輛行駛，像人類駕駛員一樣不斷地與環(huán)境交互并獲得反饋，充分地探索狀態(tài)空間，學習應對各種復雜和罕見的分布外場景，基于安全性相關的獎勵函數(shù)，通過強化學習微調(diào)讓模型對安全性保持敏感，并建模物理世界的因果關系。

(1)三階段訓練架構

RAD 采用三階段訓練范式。在感知預訓練階段，通過監(jiān)督學習的方式，訓練模型識別駕駛場景的關鍵元素，建立對周圍環(huán)境的準確認知;規(guī)劃預訓練階段，利用大規(guī)模的真實世界駕駛示范數(shù)據(jù)，通過模仿學習來初始化動作的概率分布，避免強化學習訓練的冷啟動問題;在強化后訓練階段，強化學習和模仿學習協(xié)同對策略進行微調(diào)。強化學習主要負責引導策略建模物理世界的因果關系和適應分布外的場景;模仿學習作為正則，約束與人類駕駛行為相似性。

(2)安全導向的獎勵函數(shù)設計

為了確保自動駕駛汽車在行駛過程中的安全性，RAD 設計了專門的獎勵機制。這個機制主要關注四個方面：碰撞動態(tài)障礙物、碰撞靜態(tài)障礙物、與專家軌跡的位置偏差和航向偏差。一旦出現(xiàn)不安全的駕駛行為，比如碰撞或者偏離專家軌跡，就會觸發(fā)相應的懲罰獎勵。通過這種方式，引導策略有效地應對關鍵安全事件，讓自動駕駛汽車在訓練過程中逐漸學會如何避免危險，更好地理解現(xiàn)實世界中的因果關系。

(3)策略優(yōu)化與輔助目標設計

為了提高訓練效率和效果，RAD將動作解耦為橫向動作和縱向動作，在 0.5 秒的短時間范圍內(nèi)構建動作空間，有效降低了動作空間的維度，加快了訓練的收斂速度。此外，在策略優(yōu)化方面，RAD 使用廣義優(yōu)勢估計(GAE)來傳播獎勵，優(yōu)化前面步驟的動作分布?？紤]到動作空間的解耦，將獎勵和價值函數(shù)也進行解耦，分別計算橫向和縱向的優(yōu)勢估計，并根據(jù)近端策略優(yōu)化(PPO)來微調(diào)策略。

同時，針對強化學習中常見的稀疏獎勵問題，RAD 引入了輔助目標。這些輔助目標基于動態(tài)碰撞、靜態(tài)碰撞、位置偏差和航向偏差等多種獎勵源設計，能夠?qū)εf策略選擇的動作進行評估，并通過調(diào)整動作概率分布來懲罰不良行為。例如，當前方存在潛在碰撞風險時，系統(tǒng)會降低加速動作的概率，并提升減速或制動的概率;當車輛偏離預定軌跡向左偏移時，則增加向右修正方向的動作概率，以減少軌跡偏差。通過這種方式，RAD 為整個動作分布提供密集的指導信息，確保策略能夠更快學會安全合理的駕駛行為，從而加速訓練的收斂。

閉環(huán)驗證

RAD 通過基于大規(guī)模 3DGS 的強化學習訓練，學習到了更有效的駕駛策略。在相同的閉環(huán)評估基準測試中，RAD 的碰撞率相較于傳統(tǒng)的模仿學習策略降低了 3 倍。這一結(jié)果表明，RAD 能在復雜的交通狀況下有效避免與動靜態(tài)障礙物的碰撞，做出更加安全、合理的決策。例如，在遇到突然闖入道路的行人或車輛時，RAD 能夠迅速做出準確反應，及時調(diào)整車速和行駛方向，避免碰撞事故的發(fā)生，而模仿學習策略則可能難以應對這種突發(fā)情況。 我們提供了一系列典型場景的閉環(huán)結(jié)果，以直觀展示 RAD 與模仿學習策略在實際駕駛場景中的關鍵差異：

場景1：繞行;右轉(zhuǎn)

場景2：U形掉頭

場景3：跟車蠕行

場景4：無保護左轉(zhuǎn)

場景5：擁擠路口通行

場景6：無保護左轉(zhuǎn)

場景7：繞行;窄道通行

場景8：無保護左轉(zhuǎn)

場景9：跟車行駛

后續(xù)工作

RAD作為創(chuàng)新的端到端自動駕駛后訓練范式，具有廣闊的應用前景和潛力。目前RAD仍存在一些局限性。例如，其他交通參與者的行為是基于場景回放，缺乏交互性的響應;在非剛性物體的渲染、欠觀測視角和低光照場景等方面，3DGS的效果還有提升的空間。在后續(xù)工作中，我們將進一步提升3DGS孿生數(shù)字世界的真實性和交互性，并繼續(xù)探索強化學習scaling law的上限。