面對(duì)復(fù)雜多變的交通場(chǎng)景，基于學(xué)習(xí)的方法已成為了實(shí)現(xiàn)高級(jí)別自動(dòng)駕駛系統(tǒng)的主流方案。然而，基于學(xué)習(xí)的自動(dòng)駕駛系統(tǒng)仍面臨以下挑戰(zhàn)：

對(duì)復(fù)雜的規(guī)則和獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)的需求使其在理解交通法規(guī)等高級(jí)信息上存在困難。

受限于數(shù)據(jù)量和采樣效率，處理罕見事件是其面臨的一大挑戰(zhàn)。

由于神經(jīng)網(wǎng)絡(luò)的黑盒特性，現(xiàn)有基于學(xué)習(xí)的自動(dòng)駕駛系統(tǒng)缺乏良好的可解釋性。

針對(duì)以上問題，我們提出將大語言模型（LLM）作為自動(dòng)駕駛系統(tǒng)的決策核心，利用LLM像人一樣思考的能力，將人類常識(shí)和推理能力作為自動(dòng)駕駛系統(tǒng)決策的指導(dǎo)。同時(shí)，我們開發(fā)了將LLM給出的高層決策轉(zhuǎn)化為具體駕駛行為的方法，將高層決策與底層控制器無縫結(jié)合。

在CVer微信公眾號(hào)后臺(tái)回復(fù)：MPC，可以下載本論文pdf，學(xué)起來！

LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving 論文：https://arxiv.org/abs/2310.03026 項(xiàng)目網(wǎng)站：https://sites.google.com/view/llm-mpc LanguageMPC：將大語言模型與模型預(yù)測(cè)控制無縫結(jié)合

LanguageMPC首次將LLM應(yīng)用于駕駛場(chǎng)景，并設(shè)計(jì)了將文字形式高層決策轉(zhuǎn)化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環(huán)島等復(fù)雜交通場(chǎng)景中均優(yōu)于現(xiàn)有基于學(xué)習(xí)和基于優(yōu)化的自動(dòng)駕駛系統(tǒng)。同時(shí)，我們還展示了LanguageMPC在應(yīng)對(duì)多車協(xié)同控制、文字輔助駕駛等復(fù)雜任務(wù)時(shí)的強(qiáng)大性能。

LanguageMPC的技術(shù)核心在于以下兩點(diǎn)：

專用于駕駛場(chǎng)景的思維鏈框架。我們使用Langchain管理LLM，通過設(shè)計(jì)初始prompt和多種工具，指導(dǎo)LLM依次完成對(duì)周車的意圖判斷和注意力分配、判斷自車所處情景、給出駕駛動(dòng)作指引等任務(wù)。我們將整個(gè)駕駛?cè)蝿?wù)劃分為多個(gè)子任務(wù)，并重新設(shè)計(jì)了場(chǎng)景信息組織方式，通過確保信息的簡(jiǎn)潔性來提升LLM的推理能力。

高層決策與模型預(yù)測(cè)控制銜接。我們?cè)O(shè)計(jì)了將文字形式的高層決策轉(zhuǎn)化為可操作的駕駛行為的方法。具體而言，我們根據(jù)LLM的選擇來重計(jì)算觀測(cè)矩陣，調(diào)整MPC的注意力分配；調(diào)整懲罰函數(shù)的參數(shù)矩陣，使用LLM給出的情景判斷指導(dǎo)MPC；將LLM的駕駛運(yùn)動(dòng)指引轉(zhuǎn)化為運(yùn)動(dòng)偏置，直接調(diào)整MPC的駕駛行為。

實(shí)驗(yàn)結(jié)果

定量實(shí)驗(yàn)

我們的方法在幾乎所有指標(biāo)上都有明顯提升，并且顯著降低了碰撞幾率和總體Cost。

路口無保護(hù)左轉(zhuǎn)

在路口左轉(zhuǎn)時(shí)，LanguageMPC能根據(jù)交通規(guī)則讓行對(duì)向直行車輛。

路口直行和變道超車

路口直行時(shí)，LanguageMPC能遵守路口內(nèi)不超車的規(guī)則，并在到達(dá)車道內(nèi)后迅速超車。

多車聯(lián)合控制：窄路會(huì)車

LanguageMPC通過信息匯總和分別控制，實(shí)現(xiàn)了高效的多車聯(lián)合控制，完成窄路會(huì)車。

調(diào)控駕駛風(fēng)格

LanguageMPC能根據(jù)文字指引，簡(jiǎn)單直接的調(diào)控駕駛風(fēng)格。

文字指導(dǎo)駕駛

LanguageMPC在文字指引下避開了維修路段。

LanguageMPC在關(guān)鍵指標(biāo)上大大優(yōu)于現(xiàn)有方法，并能處理復(fù)雜的真實(shí)世界駕駛場(chǎng)景，可在各種駕駛場(chǎng)景中實(shí)現(xiàn)與人類類似的性能，其推理能力和可解釋性有助于克服當(dāng)前基于學(xué)習(xí)的駕駛輔助系統(tǒng)在適應(yīng)性和透明度方面的局限性。