現(xiàn)如今，隨著人工智能技術(shù)的迅速發(fā)展，人們普遍認(rèn)為，未來(lái)的交通系統(tǒng)將由自動(dòng)駕駛汽車(chē)（AV）所主導(dǎo)?？梢哉f(shuō)，對(duì)于更為安全的交通設(shè)施的需求是引起人們對(duì)自動(dòng)駕駛汽車(chē)感興趣并推動(dòng)其發(fā)展的一個(gè)主要推動(dòng)力。但不可否認(rèn)，就現(xiàn)在而言，可靠和具有魯棒性的自動(dòng)駕駛汽車(chē)技術(shù)的發(fā)展仍然是一個(gè)持續(xù)的挑戰(zhàn)，對(duì)可靠的運(yùn)動(dòng)規(guī)劃和碰撞避免機(jī)制的研究尤其重要。最近，堪薩斯州立大學(xué)（Kansas State University，KSU）的科學(xué)家了提出了一種基于深度強(qiáng)化學(xué)習(xí)的新框架，用于對(duì)自動(dòng)駕駛汽車(chē)的碰撞避免機(jī)制的行為進(jìn)行基準(zhǔn)測(cè)試。

現(xiàn)如今，隨著人們對(duì)自主導(dǎo)航的興趣日益增長(zhǎng)，關(guān)于運(yùn)動(dòng)規(guī)劃和碰撞避免技術(shù)（collision avoidance techniques）的研究已經(jīng)加速了全新提議和新進(jìn)展的速度。然而，新技術(shù)的復(fù)雜性及其安全性要求使得當(dāng)前的大部分基準(zhǔn)測(cè)試框架不充分，因此對(duì)高效的比較技術(shù)的需求沒(méi)有得到滿(mǎn)足。這項(xiàng)研究提出了一種基于深度強(qiáng)化學(xué)習(xí)的新框架，用于在處理最佳對(duì)抗性智能體的最壞情況下對(duì)碰撞避免機(jī)制的行為進(jìn)行基準(zhǔn)測(cè)試，該最佳對(duì)抗性智能體進(jìn)行訓(xùn)練從而將系統(tǒng)驅(qū)動(dòng)到不安全狀態(tài)。我們將這個(gè)框架的體系結(jié)構(gòu)和流程描述為一個(gè)基準(zhǔn)測(cè)試解決方案，并通過(guò)一個(gè)比較兩種碰撞避免機(jī)制的可靠性的實(shí)際案例研究來(lái)證明其有效性，從而對(duì)有意識(shí)的碰撞嘗試做出回應(yīng)。

人們普遍認(rèn)為，未來(lái)的交通系統(tǒng)將由自動(dòng)駕駛汽車(chē)（AV）所主導(dǎo)。隨著近年來(lái)這一領(lǐng)域的迅速發(fā)展，許多人預(yù)測(cè)這種轉(zhuǎn)變將在未來(lái)十年內(nèi)發(fā)生。對(duì)更為安全的交通運(yùn)輸?shù)男枨?，是引起人們興趣和推動(dòng)自動(dòng)駕駛汽車(chē)發(fā)展的一個(gè)主要?jiǎng)訖C(jī)。一般認(rèn)為，用專(zhuān)家計(jì)算模型代替人類(lèi)駕駛員的內(nèi)在缺陷，可以顯著減少由駕駛員的誤差所導(dǎo)致的事故數(shù)量。然而，可靠和具有魯棒性的自動(dòng)駕駛汽車(chē)技術(shù)的發(fā)展仍然是一個(gè)持續(xù)的挑戰(zhàn)，并且人們正在積極從各個(gè)研究和發(fā)展方向來(lái)追求這一目標(biāo)。

圖1：對(duì)抗性目標(biāo)的圖釋

對(duì)可靠的運(yùn)動(dòng)規(guī)劃和碰撞避免機(jī)制的研究尤其重要。在過(guò)去數(shù)十年的時(shí)間里，科學(xué)家們已經(jīng)提出了許多解決這個(gè)問(wèn)題的方法，從控制理論形式化和最優(yōu)控制方法到潛在的基于場(chǎng)和規(guī)則的技術(shù)（field- and rule-based techniques），等等。最近，機(jī)器學(xué)習(xí)的進(jìn)步使得基于諸如模仿學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)（RL）等技術(shù)的全新數(shù)據(jù)驅(qū)動(dòng)的碰撞避免方法成為可能。然而，隨著其部署環(huán)境和機(jī)制日益復(fù)雜，為這些解決方案提供安全保障的挑戰(zhàn)變得越來(lái)越困難。一個(gè)值得注意的例子是交通碰撞避免系統(tǒng)（TCAS），在它廣泛部署到NextGen商用飛機(jī)之前，它就已經(jīng)滿(mǎn)足了聯(lián)邦航空局（FAA）的嚴(yán)格安全要求。然而，最近的一些表現(xiàn)表明它在現(xiàn)代高密度空域中非常不可靠，在一定程度上，它可能會(huì)導(dǎo)致不可避免的碰撞狀態(tài)（ICS）——不管未來(lái)的軌跡如何，最終都會(huì)發(fā)生碰撞。此外，最近的研究表明，自動(dòng)感知和避免機(jī)制可以被對(duì)抗性地加以利用以操縱自動(dòng)駕駛車(chē)輛的運(yùn)動(dòng)軌跡。

作為回應(yīng)，科學(xué)家們提出了越來(lái)越多的緩解技術(shù)和全新的安全運(yùn)動(dòng)規(guī)劃方法，但每一種都有特定的特定于案例的假設(shè)和驗(yàn)證程序。因此，對(duì)這些方法進(jìn)行定量比較變得非常困難。當(dāng)前最為先進(jìn)的方法包括在運(yùn)動(dòng)規(guī)劃和碰撞避免中對(duì)安全行為進(jìn)行基準(zhǔn)測(cè)試的幾次嘗試，但是許多現(xiàn)有的框架未能滿(mǎn)足基于機(jī)器學(xué)習(xí)的新自適應(yīng)技術(shù)的要求。而且，目前的基準(zhǔn)測(cè)試框架并不能提供全面的和具有魯棒性的探測(cè)機(jī)制，用于在不理想狀態(tài)和軌跡的復(fù)雜空間中進(jìn)行探索。這種框架中的突出方法是基于隨機(jī)化或基于情景的障礙產(chǎn)生，這些障礙很容易丟失特定于被測(cè)機(jī)制的關(guān)鍵ICS或其他不需要的狀態(tài)。這些框架中的另一種方法依賴(lài)于計(jì)算上昂貴的碰撞狀態(tài)可達(dá)性分析技術(shù)，而這也無(wú)法為安全運(yùn)行的關(guān)鍵邊界提供具體的保證。

圖2：實(shí)驗(yàn)環(huán)境設(shè)置

為了彌補(bǔ)以安全為中心的基準(zhǔn)測(cè)試的缺陷，本文提出了一種基于機(jī)器學(xué)習(xí)的新框架，用于在與最優(yōu)對(duì)抗性智能體進(jìn)行交互的最壞情況下對(duì)新技術(shù)的可靠性進(jìn)行基準(zhǔn)測(cè)試。該框架采用深度強(qiáng)化學(xué)習(xí)的強(qiáng)大的探索和優(yōu)化性能來(lái)訓(xùn)練對(duì)抗性自主智能體，而該智能體的目標(biāo)是學(xué)習(xí)旨在將系統(tǒng)驅(qū)動(dòng)到ICS和其他不安全狀態(tài)的最佳導(dǎo)航策略。根據(jù)分析的參數(shù)和目標(biāo)，這些目標(biāo)可能包括對(duì)抗性智能體與自動(dòng)駕駛汽車(chē)的直接碰撞，或利用避免碰撞機(jī)制來(lái)操縱自動(dòng)駕駛汽車(chē)的軌跡以改變和控制其路徑，或間接誘發(fā)自動(dòng)駕駛汽車(chē)和環(huán)境中的其他物體之間的碰撞。

在此基礎(chǔ)上，這項(xiàng)研究的主要貢獻(xiàn)包括：

1）提出碰撞避免算法的最壞情況基準(zhǔn)測(cè)試的計(jì)算框架和處理流程，且獨(dú)立于其復(fù)雜性、隨機(jī)性以及自適應(yīng)動(dòng)力學(xué)。

2）提出深度強(qiáng)化學(xué)習(xí)過(guò)程流程以無(wú)縫地適應(yīng)于被測(cè)系統(tǒng)，并克服完全隨機(jī)或基于情景的探索機(jī)制的缺點(diǎn)。

3）提出關(guān)于碰撞避免算法標(biāo)準(zhǔn)化比較的全新的衡量指標(biāo)。

4）通過(guò)一個(gè)比較兩種碰撞避免機(jī)制應(yīng)對(duì)故意碰撞企圖的可靠性的實(shí)際案例研究，來(lái)證明所提出框架的實(shí)際應(yīng)用和效果。

圖3：實(shí)驗(yàn)結(jié)果——平均超過(guò)100次運(yùn)行

總而言之，在本文中，我們提出了一個(gè)流程和框架，它利用對(duì)抗性深度強(qiáng)化學(xué)習(xí)來(lái)衡量自動(dòng)駕駛汽車(chē)的運(yùn)動(dòng)規(guī)劃和碰撞避免機(jī)制的可靠性。我們已經(jīng)確立了這一框架的優(yōu)勢(shì)，要超過(guò)當(dāng)前的基準(zhǔn)測(cè)試規(guī)劃，其中包括靈活性和通用性、通過(guò)針對(duì)特定系統(tǒng)下測(cè)試、樣本效率和自定義探索機(jī)制對(duì)對(duì)抗性策略進(jìn)行訓(xùn)練獲得的適用性探測(cè)，以及為不同系統(tǒng)之間的基準(zhǔn)測(cè)試和比較提供基線(xiàn)（例如，最壞的情況）測(cè)量。

可以這樣說(shuō)，本文所提出框架的直接架構(gòu)為進(jìn)一步研究提供了一些潛在的研究領(lǐng)域。緊隨而來(lái)的下一個(gè)步驟就是將此框架應(yīng)用于顯著的和最近發(fā)布的運(yùn)動(dòng)規(guī)劃和碰撞避免技術(shù)中，目的是為相關(guān)研究項(xiàng)目創(chuàng)建參考基準(zhǔn)。另一個(gè)有發(fā)展前景的研究領(lǐng)域是檢查近期發(fā)布技術(shù)的適用性，這些已發(fā)布的技術(shù)聲稱(chēng)在對(duì)抗性干擾下進(jìn)行訓(xùn)練可以增強(qiáng)策略的適應(yīng)力和魯棒性。因此，通過(guò)對(duì)對(duì)抗性策略和碰撞避免的強(qiáng)化學(xué)習(xí)模型的結(jié)合性訓(xùn)練進(jìn)行調(diào)查，可能會(huì)出現(xiàn)潛在的緩解和防御技術(shù)。