在當(dāng)今的時(shí)代背景下，隨著技術(shù)的發(fā)展，汽車公司不斷的推出輔助駕駛和自動(dòng)駕駛技術(shù)。與此同時(shí)美國(guó)已有29個(gè)州頒布了與自動(dòng)駕駛車輛相關(guān)的立法，新興的智能車輛時(shí)代已經(jīng)來(lái)臨。而如何管理無(wú)人車輛和愈加復(fù)雜的道路交通，逐漸成為擺在人們面前的一個(gè)重大課題。

加州大學(xué)伯克利分校的交通研究人員正在使用機(jī)器學(xué)習(xí)的方法來(lái)管理自動(dòng)、半自動(dòng)和有人類駕駛車輛共享道路的交通。在這個(gè)月于瑞士蘇黎世舉辦的CoRL 2018機(jī)器人學(xué)習(xí)會(huì)議上，伯克利分校的研究者們首次提出了解決實(shí)際交通問(wèn)題的標(biāo)準(zhǔn)，并將緩解舊金山 - 奧克蘭灣大橋的交通流量瓶頸問(wèn)題作為實(shí)際應(yīng)用，并且將該項(xiàng)目命名為Flow。

曾經(jīng)用于解決智能車輛集成問(wèn)題的傳統(tǒng)方法為：使用手動(dòng)派生算法來(lái)設(shè)計(jì)控制模型?，F(xiàn)在，通過(guò)引入基于機(jī)器學(xué)習(xí)的控制方法，可以提供具有低能耗高性能的新型流量管理解決方案，其在計(jì)算準(zhǔn)確率與計(jì)算速度方面的優(yōu)勢(shì)遠(yuǎn)高于手動(dòng)派生算法。

“Flow”項(xiàng)目通過(guò)使用人工智能的方法，實(shí)現(xiàn)大規(guī)模、多車輛協(xié)同工作的情景模擬，它還是一個(gè)基于云的開源系統(tǒng)，因此開發(fā)者們可以繼續(xù)以此為基礎(chǔ)進(jìn)行二次開發(fā)。該系統(tǒng)使用來(lái)自附近智能車輛或基礎(chǔ)設(shè)施的數(shù)據(jù)來(lái)管理交通運(yùn)輸中的汽車，從而實(shí)現(xiàn)大規(guī)模道路交通管理。例如，為了防止道路中由于出現(xiàn)交通流量瓶頸而造成的擁堵問(wèn)題，自動(dòng)駕駛汽車可以利用其速度和位置信息來(lái)規(guī)劃附近車輛合理的車道合并算法，避免人為的車輛減速或者因?yàn)楹狭鞫斐傻膿矶隆?/p>

Flow利用深度強(qiáng)化學(xué)習(xí)，從經(jīng)驗(yàn)中不斷總結(jié)和迭代，提升解決方案的性能。包括機(jī)器人控制、游戲策略在內(nèi)的多種應(yīng)用程序都在使用深度強(qiáng)化學(xué)習(xí)來(lái)提升模型性能，但這是第一次與流量模擬工具集成。下圖所示為Flow項(xiàng)目的組成圖和訓(xùn)練與評(píng)估過(guò)程流程圖。

交通管理方面的專業(yè)人士認(rèn)為：“我們需要一個(gè)更精密的交通管理系統(tǒng)，還需要考慮如何使用這些自動(dòng)駕駛汽車作為交通控制的一部分，即使有4％或5％的車輛可以實(shí)現(xiàn)這種功能，其所帶來(lái)的便利性也是不可估量的?！?/p>

建立可比性的評(píng)價(jià)框架

要想建立一個(gè)公平的具有可比性的框架，首先要解決怎么比對(duì)的問(wèn)題：“除非我們處理同樣的問(wèn)題，否則很難比較結(jié)果。需要明確目標(biāo)對(duì)象是紐約高速公路還是加州高速公路？ 一組20輛車還是50輛？ 你需要進(jìn)行一對(duì)一的比較，以了解哪種解決方案更好?！?/p>

研究人員認(rèn)為，可以將這些解決方案成變?yōu)闃?biāo)準(zhǔn)案例庫(kù)，以便后期的參照和比較。同時(shí)Vanderbilt大學(xué)土木與環(huán)境工程副教授表示，提供代碼至關(guān)重要，在交通運(yùn)輸界，我們可以使用這些基準(zhǔn)來(lái)比較和競(jìng)爭(zhēng)，并且可以達(dá)到重現(xiàn)結(jié)果的標(biāo)準(zhǔn)。

標(biāo)準(zhǔn)化基準(zhǔn)測(cè)試已經(jīng)存在于其他深度強(qiáng)化學(xué)習(xí)應(yīng)用中，包括自然語(yǔ)言處理和機(jī)器人技術(shù)。 但對(duì)于交通管理至今還未有廣為認(rèn)可的標(biāo)準(zhǔn)。來(lái)自Bayen實(shí)驗(yàn)室的早期論文將Flow作為一個(gè)交通仿真平臺(tái)，然后使用簡(jiǎn)單的場(chǎng)景建立了初步基準(zhǔn)，例如汽車駕駛成環(huán)狀或八字形。

對(duì)于Flow項(xiàng)目：研究者們指定了非常詳細(xì)的應(yīng)用場(chǎng)景 ：工程師可以用來(lái)解決常見(jiàn)類型的標(biāo)準(zhǔn)“任務(wù)”。 項(xiàng)目中提出了一個(gè)典型的交通流量瓶頸模型：舊金山 - 奧克蘭海灣大橋的車道變窄問(wèn)題 ，項(xiàng)目的目標(biāo)是最大限度地從橋上流出汽車。具體來(lái)看，這一項(xiàng)目已經(jīng)有了很多的框架和細(xì)節(jié): 研究人員可以定義每個(gè)車道的交通量，車輛位置和速度 ，以此作為基準(zhǔn)案例，任何人都可以提出解決方案，并且有一個(gè)比較這些解決方案的標(biāo)準(zhǔn)。該研究的其他基準(zhǔn)包括入口匝道合并和曼哈頓交通信號(hào)燈模型。

下圖為舊金山 - 奧克蘭灣大橋上的交通流量瓶頸問(wèn)題示意圖，其描述了車道從四個(gè)合并到二個(gè)，再到一個(gè)的過(guò)程。研究人眼證明了人工智能算法能夠?qū)W習(xí)出一種合理的策略，使得在維持穩(wěn)定的高流入的過(guò)程中，保證有效的流出量。下圖左方曲線顯示了強(qiáng)化學(xué)習(xí)后的結(jié)果是：在高流入時(shí)，流出量提高了25％；通過(guò)右方曲線可以發(fā)現(xiàn)：通過(guò)比較人工智能控制方法與與匝道測(cè)量的流入流出曲線，在高流入時(shí)，它們的表現(xiàn)相當(dāng)。

研究人員們希望日后能夠解決更加復(fù)雜的場(chǎng)景問(wèn)題，同時(shí)，他們也希望社區(qū)和外部參與者可以積極參與項(xiàng)目不斷提高模型表現(xiàn)。該研究的最終目標(biāo)是系統(tǒng)在全市范圍內(nèi)管理交通，結(jié)合豐富的人類駕駛資源，同時(shí)充分利用為數(shù)不多但總量在不斷增長(zhǎng)的智能車輛在路上的優(yōu)勢(shì)。

未來(lái)，研究人員還會(huì)研究這種技術(shù)方法的潛在缺點(diǎn)和意外后果。例如，如果交通平滑效果很好，旅行時(shí)間的改善可能會(huì)吸引更多的司機(jī)上路，但會(huì)破壞短期收益以及減少溫室氣體排放和能源消耗的更大目標(biāo)?；旌献灾谓煌ㄊ侵鸩綄?shí)現(xiàn)自動(dòng)駕駛汽車整合的必由之路。通過(guò)這些先進(jìn)的技術(shù)我們可以提前模擬未來(lái)，并及時(shí)制定積極的應(yīng)對(duì)策略。