劍橋大學(xué)兩位博士創(chuàng)辦的公司使用強(qiáng)化學(xué)習(xí)算法，無(wú)需密集標(biāo)注的3D地圖，無(wú)需人工設(shè)計(jì)的規(guī)則，讓汽車在短短20分鐘內(nèi)學(xué)會(huì)了自動(dòng)駕駛。公司成立不到50天，已經(jīng)拿到了優(yōu)步首席科學(xué)家的投資。

今天的自動(dòng)駕駛汽車雖然已經(jīng)性能不錯(cuò)，但大多數(shù)自動(dòng)駕駛汽車都使用大量的攝像頭和傳感器、地圖工具和大量的計(jì)算機(jī)程序，比較不完美。

如何讓一輛自動(dòng)駕駛汽車以最完美的速度上路？有一種做法是增加操作系統(tǒng)的智能而不是傳感器。

劍橋大學(xué)工程系的兩位博士創(chuàng)辦的Wayve團(tuán)隊(duì)使用強(qiáng)化學(xué)習(xí)算法，第一次實(shí)現(xiàn)讓計(jì)算機(jī)學(xué)會(huì)像人一樣，通過(guò)練習(xí)來(lái)完成自動(dòng)駕駛。該算法與人類安全駕駛員一起教會(huì)了汽車如何在“15-20分鐘”的時(shí)間內(nèi)保持在一條車道內(nèi)。

Wayve團(tuán)隊(duì)認(rèn)為，自動(dòng)駕駛需要的是一臺(tái)更智能的電腦，而不是更多的傳感器或程序，他們的研究也證明了自己的理論。

DeepMind玩Atari游戲需要數(shù)百萬(wàn)次試驗(yàn)，但深度強(qiáng)化學(xué)習(xí)讓汽車20分鐘內(nèi)學(xué)會(huì)自動(dòng)駕駛

DeepMind已經(jīng)證明，深度強(qiáng)化學(xué)習(xí)方法可以在許多游戲中實(shí)現(xiàn)超越人類的表現(xiàn)，包括圍棋、象棋和許多電腦游戲，而且?guī)缀蹩偸莿龠^(guò)任何基于規(guī)則的系統(tǒng)。

Wayve團(tuán)隊(duì)深得DeepMind和OpenAI經(jīng)常使用的強(qiáng)化學(xué)習(xí)算法精髓，并且巧妙的用在了自動(dòng)駕駛車上。

為了證明強(qiáng)化學(xué)習(xí)+自動(dòng)駕駛這種方法可行，Wayve團(tuán)隊(duì)配置了一輛雷諾Twizy，它很簡(jiǎn)單，只配備了一個(gè)攝像頭和油箱、剎車和轉(zhuǎn)向控制等裝置。算法使用“深度卷積神經(jīng)網(wǎng)絡(luò)”的模型，該模型接收僅使用一個(gè)GPU處理的單個(gè)圖像的輸入。

在視頻中，最初，汽車就像嬰兒邁出了第一步，步履蹣跚。但當(dāng)汽車開始轉(zhuǎn)向車道外時(shí)，一名安全駕駛員介入，重新把車轉(zhuǎn)向車道內(nèi)。算法了解到每次修正行駛過(guò)程時(shí)都是在糾錯(cuò)，并根據(jù)它在沒有任何干預(yù)的情況下行進(jìn)了多遠(yuǎn)而得到“獎(jiǎng)勵(lì)”。

通過(guò)這種方式，計(jì)算機(jī)能夠在大約20分鐘內(nèi)學(xué)會(huì)如何防止汽車從路上跑偏。在那之后，它可以無(wú)限期地行駛下去。

Wayve團(tuán)隊(duì)的這項(xiàng)研究表明，類似的哲學(xué)在現(xiàn)實(shí)世界中也是可能的，特別是在自動(dòng)駕駛汽車中。而且，DeepMind玩Atari游戲的算法需要數(shù)百萬(wàn)次試驗(yàn)才能解決一個(gè)任務(wù)。而Wayve的團(tuán)隊(duì)在不到20次的試驗(yàn)中就學(xué)會(huì)了讓車始終“沿著單行道行駛”。

無(wú)需密集標(biāo)注的3D地圖，無(wú)需人工設(shè)計(jì)的規(guī)則

大型科技公司做自動(dòng)駕駛通常采用工程思維方法，即設(shè)計(jì)一種基于規(guī)則的系統(tǒng)，處理每一個(gè)邊緣問(wèn)題，同時(shí)使用更多的傳感器，獲取更多的數(shù)據(jù)。這可能會(huì)在特定的、狹義的環(huán)境中產(chǎn)生令人鼓舞的結(jié)果，但并不能真正解決自動(dòng)駕駛問(wèn)題。

Wayve的團(tuán)隊(duì)是第一個(gè)自動(dòng)駕駛汽車在線學(xué)習(xí)的例子，每一次嘗試都會(huì)使它變得更好。那么，具體是怎么做到的呢?

他們給出了技術(shù)細(xì)節(jié)：

他們采用了一種流行的無(wú)模型深度強(qiáng)化學(xué)習(xí)算法——深度確定性策略梯度（deep deterministic policy gradients，DDPG）來(lái)解決車道跟蹤任務(wù)。模型輸入是來(lái)自單目攝像機(jī)的圖像。系統(tǒng)迭代了3個(gè)過(guò)程：探索，優(yōu)化和評(píng)估。

網(wǎng)絡(luò)架構(gòu)是一個(gè)深度網(wǎng)絡(luò)，有4個(gè)卷積層和3個(gè)完全連接層，總共只有不到10k個(gè)參數(shù)。相比之下，目前表現(xiàn)最優(yōu)的圖像分類架構(gòu)有數(shù)百萬(wàn)個(gè)參數(shù)。

所有的處理都在汽車的一個(gè)圖形處理單元（GPU）上進(jìn)行。

將機(jī)器人放到危險(xiǎn)的真實(shí)環(huán)境中工作會(huì)帶來(lái)很多新問(wèn)題。為了更好地理解手頭的任務(wù)，找到合適的模型架構(gòu)和超參數(shù)，他們?cè)?a href="http://www.www27dydycom.cn/analog/" target="_blank">模擬環(huán)境中進(jìn)行了大量的測(cè)試。

上圖是一個(gè)例子，從不同角度展示了車輛在模擬環(huán)境中如何沿著道路行駛。該算法僅看到駕駛員的視角，即上圖中間。在每個(gè)episode，隨機(jī)生成一條彎曲的車道，以及道路的紋理和車道標(biāo)記。agent一直在探索，直到偏離了車道，此時(shí)一個(gè)episode結(jié)束。然后根據(jù)搜集到的數(shù)據(jù)進(jìn)行策略優(yōu)化，一直重復(fù)這個(gè)過(guò)程。

基于任務(wù)的workflow和訓(xùn)練算法的架構(gòu)

團(tuán)隊(duì)使用模擬測(cè)試來(lái)嘗試不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)和超參數(shù)，直到找到僅需很少的訓(xùn)練次數(shù)（也就是在只有很少數(shù)據(jù)的情況下），始終能解決車道跟蹤任務(wù)的設(shè)置。例如，一個(gè)發(fā)現(xiàn)是，使用自動(dòng)編碼器重建損失來(lái)訓(xùn)練卷積層，這大大提高了訓(xùn)練的穩(wěn)定性和數(shù)據(jù)效率。

使用DDPG+VAE，極大地提高了從原始像素進(jìn)行DDPG訓(xùn)練的數(shù)據(jù)效率，這表明在實(shí)際系統(tǒng)上應(yīng)用強(qiáng)化學(xué)習(xí)時(shí)，state representation是一個(gè)重要的考慮因素。實(shí)驗(yàn)使用的250米行駛路線如右圖所示。

下表是在250米道路上實(shí)現(xiàn)自動(dòng)駕駛車輛的強(qiáng)化學(xué)習(xí)結(jié)果。

團(tuán)隊(duì)報(bào)告了每個(gè)模型的最佳性能。他們觀察到baseline RL智能體可以從頭開始學(xué)習(xí)車道跟蹤，但VAE變體更有效率，僅在11次訓(xùn)練后就成功學(xué)會(huì)沿著車道駕駛。

想象一下，部署一個(gè)自動(dòng)駕駛汽車的車隊(duì)，一開始自動(dòng)駕駛算法是人類駕駛員表現(xiàn)的95%。這樣一個(gè)系統(tǒng)不會(huì)像視頻中隨機(jī)初始化的模型那樣搖搖晃晃，而是幾乎能夠處理交通信號(hào)燈、環(huán)形路、十字路口等等各種情況。

經(jīng)過(guò)一天的駕駛和人類安全駕駛員接管提供的反饋，系統(tǒng)能夠在線提升，也許能提升到96%。一個(gè)星期后，提高到98%；一個(gè)月后，達(dá)到人類表現(xiàn)的99%。幾個(gè)月后，這個(gè)系統(tǒng)的表現(xiàn)可能以及超過(guò)了人類，因?yàn)樗軓亩嗝踩{駛員的反饋中獲益。

在20分鐘內(nèi)就學(xué)會(huì)了從零開始沿著車道行駛，那么，想象一下，一整天的話可以學(xué)到什么？

兩位劍橋博士創(chuàng)辦，公司成立不到50天已獲優(yōu)步首席科學(xué)家投資

Wayve于今年5月22日剛剛創(chuàng)立，創(chuàng)始人是兩位來(lái)自英國(guó)劍橋大學(xué)的博士Amar Shah和Alex Kendall。

Wayve團(tuán)隊(duì)現(xiàn)有約10名成員，由來(lái)自劍橋大學(xué)和牛津大學(xué)的機(jī)器人、計(jì)算機(jī)視覺和人工智能專家組成，他們之前曾在NASA、谷歌、Facebook、Skydio和微軟等公司工作過(guò)。他們專注于利用深度學(xué)習(xí)解決視覺場(chǎng)景理解、不確定環(huán)境中的自主決策等問(wèn)題。

值得一提的是，劍橋大學(xué)教授、Uber首席科學(xué)家Zoubin Ghahramani是Wayve的投資人之一。

不同于大部分自動(dòng)駕駛車輛的傳統(tǒng)思維，Wayve團(tuán)隊(duì)號(hào)稱要構(gòu)建“端到端的機(jī)器學(xué)習(xí)算法”，將強(qiáng)化學(xué)習(xí)方法用于自動(dòng)駕駛汽車。他們認(rèn)為制造真正的自動(dòng)駕駛汽車的關(guān)鍵在于軟件的自學(xué)能力，它需要的是更好的協(xié)調(diào)，這能夠使自主駕駛成為現(xiàn)實(shí)。