在交通運(yùn)輸領(lǐng)域，自動化(Automation)是最熱門的研究課題之一。預(yù)計(jì)10年之內(nèi)，完全自動駕駛的汽車就可以生產(chǎn)出來。 ---2015《Nature》

圖片來自SpringerLink

文章節(jié)選

10年之內(nèi)真的可以造出完全自動駕駛的汽車嗎？坦白來說，就目前的研究進(jìn)展和面臨的挑戰(zhàn)，這一目標(biāo)的實(shí)現(xiàn)尚需更多時日。

自動駕駛的發(fā)展歷史

發(fā)展自動系統(tǒng)的目的在于幫助人們處理一些日常事務(wù)。而自動駕駛系統(tǒng)，與人們?nèi)粘３鲂惺志o密，因此成為當(dāng)前最關(guān)注的技術(shù)之一。它能把人的雙手從方向盤上解放出來，騰出更多時間完成其他工作。此外，自動駕駛車輛配置的傳感器還能迅速識別周圍環(huán)境，保證安全駕駛，減少交通事故。

圖片來自網(wǎng)絡(luò)

當(dāng)前，有兩股動力在推進(jìn)自動駕駛研究：一是由各個政府、研究機(jī)構(gòu)、生產(chǎn)商發(fā)起的研究計(jì)劃和挑戰(zhàn)任務(wù)；另一個則是諸多公開測試(benchmarks)。

1）研究項(xiàng)目及挑戰(zhàn)賽事

自1986年，歐洲發(fā)起"智能交通運(yùn)輸系統(tǒng)項(xiàng)目"，簡稱PROMETHEUS，19個國家的13余家汽車生產(chǎn)商和研究機(jī)構(gòu)參與其中。來自卡耐基梅隆大學(xué)的Charles Thorpe等人在美國發(fā)起了第一個自動駕駛項(xiàng)目，1995年，該研究項(xiàng)目取得很大進(jìn)展，汽車從賓夕法尼亞州的匹茲堡自動駕駛至加利福尼亞州的圣地亞哥。同年，在諸多研究的支持下，美國政府組建國家自動高速公路系統(tǒng)聯(lián)盟(NAHSC)。一系列項(xiàng)目推動了對高速公路場景(highway scenarios)長期系統(tǒng)的研究。然而，這些研究始終未涉及城市場景。

圖片來自網(wǎng)絡(luò)

實(shí)際上，城市場景與人們的日常生活密切相關(guān)。由美國國防高級研究計(jì)劃局(DARPA)組織的“DARPA超級挑戰(zhàn)賽”大大加快了自動駕駛車輛研究的發(fā)展進(jìn)程。2004年和2005年分別舉辦第一屆和第二屆。2007年11月3日，第三屆DARPA挑戰(zhàn)賽---“城市挑戰(zhàn)”在加利福尼亞維克多維爾的喬治空軍基地拉開帷幕，目的是在莫哈韋沙漠中測試自動駕駛車輛的性能，比賽規(guī)定車輛在遵守交通規(guī)則的同時，也要能夠與其他車輛及障礙物進(jìn)行溝通協(xié)調(diào)，充分融入整個交通場景中。6小時內(nèi)，4個參賽組完成了路線行駛。

圖片來自網(wǎng)絡(luò)

2009年，中國國家自然科學(xué)基金委發(fā)起了“中國智能車未來挑戰(zhàn)賽”(iVFC)。截止到2017年11月，已經(jīng)成功舉辦9屆。谷歌也在2009年啟動了自動駕駛研究項(xiàng)目，至2018年3月已累計(jì)完成超過500萬英里的自動駕駛測試。2016年，項(xiàng)目部門發(fā)展成一個獨(dú)立研究自動駕駛技術(shù)的公司W(wǎng)aymo。2016年10月，特斯拉發(fā)布Autopilot 2.0，配置了多個攝像機(jī)、12個超聲傳感器和1個前向雷達(dá)，所有搭載Autopilot 2.0的車輛都具有自動駕駛能力。

圖片來自網(wǎng)絡(luò)

實(shí)際上，越來越多的汽車生產(chǎn)商，如奧迪、寶馬、奔馳等，也開始著手研究自己的自動駕駛汽車。

2）測試(Benchmarks)

2012年，Andreas Geiger等人提出KITTI視覺測試數(shù)據(jù)集(KITTI vision benchmark)，其中包含6個不同的城市場景，以及156個時長2-8分鐘的視頻片段。這些數(shù)據(jù)由配置了一個彩色和黑白攝像機(jī)、威力登3D激光掃描儀(Velodyne 3D laser scanner)和高精度GPS/IMU慣性導(dǎo)航系統(tǒng)(inertial navigation systems)的汽車采集而來。

同時，劍橋大學(xué)發(fā)布CamVid數(shù)據(jù)集，包含4個城市場景的視頻序列(video sequences)，提供了語義分割評價測試(evaluation benchmark)。另一個頗受歡迎的測試是2016年公開的Cityscapes數(shù)據(jù)集，其中收集了50個城市中的場景，包含5000張精標(biāo)圖像(fine-annotated images)和20000張粗標(biāo)圖像(coarse-annotated images)。Cityscapes已成為完成語義分割任務(wù)時，最具挑戰(zhàn)的數(shù)據(jù)集。

圖片來自文章

標(biāo)注(annotation)是一件耗時且費(fèi)力的工作?；诖?，Adrien Gaidon等人借助計(jì)算機(jī)圖像技術(shù)，構(gòu)建了一個大規(guī)模的類似KITTI數(shù)據(jù)集的虛擬數(shù)據(jù)集。虛擬數(shù)據(jù)集的優(yōu)點(diǎn)在于可以生成任何想要的任務(wù)，即使該項(xiàng)任務(wù)非常罕見。然而，對于復(fù)雜多樣的場景而言，這些測試的生命周期都很短暫。

為解決這個問題，Will Maddern等人通過一年內(nèi)重復(fù)穿行牛津大學(xué)中央的一條路線，行駛了1000多公里，采集了多于20TB的圖像、LIDAR和GPS數(shù)據(jù)。這個數(shù)據(jù)集反映了更多城市場景、照明和天氣的變化，但不足之處在于沒有提供充分標(biāo)注。除了配置各種傳感器系統(tǒng)外，一些研究者還專注于全景校準(zhǔn)(full view calibration)，通過給測試車輛安裝多個攝像機(jī)，他們從不同視角收集數(shù)據(jù)，如：LISA-Trajectory、PKU-POSS數(shù)據(jù)集。

自動駕駛技術(shù)發(fā)展面臨的困難

當(dāng)前，自動駕駛技術(shù)的發(fā)展主要面臨以下困難：

1) 當(dāng)前對于環(huán)境感知，如對交通場景中參與者的檢測、追蹤和分割，在真實(shí)環(huán)境中仍然會出現(xiàn)無法避免的錯誤。

2) 駕駛環(huán)境非常復(fù)雜，無法預(yù)測，且實(shí)時變化，充滿不確定性。

3) 關(guān)于深度交通場景理解(deep traffic scene understanding)的研究遠(yuǎn)遠(yuǎn)不夠，如理解場景的幾何/拓?fù)浣Y(jié)構(gòu)，參與者(行人、車輛等)的時空變化等，這類研究的終極目標(biāo)是在語義上推理出場景演化(scene evolvement)，從而為行動計(jì)劃和自動駕駛控制提供參考，但該研究開展起來非常困難，因?yàn)檫@些因素是隱性存在于自動駕駛環(huán)境中的，無法直接通過觀察得到。

4) 自動駕駛車輛的應(yīng)用遭遇社會阻力和道德追問。

本文結(jié)構(gòu)

本文集中討論自動駕駛車輛對交通場景的深度理解，旨在從事件推理的角度(event reasoning view)，探索交通場景的演變。因?yàn)橥ㄟ^可追蹤的推理策略，事件能反映場景的動態(tài)演化過程。為了更加清晰且有邏輯地展現(xiàn)本研究，文章從表現(xiàn)(representation)、檢測(detection)和預(yù)測(prediction)三個階段來推理事件。

圖片來自文章

在表現(xiàn)階段(representation stage)，作者詳細(xì)探討了自動駕駛的顯著性(saliency)、上下文布局(contextual layout)、拓?fù)湟?guī)則(topology rules)，旨在為下面兩階段獲取高質(zhì)量研究線索(clues)。在檢測階段(detection stage)，作者從不同參與者(participants)的角度回顧了事件檢測(event detection)，如行人角度和車輛角度。在預(yù)測階段(prediction stage)，文章集中于探討研發(fā)自動駕駛車輛的意圖，并將其分為長期意圖預(yù)測(long-term intention prediction)和短期意圖預(yù)測(short-term prediction)。

圖片來自網(wǎng)絡(luò)

除了這些階段，近年也出現(xiàn)了一些針對自動駕駛場景理解的端對端方法(end-to-end approaches)，如FCN(fully convolutional networks)和FCN-LSTM。文章第5部分集中討論了這類方法。此外，文章還討論了一些開放性問題和挑戰(zhàn)，并盡力給出一些可行的解決辦法。

全文結(jié)構(gòu)如下：

第一部分是引言，第二部分討論了場景表現(xiàn)(representation of scene)，為接下來的事件推理鋪路；第三部分回顧了行人及車輛事件檢測；第四部分概述了意圖預(yù)測；第五部分介紹了基于深度學(xué)習(xí)技術(shù)，直接推理(direct reasoning)的端對端框架(end-to-end frameworks)；第六部分集中于事件推理(event reasoning)的評價指標(biāo)(evaluation metrics)和相關(guān)數(shù)據(jù)集；第七部分是本文結(jié)論。

全文信息

A Survey of Scene Understanding by Event Reasoning in Autonomous Driving

Jian-RuXue, Jian-WuFang, PuZhang

摘要：

Realizing autonomy is a hot research topic for automatic vehicles in recent years. For a long time, most of the efforts to this goal concentrate on understanding the scenes surrounding the ego-vehicle (autonomous vehicle itself). By completing lowlevel vision tasks, such as detection, tracking and segmentation of the surrounding traffic participants, e.g., pedestrian, cyclists and vehicles, the scenes can be interpreted. However, for an autonomous vehicle, low-level vision tasks are largely insufficient to give help to comprehensive scene understanding. What are and how about the past, the on-going and the future of the scene participants? This deep question actually steers the vehicles towards truly full automation, just like human beings. Based on this thoughtfulness, this paper attempts to investigate the interpretation of traffic scene in autonomous driving from an event reasoning view. To reach this goal, we study the most relevant literatures and the state-of-the-arts on scene representation, event detection and intention prediction in autonomous driving. In addition, we also discuss the open challenges and problems in this field and endeavor to provide possible solutions.