文章導(dǎo)讀

本文針對自動駕駛行業(yè)的視覺感知做簡要介紹，從傳感器端的對比，到數(shù)據(jù)的采集標(biāo)注，進(jìn)而對感知算法進(jìn)行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設(shè)計。

目錄

傳感器

相機(jī)標(biāo)定

數(shù)據(jù)標(biāo)注

功能劃分

模塊架構(gòu)

視覺感知系統(tǒng)主要以攝像頭作為傳感器輸入，經(jīng)過一系列的計算和處理，對自車周圍的環(huán)境信息做精確感知。目的在于為融合模塊提供準(zhǔn)確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：

道路目標(biāo)檢測（車輛、行人和非機(jī)動車）

交通標(biāo)識檢測（交通標(biāo)志和紅綠燈）

可行駛區(qū)域（道路區(qū)域和車道線）

這三類任務(wù)如果通過一個深度神經(jīng)網(wǎng)絡(luò)的前向傳播完成，不僅可以提高系統(tǒng)的檢測速度，減少計算參數(shù)，而且可以通過增加主干網(wǎng)絡(luò)的層數(shù)的方式提高檢測和分割精度。如下圖所示：可以將視覺感知任務(wù)分解成目標(biāo)檢測、圖像分割、目標(biāo)測量、圖像分類等。

傳感器

1. 前視線性相機(jī)：視角較小，一般采用52°左右的相機(jī)模組安裝于車輛前擋風(fēng)玻璃中間，主要用來感知車輛前方較遠(yuǎn)的場景，感知距離一般為120米以內(nèi)。

2. 周視廣角相機(jī)：視場角相對較大，一般采用6顆100°左右的相機(jī)模組安裝在車輛周圍一圈，主要用來感知360°的周身環(huán)境（安裝方案與特斯拉大同小異）。廣角相機(jī)存在一定的畸變現(xiàn)象，如下圖所示：

3. 環(huán)視魚眼相機(jī)：環(huán)視魚眼相機(jī)視角較大，可以達(dá)到180°以上，對近距離的感知較好，通常用于APA，AVP等泊車場景，安裝于車輛左右后視鏡下方以及前后車牌下方等4個位置做圖像的拼接、車位檢測、可視化等功能。

相機(jī)標(biāo)定

相機(jī)標(biāo)定的好壞直接影響目標(biāo)測距的精度，主要包括內(nèi)參標(biāo)定和外參標(biāo)定。

內(nèi)參標(biāo)定用于做圖像的畸變校正，外參標(biāo)定用于統(tǒng)一多個傳感器的坐標(biāo)系，將各自的坐標(biāo)原點移動到車輛后軸中心處。

最耳熟能詳?shù)臉?biāo)定方法就是張正友的棋盤格方法，在實驗室里一般會做一個棋盤格板子標(biāo)定相機(jī)，如下圖：

1. 出廠標(biāo)定

但是自動駕駛做前裝量產(chǎn)，由于批量生產(chǎn)的緣故，無法一輛輛使用標(biāo)定板做標(biāo)定，而是構(gòu)建一個場地用于車輛出廠時標(biāo)定，如下圖所示：

2. 在線標(biāo)定

另外考慮到車輛運(yùn)行一段時間或者在顛簸的過程中攝像頭位置的偏移，感知系統(tǒng)中也有在線標(biāo)定的模型，常利用消失點或車道線等檢測得到的信息實時更新俯仰角的變化。

數(shù)據(jù)標(biāo)注

自然道路場景存在各種各樣的突發(fā)狀況，所以需要采集大量的實車數(shù)據(jù)用來訓(xùn)練。高質(zhì)量的數(shù)據(jù)標(biāo)注成了一件至關(guān)重要的工作，其中感知系統(tǒng)需要檢測的全部信息均需要進(jìn)行標(biāo)注。標(biāo)注形式包括目標(biāo)級標(biāo)注和像素級標(biāo)注：

目標(biāo)級標(biāo)注如下圖：

像素級標(biāo)注如下圖：

由于感知系統(tǒng)中的檢測和分割任務(wù)常采用深度學(xué)習(xí)的方式實現(xiàn)，而深度學(xué)習(xí)是一項數(shù)據(jù)驅(qū)動的技術(shù)，所以需要大量的數(shù)據(jù)和標(biāo)注信息進(jìn)行迭代。為了提高標(biāo)注的效率，可以采用半自動的標(biāo)注方式，通過在標(biāo)注工具中嵌入一個神經(jīng)網(wǎng)絡(luò)用于提供一份初始標(biāo)注，然后人工修正，并且在一段時間后加載新增數(shù)據(jù)和標(biāo)簽進(jìn)行迭代循環(huán)。

功能劃分

視覺感知可以分為多個功能模塊，如道路目標(biāo)檢測、目標(biāo)測量、可行駛區(qū)域、車道線檢測、交通標(biāo)識檢測等。

1. 道路目標(biāo)檢測

對車輛（轎車、卡車、電動車、自行車）、行人等動態(tài)物體的識別，輸出被檢測物的類別和3D信息并對幀間信息做匹配，確保檢測框輸出的穩(wěn)定和預(yù)測物體的運(yùn)行軌跡。神經(jīng)網(wǎng)絡(luò)直接做3D回歸準(zhǔn)確度不高，通常會對車輛拆分成車頭，車身，車尾，輪胎多個部位的檢測拼成3D框。

目標(biāo)檢測難點：

小目標(biāo)檢測問題

多目標(biāo)重疊問題

部分被遮擋問題

外觀相似的問題

目標(biāo)多樣性問題

對于視覺目標(biāo)檢測，在惡劣天氣環(huán)境下，感知性能會有一定的下降；在夜晚燈光昏暗時，容易出現(xiàn)漏檢的問題。如果結(jié)合激光雷達(dá)的結(jié)果進(jìn)行融合，對于目標(biāo)的召回率會大幅提高。

具體解決方案：

目標(biāo)檢測任務(wù)現(xiàn)在大多采用深度學(xué)習(xí)的方法來做位置的回歸和類別的區(qū)分。在設(shè)計神經(jīng)網(wǎng)絡(luò)的時候，可以考慮以下Tricks：

降低下采樣率并結(jié)合空洞卷積，減少小物體特征的損失；

采用FPN結(jié)構(gòu)進(jìn)行深層特征和淺層特征的融合來增強(qiáng)目標(biāo)的特征信息；

加入Mosiac，MixUp等混疊形式的數(shù)據(jù)增強(qiáng)方法，提供模型對重疊和遮擋場景的魯棒性；

多種算法或傳感器的聯(lián)合校驗，降低在特定場景下的誤檢或漏檢率；

但是深度學(xué)習(xí)作為一種概率形式的算法，即使提取特征能力強(qiáng)大，也不能覆蓋掉所有的動態(tài)物體特征。在工程開發(fā)中可以依據(jù)現(xiàn)實場景增加一些幾何約束條件（如尺寸信息，空間位置信息，運(yùn)動連貫性等）。

增加幾何約束的好處是提高檢測率，降低誤檢率，如轎車不可能誤檢為卡車?？梢杂?xùn)練一個3D檢測模型再配合后端多目標(biāo)追蹤優(yōu)化以及基于單目視覺幾何的測距方法完成功能模塊。

2. 目標(biāo)測量

目標(biāo)測量包括測量目標(biāo)的橫縱向距離，橫縱向速度等信息。根據(jù)目標(biāo)檢測跟蹤的輸出借助地面等先驗知識從2D的平面圖像計算車輛等動態(tài)障礙物的距離信息、速度信息等或者通過NN網(wǎng)絡(luò)直接回歸出現(xiàn)世界坐標(biāo)系中的物體位置。如下圖所示：

單目測量難點：

如何從缺乏深度信息的單目系統(tǒng)中計算出前方的物體距離。那么我們需要弄清楚以下幾個問題：

功能需求的測距范圍

場景提供的先驗知識

需要做到的橫縱向精度

如果大量依賴模式識別技術(shù)來彌補(bǔ)深度的不足。那么模式識別是否足夠健壯能滿足串行生產(chǎn)產(chǎn)品的嚴(yán)格檢測精度要求?

單目測量方案：

其一，就是通過光學(xué)幾何模型（即小孔成像模型）建立測試對象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系，結(jié)合攝像頭內(nèi)、外參的標(biāo)定結(jié)果，便可以得到與前方車輛或障礙物間的距離；

其二，就是在通過采集的圖像樣本，直接回歸得到圖像像素坐標(biāo)與車距間的函數(shù)關(guān)系，這種方法缺少必要的理論支撐，是純粹的數(shù)據(jù)擬合方法，因此受限于擬合參數(shù)的提取精度，魯棒性相對較差。

3.可行駛區(qū)域

對車輛行駛的可行駛區(qū)域進(jìn)行劃分主要是對車輛、路沿、無障礙物的區(qū)域進(jìn)行劃分，最后輸出自車可以通行的安全區(qū)域。

可行駛區(qū)域難點：

分割的區(qū)域邊緣不夠精細(xì)；

數(shù)據(jù)的類別存在大量不平衡問題；

如何從分割圖中獲取可行駛區(qū)域；

可行駛區(qū)域方案：

可行駛區(qū)域的檢測本質(zhì)上是一種語義分割的問題，大多采用深度學(xué)習(xí)進(jìn)行實現(xiàn)。近些年分割網(wǎng)絡(luò)在空洞卷積，池化金字塔，路徑聚合，環(huán)境編碼等方法的助力下效果越來越好，但是在靜態(tài)或動態(tài)障礙物的邊界處還是存在一些毛刺。在工程上可以配合路沿、車道線、目標(biāo)框的結(jié)果來修正語義的邊緣信息并從矢量包絡(luò)或柵格圖中定義可行駛區(qū)域；數(shù)據(jù)的不平衡問題往往出在訓(xùn)練階段，通?？蓮膿p失函數(shù)的設(shè)計以及數(shù)據(jù)的上下采樣來緩解此類現(xiàn)象。

4. 車道線檢測

車道線檢測包括對實線、虛線、單黃線、雙黃線檢測、匯入線等各種類型的檢測。功能要求上也逐漸從像素級的分割到抽象空間的判斷，如下圖所示：

車道線檢測難點：

車道線的細(xì)長形態(tài)結(jié)構(gòu)，需要強(qiáng)大的高低層次特征融合，來同時獲取全局的空間結(jié)構(gòu)關(guān)系，和細(xì)節(jié)處的定位精度。

車道線的形態(tài)有很多不確定性，比如被遮擋，磨損，以及道路變化時本身的不連續(xù)性。需要算法針對這些情況有較強(qiáng)的推測能力。

車輛的偏離或換道過程會產(chǎn)生自車所在車道的切換，車道線也會發(fā)生左/右線的切換。一些提前給車道線賦值固定序號的方法，在換道過程中會產(chǎn)生歧義的情況。

車道線檢測方案：

其一，基于傳統(tǒng)的圖像處理方法，通過邊緣檢測濾波等方式分割出車道線區(qū)域，然后結(jié)合霍夫變換、隨機(jī)采樣一致性等算法進(jìn)行車道線檢測。這類算法需要人工手動去調(diào)濾波算子，根據(jù)算法所針對的街道場景特點手動調(diào)節(jié)參數(shù)。

其二，基于深度學(xué)習(xí)的方法，通過二值語義分割產(chǎn)生掩碼圖部分，再對掩碼圖的線進(jìn)行三次方程擬合。

5.交通標(biāo)識檢測

交通標(biāo)識檢測包括對交通紅綠燈、交通標(biāo)志牌等靜態(tài)目標(biāo)的檢測識別。如下圖所示：

交通標(biāo)識檢測難點：

小目標(biāo)問題，往往交通標(biāo)識目標(biāo)較??；

多樣性問題，不同地區(qū)紅綠燈形態(tài)各異；

場景復(fù)雜問題，路口處的信號燈安裝位置，加上臨時信號燈，算法應(yīng)該選擇哪個作為通行標(biāo)準(zhǔn)；

交通標(biāo)識檢測方案：

雖然對于小目標(biāo)檢測、目標(biāo)多樣性問題，也可以采用類似道路目標(biāo)檢測中的修改神經(jīng)網(wǎng)絡(luò)，堆疊各種Tricks增強(qiáng)特征提取和泛化能力，再用大量數(shù)據(jù)迭代來覆蓋各種形狀的信號燈。但是最有效直接的手段仍然是基于V2X的普及，通過發(fā)送的車端的準(zhǔn)確信號，不僅解決了傳感器對交通標(biāo)識感知的檢測誤差問題，同時也可以避免路口信號燈的選擇問題。

自動駕駛的發(fā)展，很大程度上不會是單車的智能，而是依托于智慧城市的建立，在車路協(xié)同的過程中各司其職做環(huán)境的感知。

模塊架構(gòu)

目前開源的感知框架Apollo和Autoware，不少研究人員或者中小公司的感知系統(tǒng)開發(fā)會借鑒其中的思想，所以在這里介紹一下Apollo感知系統(tǒng)的模塊組成。

相機(jī)輸入-->圖像的預(yù)處理-->神經(jīng)網(wǎng)絡(luò)-->多個分支（紅綠燈識別、車道線識別、2D物體識別轉(zhuǎn)3D）-->后處理-->輸出結(jié)果（輸出物體類型、距離、速度代表被檢測物的朝向）

即輸入攝像頭的數(shù)據(jù)，以每幀信息為基礎(chǔ)進(jìn)行檢測、分類、分割等計算，最后利用多幀信息進(jìn)行多目標(biāo)跟蹤，輸出相關(guān)結(jié)果。整個感知流程圖如下：

上述核心環(huán)節(jié)仍是神經(jīng)網(wǎng)絡(luò)算法，它的精度、速度、硬件資源利用率都是需要衡量考慮的指標(biāo)，哪一個環(huán)節(jié)做好都不容易，物體檢測最容易誤檢或漏檢、車道線檢測擬合方法較難、紅綠燈這類小物體檢測難度大，通行空間的邊界點要求高。

責(zé)任編輯：lq