摘要：現(xiàn)代汽車融合了越來越多的駕駛輔助功能，其中包括車道保持功能。該功能可以讓汽車正確定位在車道線內(nèi)，這對于完全自動(dòng)駕駛汽車中車道偏離或軌跡規(guī)劃決策有很重要的意義。傳統(tǒng)車道檢測方法依賴于高度專業(yè)的手工特征標(biāo)記和后處理啟發(fā)式算法的組合，這些技術(shù)計(jì)算昂貴，并且由于道路現(xiàn)場變化而易于擴(kuò)展。最近有研究利用深度學(xué)習(xí)模型來進(jìn)行像素級車道分割訓(xùn)練，也可以用于圖像由于較大的接收范圍而沒有標(biāo)記的情況。盡管有其優(yōu)點(diǎn)，但這些方法僅限于檢測預(yù)和定義固定數(shù)量的車道，并且不能應(yīng)對車道變化。

在本文中，我們超越了上述限制，提出將車道檢測問題看作一個(gè)實(shí)例分割問題（其中每個(gè)車道都形成自己的實(shí)例）可以進(jìn)行端到端的訓(xùn)練。為了在裝配車道前對分段的車道實(shí)例進(jìn)行參數(shù)化，我們應(yīng)用了一個(gè)以圖像為條件的學(xué)習(xí)透視變換（不適用于固定的“鳥瞰”變換），這樣，我們確保了一種對道路變化具有魯棒性的車道匹配，不像現(xiàn)有的方法，依靠固定、預(yù)定義轉(zhuǎn)換的方法?？傊?，我們提出了一種快速車道檢測算法，運(yùn)行速度為50幀/秒，可以處理不同數(shù)量的車道并應(yīng)對車道變化。我們在tuSimple數(shù)據(jù)集上驗(yàn)證了我們的方法并獲得了不錯(cuò)的結(jié)果。

本文作者Davy Neevn是魯汶大學(xué)博士研究生，魯汶大學(xué)是比利時(shí)久負(fù)盛名的最高學(xué)府，歐洲歷史最悠久且最受人尊敬的大學(xué)之一，也是享譽(yù)全球的世界級頂尖研究型大學(xué)。Davy Neevn近幾年一直在從事語義分割、場景理解、實(shí)例分割等課題的研究。

傳統(tǒng)車道線檢測技術(shù)

目前，無論是在學(xué)術(shù)還是工業(yè)層面，自動(dòng)駕駛都是計(jì)算機(jī)視覺和機(jī)器人技術(shù)研究的主要焦點(diǎn)。不論何種方案，都需要使用各種傳感器和控制模塊，感知汽車周圍的環(huán)境?；跀z像頭的車道檢測是環(huán)境感知的重要方法，它可以讓車輛在車道內(nèi)正確定位，同時(shí)它對后續(xù)的車道偏離或軌跡規(guī)劃也至關(guān)重要。因此，準(zhǔn)確的基于攝像頭的車道檢測是實(shí)現(xiàn)完全自動(dòng)駕駛的關(guān)鍵推動(dòng)因素。傳統(tǒng)的車道檢測方法（例如[9]，[15]，[17]，[33]，[35]）依靠高度專業(yè)化的手工特征標(biāo)記和啟發(fā)式識(shí)別來識(shí)別車道線。這種手工標(biāo)記的方法主要是基于顏色的特征[7]，結(jié)構(gòu)張量[25]，條形過濾器[34]，脊線特征[26]等，它們可能與霍夫變換 [23]， [37]或卡爾曼濾波器[18]，[8]，[34] 相結(jié)合。識(shí)別車道線后，采用后處理技術(shù)來濾除誤檢以形成最終車道。通常，這些傳統(tǒng)方法很容易由于道路場景變化而導(dǎo)致魯棒性問題。

基于深度學(xué)習(xí)的車道線檢測

最近的研究有人用深度神經(jīng)網(wǎng)絡(luò)取代手工標(biāo)記，通過構(gòu)建一定量學(xué)習(xí)密集的特征檢測器進(jìn)行預(yù)測，即像素級的車道分段。 Gopalan等人[11]使用像素級特征描述符來建模，并且使用增強(qiáng)算法來選擇用于檢測車道標(biāo)記的相關(guān)特征。類似地，Kim和Lee [19]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與RANSAC算法結(jié)合起來以檢測車道線。注意，在他們的方法中，CNN主要用于圖像增強(qiáng)，并且只有道路場景復(fù)雜時(shí)才會(huì)使用。Huval等人[16]用CNN模型用于高速公路駕駛，其中包括執(zhí)行車道檢測和端到端CNN分類。Li等人[22]提出了使用多任務(wù)深度卷積網(wǎng)絡(luò)，其重點(diǎn)在于尋找?guī)缀诬嚨缹傩?，如位置和方向，以及檢測車道的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。還有人 [21] 做了更多的研究，利用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練如何在不利的天氣和低照度條件下共同處理車道和道路標(biāo)記檢測和識(shí)別。上述神經(jīng)網(wǎng)絡(luò)模型除了更好地劃分車道標(biāo)記的能力之外[16]，它們也可以在圖像中標(biāo)記不存在的情況下，估計(jì)車道線。然而，生成的二元分段車道仍然需要分解到不同的車道實(shí)例中。

為了解決這個(gè)問題，一些研究應(yīng)用了后處理技術(shù)，這些技術(shù)依賴幾何特性為指導(dǎo)的啟發(fā)式算法。啟發(fā)式方法在計(jì)算上比較昂貴，并且由于道路場景變化容易出現(xiàn)魯棒性問題。

實(shí)例分割方法實(shí)現(xiàn)端到端車道檢測

在本文中，我們超越了上述限制，提出將車道檢測問題作為一個(gè)實(shí)例分割問題，其中每個(gè)車道在車道類中形成自己的實(shí)例。受密集預(yù)測網(wǎng)絡(luò)在語義分割[24]，[28]，[31]，[6]和實(shí)例分割任務(wù)[36]，[38]，[30]，[2]，[14]等成功的啟發(fā)， [5]我們設(shè)計(jì)了一個(gè)多任務(wù)網(wǎng)絡(luò)分支，包括一個(gè)車道分割分支和一個(gè)車道嵌入分支，可以進(jìn)行端到端的訓(xùn)練。車道分割分支具有兩個(gè)輸出類別，即背景或車道，而車道嵌入分支進(jìn)一步將分段的車道像素分解成不同的車道實(shí)例。通過將車道檢測問題分解為上述兩個(gè)任務(wù)，我們可以充分利用車道分割分支的功能，而不必為不同的車道分配不同的類別。相反，使用聚類損失函數(shù)訓(xùn)練的車道嵌入分支將車道ID分配給來自車道分割分支的每個(gè)像素，同時(shí)忽略背景像素。通過這樣做，我們減輕了車道變化的問題，并且我們可以處理可變數(shù)量的車道。

通過估算車道實(shí)例，即哪些像素屬于哪條車道，我們希望將它們中的每一個(gè)轉(zhuǎn)換為參數(shù)描述。為此，曲線擬合算法被廣泛用于文獻(xiàn)中。流行的模型是三次多項(xiàng)式[32]，[25]，樣條曲線[1]或布盧姆曲線[10]。為了在保持計(jì)算效率同時(shí)提高組合的質(zhì)量，通常使用變換[39]將圖像轉(zhuǎn)換為“鳥瞰”圖像并在那里執(zhí)行曲線擬合。通常，變換矩陣是在單個(gè)圖像上計(jì)算的，并保持固定。但是，如果地平面變化較大（例如通過傾斜上坡），則該固定變換不再有效。為了彌補(bǔ)這種情況，我們在對曲線進(jìn)行擬合之前對圖像應(yīng)用透視變換，與現(xiàn)有的依靠固定變換矩陣進(jìn)行透視變換的方法相反，我們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來輸出變換系數(shù)。神經(jīng)網(wǎng)絡(luò)將圖像作為輸入，并針對車道配合問題量身定制一個(gè)損失函數(shù)進(jìn)行優(yōu)化。

該方法的一個(gè)固有優(yōu)點(diǎn)是對路面變化具有魯棒性，并且為了更好地?cái)M合車道而特別進(jìn)行了優(yōu)化。整個(gè)識(shí)別過程的概述可以在圖1中看到。我們的貢獻(xiàn)可以總結(jié)如下：（1）分支的多任務(wù)體系結(jié)構(gòu)，將車道檢測問題作為實(shí)例分割任務(wù)來處理，處理車道變化和允許推斷任意數(shù)量的車道。特別地，車道分割分支輸出密集的每像素車道段，而車道嵌入分支進(jìn)一步將分段的車道像素分解成不同的車道實(shí)例。（2）給定輸入圖像的網(wǎng)絡(luò)估計(jì)透視變換的參數(shù)，透視變換允許車道擬合對路面變化具有魯棒性，例如，上坡/下坡。

圖1.系統(tǒng)概述。給定一個(gè)輸入圖像，Lane Net輸出一個(gè)車道實(shí)例地圖，車道ID標(biāo)記每個(gè)車道像素。接下來，使用H-Net輸出的變換矩陣變換車道像素，H-Net學(xué)習(xí)以輸入圖像為條件的透視變換。對于每一條車道，都用三階多項(xiàng)式擬合，并且車道被重投影到圖像上。

通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端的車道檢測，將車道檢測作為實(shí)例分割問題來實(shí)現(xiàn)，解決了上述車道切換以及車道數(shù)的限制的問題。我們將稱之為LaneNet（參見圖2）的網(wǎng)絡(luò)，將二進(jìn)制車道分割與單鏡頭實(shí)例分割的聚類損失函數(shù)相結(jié)合。在LaneNet的輸出中，每個(gè)車道像素被分配它們對應(yīng)車道的ID。因?yàn)長aneNET輸出每個(gè)車道的像素集合，我們必須通過這些像素來獲得車道參數(shù)化的曲線。

通常情況下，車道像素被投影成“鳥瞰圖”表示，使用一個(gè)固定的轉(zhuǎn)換矩陣。然而，由于變換參數(shù)對所有圖像都是固定的，所以當(dāng)遇到非地面時(shí)，例如在斜坡上，這會(huì)引起一些問題。為了緩解這個(gè)問題，我們訓(xùn)練一個(gè)網(wǎng)絡(luò)，稱為H-Network，它可以估算輸入圖像上的“理想”透視變換的參數(shù)。

圖2. LaneNet結(jié)構(gòu)。分割分支（底部）被訓(xùn)練以產(chǎn)生二進(jìn)制車道。嵌入分支（TOP）生成每個(gè)車道像素的n維嵌入，使得來自同一車道的嵌入是緊密的，而來自不同車道的嵌入是相距甚遠(yuǎn)的。為了簡單起見，我們展示了每個(gè)像素的二維嵌入，它被可視化為XY網(wǎng)格中的顏色映射（所有像素）和點(diǎn)（僅是車道像素）。在利用分割分支的二值分割圖遮蔽背景像素之后，將車道嵌入（藍(lán)點(diǎn)）聚集在一起并分配給它們的聚類中心（紅點(diǎn)）。

結(jié)論

在本文中，我們介紹了一種以50幀/秒進(jìn)行端到端車道檢測的方法。受到最近實(shí)例分割技術(shù)的啟發(fā)，與其他相關(guān)的深度學(xué)習(xí)方法相比，我們的方法可以檢測可變數(shù)量的車道并且可以應(yīng)對車道變換。為了使用低階多項(xiàng)式對分段車道進(jìn)行參數(shù)化，我們已經(jīng)訓(xùn)練了一個(gè)網(wǎng)絡(luò)來生成透視變換的參數(shù)，以圖像為條件，其中車道擬合是最優(yōu)的。與流行的“鳥瞰視圖”方法不同，我們的方法通過調(diào)整相應(yīng)地參數(shù)進(jìn)行變換，可以有效抵抗地平面的坡度變化。