無人車通常是通過融合激光雷達(dá)（Lidar），相機(jī)（Camera），毫米波雷達(dá)（Millimeter Wave Radar）等多種傳感器的數(shù)據(jù)來獲取這些信息。我們簡(jiǎn)要地了解一下激光雷達(dá)和相機(jī)在無人車感知中的應(yīng)用。

為了確保無人車對(duì)環(huán)境的理解和把握，無人駕駛系統(tǒng)的環(huán)境感知部分通常需要獲取周圍環(huán)境的大量信息，具體來說包括：障礙物的位置，速度以及可能的行為，可行駛的區(qū)域，交通規(guī)則等等。無人車通常是通過融合激光雷達(dá)（Lidar），相機(jī)（Camera），毫米波雷達(dá)（Millimeter Wave Radar）等多種傳感器的數(shù)據(jù)來獲取這些信息。我們簡(jiǎn)要地了解一下激光雷達(dá)和相機(jī)在無人車感知中的應(yīng)用。

激光雷達(dá)是一類使用激光進(jìn)行探測(cè)和測(cè)距的設(shè)備，它能夠每秒鐘向環(huán)境發(fā)送數(shù)百萬光脈沖，它的內(nèi)部是一種旋轉(zhuǎn)的結(jié)構(gòu)，這使得激光雷達(dá)能夠?qū)崟r(shí)的建立起周圍環(huán)境的3維地圖。

通常來說，激光雷達(dá)以10Hz左右的速度對(duì)周圍環(huán)境進(jìn)行旋轉(zhuǎn)掃描，其掃描一次的結(jié)果為密集的點(diǎn)構(gòu)成的3維圖，每個(gè)點(diǎn)具備（x,y,z）信息，這個(gè)圖被稱為點(diǎn)云圖（Point Cloud Graph），如下圖所示，是使用Velodyne VLP-32c激光雷達(dá)建立的一個(gè)點(diǎn)云地圖：

激光雷達(dá)因其可靠性目前仍是無人駕駛系統(tǒng)中最重要的傳感器，然而，在現(xiàn)實(shí)使用中，激光雷達(dá)并不是完美的，往往存在點(diǎn)云過于稀疏，甚至丟失部分點(diǎn)的問題，對(duì)于不規(guī)則的物體表面，使用激光雷達(dá)很難辨別其模式，在諸如大雨天氣這類情況下，激光雷達(dá)也無法使用。

為了理解點(diǎn)云信息，通常來說，我們對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行兩步操作：分割（Segmentation）和分類（Classification）。其中，分割是為了將點(diǎn)云圖中離散的點(diǎn)聚類成若干個(gè)整體，而分類則是區(qū)分出這些整體屬于哪一個(gè)類別（比如說行人，車輛以及障礙物）。分割算法可以被分類如下幾類：

基于邊的方法，例如梯度過濾等；

基于區(qū)域的方法，這類方法使用區(qū)域特征對(duì)鄰近點(diǎn)進(jìn)行聚類，聚類的依據(jù)是使用一些指定的標(biāo)準(zhǔn)（如歐幾里得距離，表面法線等），這類方法通常是先在點(diǎn)云中選取若干種子點(diǎn)（seed points），然后使用指定的標(biāo)準(zhǔn)從這些種子點(diǎn)出發(fā)對(duì)鄰近點(diǎn)進(jìn)行聚類；

參數(shù)方法，這類方法使用預(yù)先定義的模型去擬合點(diǎn)云，常見的方法包括隨機(jī)樣本一致性方法（Random Sample Consensus，RANSAC ）和霍夫變換(Hough Transform，HT)；

基于屬性的方法，首先計(jì)算每個(gè)點(diǎn)的屬性，然后對(duì)屬性相關(guān)聯(lián)的點(diǎn)進(jìn)行聚類的方法；

基于圖的方法；

基于機(jī)器學(xué)習(xí)的方法；

在完成了點(diǎn)云的目標(biāo)分割以后，分割出來的目標(biāo)需要被正確的分類，在這個(gè)環(huán)節(jié)，一般使用機(jī)器學(xué)習(xí)中的分類算法，如支持向量機(jī)（Support Vector Machine，SVM）對(duì)聚類的特征進(jìn)行分類，最近幾年由于深度學(xué)習(xí)的發(fā)展，業(yè)界開始使用特別設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對(duì)三維的點(diǎn)云聚類進(jìn)行分類。

然而，不論是提取特征-SVM的方法還是原始點(diǎn)云-CNN的方法，由于激光雷達(dá)點(diǎn)云本身解析度低的原因，對(duì)于反射點(diǎn)稀疏的目標(biāo)（比如說行人），基于點(diǎn)云的分類并不可靠，所以在實(shí)踐中，我們往往融合激光雷達(dá)和相機(jī)傳感器，利用相機(jī)的高分辨率來對(duì)目標(biāo)進(jìn)行分類，利用Lidar的可靠性對(duì)障礙物檢測(cè)和測(cè)距，融合兩者的優(yōu)點(diǎn)完成環(huán)境感知。

在無人駕駛系統(tǒng)中，我們通常使用圖像視覺來完成道路的檢測(cè)和道路上目標(biāo)的檢測(cè)。道路的檢測(cè)包含對(duì)道路線的檢測(cè)（Lane Detection），可行駛區(qū)域的檢測(cè)（Drivable Area Detection）；道路上路標(biāo)的檢測(cè)包含對(duì)其他車輛的檢測(cè)（Vehicle Detection），行人檢測(cè)（Pedestrian Detection），交通標(biāo)志和信號(hào)的檢測(cè)（Traffic Sign Detection）等所有交通參與者的檢測(cè)和分類。

車道線的檢測(cè)涉及兩個(gè)方面：第一是識(shí)別出車道線，對(duì)于彎曲的車道線，能夠計(jì)算出其曲率，第二是確定車輛自身相對(duì)于車道線的偏移（即無人車自身在車道線的哪個(gè)位置）。一種方法是抽取一些車道的特征，包括邊緣特征（通常是求梯度，如索貝爾算子），車道線的顏色特征等，使用多項(xiàng)式擬合我們認(rèn)為可能是車道線的像素，然后基于多項(xiàng)式以及當(dāng)前相機(jī)在車上掛載的位置確定前方車道線的曲率和車輛相對(duì)于車道的偏離。

可行駛區(qū)域的檢測(cè)目前的一種做法是采用深度神經(jīng)網(wǎng)絡(luò)直接對(duì)場(chǎng)景進(jìn)行分割，即通過訓(xùn)練一個(gè)逐像素分類的深度神經(jīng)網(wǎng)絡(luò)，完成對(duì)圖像中可行駛區(qū)域的切割。

交通參與者的檢測(cè)和分類目前主要依賴于深度學(xué)習(xí)模型，常用的模型包括兩類：

以RCNN為代表的基于Region Proposal的深度學(xué)習(xí)目標(biāo)檢測(cè)算法（RCNN，SPP-NET，F(xiàn)ast-RCNN，F(xiàn)aster-RCNN等）；

以YOLO為代表的基于回歸方法的深度學(xué)習(xí)目標(biāo)檢測(cè)算法（YOLO，SSD等）。