自動(dòng)駕駛感知傳感器概述

[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛系統(tǒng)通常采用多種感知傳感器協(xié)同感知車(chē)輛周?chē)h(huán)境。攝像頭可獲取高分辨率的環(huán)境圖像，能夠識(shí)別車(chē)道線(xiàn)、交通標(biāo)志、信號(hào)燈以及物體的顏色和紋理信息，成本低廉，技術(shù)成熟。然而攝像頭作為被動(dòng)傳感器，依賴(lài)環(huán)境光照，在夜間或惡劣天氣下性能下降，且單目攝像頭無(wú)法直接獲得深度信息（需要額外假設(shè)或立體視差），典型單目在20米外測(cè)距精度迅速下降，立體攝像頭在80米之外精度也顯著降低。

毫米波雷達(dá)（常見(jiàn)工作在77GHz）是主動(dòng)傳感器，可探測(cè)幾十米到上百米外的目標(biāo)距離，同時(shí)通過(guò)多普勒效應(yīng)直接測(cè)量目標(biāo)相對(duì)速度，是自適應(yīng)巡航（ACC）和緊急制動(dòng)（AEB）等功能的重要傳感器。毫米波雷達(dá)抗干擾和環(huán)境適應(yīng)性強(qiáng)，能較好穿透雨、霧和塵埃，但角分辨率和精度不如激光雷達(dá)。

激光雷達(dá)通過(guò)發(fā)射激光測(cè)距，能產(chǎn)生高精度的三維點(diǎn)云，實(shí)現(xiàn)數(shù)米到200米以上的遠(yuǎn)距離物體探測(cè)。激光雷達(dá)分辨率高，可360度覆蓋環(huán)境并準(zhǔn)確測(cè)量物體位置，但成本昂貴、數(shù)據(jù)量大，對(duì)雨雪和烈日等惡劣環(huán)境敏感（如激光反射受影響），且由于發(fā)射脈沖間隔，在非常近距離的探測(cè)能力有限。

超聲波傳感器探測(cè)距離很近（通常在3米以?xún)?nèi)），主要用于停車(chē)和近距離障礙物避撞，分辨率適中、成本極低，但由于信號(hào)波長(zhǎng)較長(zhǎng)，只適合低速狀態(tài)下檢測(cè)小距離障礙物。綜合比較可以看出：毫米波雷達(dá)距離遠(yuǎn)、可測(cè)速、全天氣工作；激光雷達(dá)精度高、提供完整3D數(shù)據(jù)；攝像頭成本低、分辨率高、提供豐富視覺(jué)信息；超聲波用于極近距離探測(cè)并降低成本。

由于各傳感器各有優(yōu)勢(shì)與劣勢(shì)，業(yè)界普遍采用多傳感器融合架構(gòu)以取長(zhǎng)補(bǔ)短。Waymo等L4以上自動(dòng)駕駛車(chē)輛就集成了多顆激光雷達(dá)、雷達(dá)和攝像頭，而百度Apollo L4級(jí)別系統(tǒng)的環(huán)境感知模塊通過(guò)融合激光雷達(dá)、毫米波雷達(dá)和攝像頭，實(shí)現(xiàn)車(chē)身周?chē)?60度視角并可檢測(cè)240米外的障礙物。特斯拉則堅(jiān)持純視覺(jué)方案，但絕大多數(shù)自動(dòng)駕駛方案都使用至少兩種以上傳感器，包括攝像頭、毫米波雷達(dá)、激光雷達(dá)和超聲波雷達(dá)等。攝像頭主要負(fù)責(zé)車(chē)道線(xiàn)和交通標(biāo)志識(shí)別、物體分類(lèi)等；雷達(dá)和激光雷達(dá)則負(fù)責(zé)障礙物距離、速度和幾何信息測(cè)量；超聲波則在低速時(shí)掃描近距離障礙以輔助泊車(chē)和變道等。通過(guò)多傳感器協(xié)同感知，自動(dòng)駕駛系統(tǒng)可對(duì)環(huán)境做出更可靠的估計(jì)，從而顯著提高安全性和魯棒性。

多傳感器數(shù)據(jù)融合技術(shù)

在自動(dòng)駕駛中，多傳感器數(shù)據(jù)融合旨在將來(lái)自不同來(lái)源的信息集成為對(duì)環(huán)境狀態(tài)的統(tǒng)一估計(jì)。實(shí)現(xiàn)這一目標(biāo)需要首先在時(shí)間和空間上對(duì)各傳感器數(shù)據(jù)進(jìn)行對(duì)齊。時(shí)間同步要求各傳感器的數(shù)據(jù)在同一時(shí)間基準(zhǔn)下對(duì)齊，以保證后續(xù)計(jì)算的一致性。常用方法有硬件同步和軟件同步。

硬件同步利用統(tǒng)一時(shí)鐘源（如GNSS時(shí)鐘、專(zhuān)用時(shí)鐘觸發(fā)線(xiàn)）對(duì)各傳感器的時(shí)鐘進(jìn)行校準(zhǔn)，每次采集數(shù)據(jù)時(shí)自動(dòng)打上統(tǒng)一的全局時(shí)間戳，從而實(shí)現(xiàn)亞微秒級(jí)精準(zhǔn)同步。軟件同步則在主機(jī)端根據(jù)各傳感器時(shí)間戳進(jìn)行匹配，將高頻傳感器數(shù)據(jù)對(duì)齊到低頻傳感器的幀周期上，例如以激光雷達(dá)較長(zhǎng)的采樣周期為基準(zhǔn)，將相機(jī)、雷達(dá)等數(shù)據(jù)插值對(duì)齊。

在實(shí)際車(chē)輛上，兩種同步方式通常結(jié)合使用。車(chē)輛可以借助GNSS接收機(jī)或時(shí)鐘服務(wù)器提供統(tǒng)一時(shí)間，同時(shí)在軟件層通過(guò)緩存隊(duì)列、插值和時(shí)間戳校正等技術(shù)補(bǔ)償延遲和時(shí)鐘漂移，以保證數(shù)據(jù)時(shí)序的精確對(duì)齊?？臻g對(duì)齊（坐標(biāo)系對(duì)齊）則要求將不同傳感器在各自坐標(biāo)系下的測(cè)量值轉(zhuǎn)換到同一車(chē)輛坐標(biāo)系下進(jìn)行融合，這依賴(lài)于精準(zhǔn)的標(biāo)定參數(shù)。傳感器標(biāo)定包括內(nèi)參標(biāo)定（如相機(jī)的焦距、畸變）和外參標(biāo)定（各傳感器間的相對(duì)位置和姿態(tài)），是多傳感器融合的基礎(chǔ)。利用標(biāo)定結(jié)果，可將激光點(diǎn)云、雷達(dá)探測(cè)、攝像圖像等數(shù)據(jù)投影到統(tǒng)一的三維空間中，實(shí)現(xiàn)數(shù)據(jù)在空間維度的對(duì)準(zhǔn)。

完成時(shí)空對(duì)齊后，需要對(duì)來(lái)自不同傳感器的測(cè)量進(jìn)行數(shù)據(jù)關(guān)聯(lián)。即使在同一時(shí)刻，不同傳感器對(duì)同一目標(biāo)的檢測(cè)輸出可能會(huì)有偏差甚至出現(xiàn)多對(duì)一或一對(duì)多的情況，因此需要通過(guò)閾值門(mén)限、多維近鄰搜索、馬氏距離檢索、匈牙利算法等多目標(biāo)跟蹤中的數(shù)據(jù)關(guān)聯(lián)方法，將傳感器之間對(duì)環(huán)境中同一個(gè)物體的觀測(cè)配對(duì)，形成跨傳感器的一致觀測(cè)鏈路。這一步是確保融合準(zhǔn)確性的關(guān)鍵，常見(jiàn)做法包括先使用卡爾曼濾波或貝葉斯濾波預(yù)測(cè)目標(biāo)軌跡，然后將新觀測(cè)與預(yù)測(cè)進(jìn)行匹配，并更新目標(biāo)狀態(tài)。

貝葉斯濾波框架是目前多傳感器融合的主流方法。在這一框架下，系統(tǒng)通過(guò)對(duì)目標(biāo)狀態(tài)進(jìn)行預(yù)測(cè)和更新循環(huán)，不斷綜合新觀測(cè)信息。經(jīng)典的卡爾曼濾波（KF）及其擴(kuò)展擴(kuò)展卡爾曼濾波（EKF）和無(wú)跡卡爾曼濾波（UKF）都是常用的算法?？柭鼮V波對(duì)于線(xiàn)性高斯系統(tǒng)能夠提供最優(yōu)的狀態(tài)估計(jì)，通過(guò)遞歸的預(yù)測(cè)–更新步驟融合各傳感器觀測(cè)。EKF和UKF用于處理系統(tǒng)的非線(xiàn)性，通過(guò)在每個(gè)時(shí)刻線(xiàn)性化（EKF）或使用sigma點(diǎn)分布（UKF）來(lái)更新?tīng)顟B(tài)。也有研究指出，卡爾曼濾波之所以在多傳感器融合中取得成功，前提是需要建立精確的系統(tǒng)狀態(tài)方程和觀測(cè)方程，并合理假設(shè)系統(tǒng)與觀測(cè)噪聲的統(tǒng)計(jì)分布。此外，粒子濾波等蒙特卡洛方法也被應(yīng)用于非高斯或高度非線(xiàn)性的環(huán)境中，用隨機(jī)樣本估計(jì)后驗(yàn)分布，但計(jì)算復(fù)雜度通常較高。

除了傳統(tǒng)濾波方法，深度學(xué)習(xí)也開(kāi)始被用于多傳感器融合。利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等深度模型能夠?qū)W習(xí)傳感器數(shù)據(jù)的復(fù)雜特征表示，實(shí)現(xiàn)端到端的融合和識(shí)別。例如，早期的深度融合方法通過(guò)多分支網(wǎng)絡(luò)分別提取雷達(dá)點(diǎn)云和圖像特征，再通過(guò)注意力機(jī)制等方式融合特征?；谏疃葘W(xué)習(xí)的方法優(yōu)勢(shì)在于能挖掘信息源間的高階關(guān)聯(lián)，并在訓(xùn)練時(shí)聯(lián)合優(yōu)化，但需要海量標(biāo)注數(shù)據(jù)和高算力，普遍計(jì)算開(kāi)銷(xiāo)較大。除傳統(tǒng)和深度方法外，還有基于加權(quán)平均、置信度融合（如加權(quán)平均、Dempster-Shafer證據(jù)理論）等方法，通常用在簡(jiǎn)單感知任務(wù)中。綜合而言，多傳感器融合技術(shù)可以發(fā)生在數(shù)據(jù)層（原始數(shù)據(jù)級(jí)融合）、特征層或決策層，不同層級(jí)的融合各有權(quán)衡：前者融合早、對(duì)齊難度大；后者融合靈活、可維護(hù)性高。常見(jiàn)實(shí)踐中通常在檢測(cè)與跟蹤階段分別或級(jí)聯(lián)地進(jìn)行融合。

感知數(shù)據(jù)一致性校驗(yàn)機(jī)制

在自動(dòng)駕駛感知系統(tǒng)中，為保證最終環(huán)境估計(jì)的可靠性和安全性，需要對(duì)融合后數(shù)據(jù)進(jìn)行一致性校驗(yàn)。一種常用思路是傳感器冗余和交叉驗(yàn)證，使用多個(gè)傳感器對(duì)同一區(qū)域或同一物理量進(jìn)行冗余測(cè)量，從而互為備份，若某一傳感器輸出出現(xiàn)異常，可通過(guò)其他傳感器確認(rèn)并進(jìn)行容錯(cuò)。如多種異源傳感器實(shí)現(xiàn)冗余感知中算法層通過(guò)激光雷達(dá)、毫米波雷達(dá)和攝像頭提供的數(shù)據(jù)融合建立高冗余架構(gòu)，顯著提升系統(tǒng)容錯(cuò)能力。同時(shí)，系統(tǒng)還可以交叉驗(yàn)證不同信息源。比如在紅綠燈識(shí)別場(chǎng)景中，車(chē)輛可將攝像頭識(shí)別的紅綠燈顏色和倒計(jì)時(shí)信息與高精度地圖（HD地圖）中的先驗(yàn)信號(hào)狀態(tài)進(jìn)行比對(duì)驗(yàn)證，通過(guò)多源信息的相互校驗(yàn)來(lái)提高識(shí)別的魯棒性和可靠性。類(lèi)似地，如果雷達(dá)探測(cè)出前方有障礙物，而攝像頭未確認(rèn)目標(biāo)，或者兩者檢測(cè)距離嚴(yán)重不符，則可能意味著傳感器故障或環(huán)境特殊情況，系統(tǒng)可以觸發(fā)警告或啟動(dòng)備份方案。

還可以利用傳感器“內(nèi)在冗余”的思想來(lái)驗(yàn)證一致性，即不同傳感器對(duì)同一物理現(xiàn)象有相關(guān)響應(yīng)，通過(guò)分析它們的關(guān)聯(lián)性來(lái)檢測(cè)異常。如加速踏板踩下后，發(fā)動(dòng)機(jī)轉(zhuǎn)速、車(chē)速、GPS位置和IMU加速度等多傳感器信號(hào)應(yīng)當(dāng)保持一定關(guān)聯(lián)性，一旦某個(gè)傳感器輸出與其他傳感器數(shù)據(jù)長(zhǎng)期不符合，可以判斷其可能出現(xiàn)故障?；诖怂悸罚醒芯渴褂蒙疃茸?a href="http://www.www27dydycom.cn/tags/編碼器/" target="_blank">編碼器等機(jī)器學(xué)習(xí)技術(shù)學(xué)習(xí)車(chē)輛在正常駕駛狀態(tài)下各傳感器數(shù)據(jù)的典型聯(lián)合分布，當(dāng)某傳感器數(shù)據(jù)異常時(shí)重構(gòu)誤差劇增，從而實(shí)現(xiàn)對(duì)傳感器輸出異常的自動(dòng)檢測(cè)。

自動(dòng)駕駛平臺(tái)通常還包括傳感器自檢和異常檢測(cè)機(jī)制。相機(jī)可以檢測(cè)鏡頭遮擋（如水滴或污漬）、曝光過(guò)度或功耗異常；激光雷達(dá)可以監(jiān)測(cè)回波強(qiáng)度分布和激光發(fā)射頻率，若出現(xiàn)異常衰減或噪聲激增則報(bào)警；毫米波雷達(dá)自身可以進(jìn)行自校準(zhǔn)并檢測(cè)天線(xiàn)方向偏差等。通過(guò)硬件自診斷和軟件檢查相結(jié)合的方法，可及時(shí)發(fā)現(xiàn)單個(gè)傳感器的異常情況。當(dāng)發(fā)生硬件故障時(shí)，系統(tǒng)也常采用軟硬件協(xié)同策略，比如切換到備用傳感器或降低自動(dòng)駕駛級(jí)別。綜上，多傳感器感知系統(tǒng)通過(guò)冗余設(shè)計(jì)、交叉驗(yàn)證、以及數(shù)據(jù)驅(qū)動(dòng)的異常檢測(cè)算法等多種手段來(lái)校驗(yàn)感知一致性，提高系統(tǒng)可靠性。

工程實(shí)踐中的問(wèn)題及應(yīng)對(duì)策略

在真實(shí)工程中，多傳感器融合面臨多種挑戰(zhàn)，需要綜合軟硬件方法來(lái)應(yīng)對(duì)。數(shù)據(jù)延遲和時(shí)序漂移是常見(jiàn)問(wèn)題。不同傳感器的數(shù)據(jù)采樣頻率和傳輸延遲差異很大，例如相機(jī)幀時(shí)間、雷達(dá)幀率、網(wǎng)絡(luò)通信和處理延遲等均可能引入不可忽略的時(shí)間偏移。若未及時(shí)校正，這些時(shí)間不對(duì)齊會(huì)導(dǎo)致不同傳感器對(duì)同一時(shí)刻場(chǎng)景的觀察不一致，從而影響決策。在視覺(jué)慣性系統(tǒng)中，如果IMU與攝像頭數(shù)據(jù)時(shí)差超過(guò)閾值（如10毫秒），就會(huì)導(dǎo)致特征匹配錯(cuò)誤甚至濾波發(fā)散。在自動(dòng)駕駛的動(dòng)態(tài)避障場(chǎng)景中，若將過(guò)去的障礙位置誤認(rèn)為是當(dāng)前狀態(tài)，可能造成嚴(yán)重安全事故。應(yīng)對(duì)策略包括使用精確時(shí)鐘同步（如基于GPS/RTK或IEEE1588PTP協(xié)議）保證各部件時(shí)鐘漂移最小化；在軟件層面設(shè)計(jì)時(shí)戳對(duì)齊算法、雙緩沖隊(duì)列和預(yù)測(cè)插值機(jī)制，將不同頻率傳感器的數(shù)據(jù)轉(zhuǎn)換到統(tǒng)一時(shí)間基準(zhǔn)。算法上還可引入延遲補(bǔ)償，對(duì)低頻傳感器數(shù)據(jù)進(jìn)行時(shí)間插值，或者使用短期運(yùn)動(dòng)模型預(yù)測(cè)等待較慢傳感器數(shù)據(jù)，以緩解時(shí)延帶來(lái)的錯(cuò)位。

時(shí)鐘漂移和標(biāo)定漂移也是需要持續(xù)關(guān)注的長(zhǎng)期問(wèn)題。車(chē)輛行駛過(guò)程中，傳感器之間的相對(duì)位置可能會(huì)因機(jī)械振動(dòng)、溫度變化等因素發(fā)生微小偏移，導(dǎo)致標(biāo)定誤差累積。如激光雷達(dá)與攝像頭的外參在運(yùn)行中會(huì)受到振動(dòng)和溫度影響而漂移，而精確的外參轉(zhuǎn)換對(duì)于點(diǎn)云與圖像的高效融合至關(guān)重要。因此，需要?jiǎng)討B(tài)校準(zhǔn)技術(shù)以應(yīng)對(duì)標(biāo)定漂移，除了傳統(tǒng)的離線(xiàn)標(biāo)定外，還可以在行駛過(guò)程中通過(guò)特征匹配（如道路線(xiàn)、建筑物邊緣等）或優(yōu)化方法實(shí)時(shí)更新傳感器外參，以保證長(zhǎng)時(shí)間運(yùn)行中的空間對(duì)準(zhǔn)精度。例如一些在線(xiàn)標(biāo)定方法利用多傳感器采集的場(chǎng)景特征（車(chē)輛模型、邊緣特征）自動(dòng)估計(jì)激光-視覺(jué)標(biāo)定參數(shù)，提高了標(biāo)定的魯棒性。此外，系統(tǒng)設(shè)計(jì)時(shí)也會(huì)采用更穩(wěn)固的安裝支架和隔振結(jié)構(gòu)以減少硬件位移。

數(shù)據(jù)誤差和校準(zhǔn)誤差也是關(guān)注重點(diǎn)。如傳感器自身的標(biāo)定誤差、測(cè)量噪聲、環(huán)境條件對(duì)感知精度的影響等。自動(dòng)駕駛系統(tǒng)通過(guò)軟硬件結(jié)合來(lái)應(yīng)對(duì)，硬件層面可采用冗余傳感器和自適應(yīng)傳感器模塊（如可變?cè)鲆鏀z像頭、自動(dòng)聚焦等）減小誤差；算法上可以在融合濾波器中加入狀態(tài)自適應(yīng)、噪聲估計(jì)等功能，以動(dòng)態(tài)調(diào)整傳感器不確定性權(quán)重。例如，通過(guò)擴(kuò)展卡爾曼濾波器（EKF）不斷估計(jì)和修正傳感器偏置參數(shù)；或在深度學(xué)習(xí)網(wǎng)絡(luò)中加入不確定性模型，對(duì)異常觀測(cè)進(jìn)行權(quán)重衰減。此外，系統(tǒng)還會(huì)對(duì)網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)包使用順序檢查和時(shí)間戳驗(yàn)證，避免亂序帶來(lái)的數(shù)據(jù)錯(cuò)配；對(duì)長(zhǎng)時(shí)間運(yùn)行可能產(chǎn)生的積累誤差，定期重啟傳感器或進(jìn)入校準(zhǔn)模式進(jìn)行校正。

最后的話(huà)

自動(dòng)駕駛中的多傳感器融合需要解決時(shí)序同步、空間對(duì)齊、數(shù)據(jù)關(guān)聯(lián)和模型融合等多方面問(wèn)題，同時(shí)針對(duì)工程中的數(shù)據(jù)延遲、時(shí)鐘漂移、噪聲和校準(zhǔn)漂移等挑戰(zhàn)采用軟硬件協(xié)同策略。通過(guò)利用高精度時(shí)鐘源、動(dòng)態(tài)在線(xiàn)校準(zhǔn)算法、魯棒濾波優(yōu)化、以及深度學(xué)習(xí)等先進(jìn)技術(shù)，自動(dòng)駕駛感知系統(tǒng)能夠在復(fù)雜環(huán)境下保持?jǐn)?shù)據(jù)一致性和融合精度，實(shí)現(xiàn)安全可靠的環(huán)境感知。

審核編輯 黃宇