算法是決定自動(dòng)駕駛車輛感知能力的核心要素。當(dāng)前主流的自動(dòng)駕駛模型框架分為感知、規(guī)劃決策和執(zhí)行三部分。從設(shè)計(jì)角度上講，以上三個(gè)層面的駕駛模型處理通?？梢允腔趥鹘y(tǒng)的規(guī)則的算法進(jìn)行設(shè)計(jì)控制，為了適應(yīng)更多的駕駛場(chǎng)景，泛化適配更多的場(chǎng)景處理能力，當(dāng)前很多主機(jī)廠或者 tier1 也開始研究基于 AI 模型處理的自動(dòng)駕駛算法策略。AI 模型的研究方向主要包括如下三個(gè)方面：

1、基于 Transformer+BEV 的算法在自動(dòng)駕駛設(shè)計(jì)中的應(yīng)用趨勢(shì)日益明顯；

2、城市領(lǐng)航輔助駕駛趨向于“去高精地圖”，替代的沿用輕地圖方案；

3、AI 模型需要大數(shù)據(jù)、大算力對(duì)模型進(jìn)行有效的訓(xùn)練和驅(qū)動(dòng)。

基于 AI 模型控制的感知算法

從感知角度講，前期很多算法模型都是以傳統(tǒng)的計(jì)算機(jī)視覺為基礎(chǔ)且基于基礎(chǔ)神經(jīng)網(wǎng)絡(luò)模型（如 DNN、CNN、RNN 為代表的小模型）。

這三者模型的區(qū)別簡(jiǎn)單的說(shuō)就是 DNN 是通過(guò)對(duì)像素級(jí)別進(jìn)行逐個(gè)對(duì)比，通過(guò)圖像特征進(jìn)行識(shí)別。而 CNN 則是通過(guò)通過(guò)將整幅圖進(jìn)行按照按興趣區(qū)域 ROI 進(jìn)行特征分割后，分別對(duì) ROI 進(jìn)行局部像素對(duì)比識(shí)別。這樣看起來(lái) CNN 實(shí)際是在 DNN 全鏈接層之前做了適當(dāng)?shù)慕稻S（其方法是先通過(guò)卷積層、池化層）后再處理的，因此 CNN 將使得整個(gè)計(jì)算更加高效。但是，卷積層和池化層都是提前通過(guò)利用一定的卷積核對(duì)原始圖像進(jìn)行遍歷后生成局部特征，這一過(guò) 程雖然能夠在短時(shí)間內(nèi)獲取到一些有價(jià)值且感興趣的信息，但是也容易忽略局部與整體之間的關(guān)聯(lián)性。

比如進(jìn)行前景和背景的提取過(guò)程中，如果多次池化，就可能導(dǎo)致所感興趣的車輛最后提取出來(lái)并不在我們所感興趣的車道內(nèi)。亦或者把最邊緣的錐桶最后識(shí)別為在自車道前方，這些都不是我們所愿意看到的。

相比于 CNN 只是針對(duì)單幅圖像的神經(jīng)網(wǎng)絡(luò)處理來(lái)說(shuō)，我們?cè)谧詣?dòng)駕駛中，實(shí)際上是需要 對(duì)連續(xù)視頻進(jìn)行連續(xù)處理的。也就是說(shuō)這類處理要從二維圖像擴(kuò)展到三維視頻處理上，從這點(diǎn)上講，就需要從時(shí)序上做更深層次的延展。而 RNN 就是針對(duì) CNN 在時(shí)間上的擴(kuò)展，其處理過(guò)程是對(duì)時(shí)間連續(xù)輸出的狀態(tài)處理。

這里我們舉個(gè)非常典型的例子說(shuō)明 RNN 相對(duì)于 CNN 的好處。在自動(dòng)駕駛系統(tǒng)中，比較極端的場(chǎng)景是很多時(shí)候無(wú)法解決鬼探頭的問(wèn)題，也就是對(duì)于跟蹤的目標(biāo)如果在前一時(shí)刻還能看到，而當(dāng)前時(shí)刻如果被大車遮擋，下一時(shí)刻的預(yù)測(cè)如果不能結(jié)合前一時(shí)刻的運(yùn)動(dòng)估計(jì)，那么 該目標(biāo)可能碰撞的趨勢(shì)將無(wú)法被預(yù)測(cè)到，這也就是無(wú)法及時(shí)做出提前控制減速避撞的原因。RNN 在隱藏層引入了循環(huán)核提取對(duì)應(yīng)的時(shí)間特征，從而將需要識(shí)別的圖像序列在時(shí)序上進(jìn)行了有效關(guān)聯(lián)和預(yù)測(cè)。不難看出循環(huán)核是需要存儲(chǔ)歷史狀態(tài)的，且存儲(chǔ)的歷史狀態(tài)越多，其要求的存儲(chǔ)量更大?；谶@一特性就使得 RNN 很難用于長(zhǎng)時(shí)間長(zhǎng)距離下的依賴關(guān)系處理。這也 就導(dǎo)致了 RNN 在并行計(jì)算能力上非常受限。

簡(jiǎn)單的說(shuō)，這類小模型神經(jīng)網(wǎng)絡(luò)是一種受生物神經(jīng)元啟發(fā)而產(chǎn)生的深度學(xué)習(xí)方法，由眾多的感知機(jī)構(gòu)成。感知機(jī)類似于生物學(xué)中的神經(jīng)元，輸入信號(hào)經(jīng)過(guò)加權(quán)平均運(yùn)算，若超過(guò)某一個(gè)閾值則向后傳遞信號(hào)，否則被抑制。不同的神經(jīng)網(wǎng)絡(luò)模型實(shí)際就是對(duì)感知機(jī)之間設(shè)定不同的邏輯關(guān)系。在自動(dòng)駕駛感知模塊中輸入數(shù)據(jù)為圖像，而圖像通常是多維計(jì)算單元，因此，感知神經(jīng)元對(duì)其識(shí)別時(shí)需要設(shè)置大量輸入神經(jīng)元以及多個(gè)中間層，模型參數(shù)量大且難以訓(xùn)練且消耗算力高，并可能帶來(lái)過(guò)擬合的問(wèn)題。

其獨(dú)有的長(zhǎng)序列處理能力和并行計(jì)算效率，使得 Transformer 擁有了更強(qiáng)的泛化能力。為什么這么說(shuō)呢？比如針對(duì)自動(dòng)駕駛系統(tǒng)識(shí)別來(lái)說(shuō)，如果是針對(duì)前方車輛目標(biāo)識(shí)別跟蹤而言， CNN 主要是通過(guò)先驗(yàn)信息提前進(jìn)行相似性對(duì)比，并通過(guò)將該模型輸入到學(xué)習(xí)模型中，實(shí)現(xiàn)該物體的識(shí)別任務(wù)。而 Transformer 則通過(guò)注意力機(jī)制，找到了該目標(biāo)車周圍更多的基本元素及元素之間的多個(gè)維度關(guān)聯(lián)關(guān)系，這樣，及時(shí)模型中本身并未存儲(chǔ)該目標(biāo)的基礎(chǔ)學(xué)習(xí)模型， 也可以通過(guò)周邊元素的泛化能力提升對(duì)該模型的識(shí)別能力。同時(shí)，Transformer 通過(guò)在時(shí)域范圍內(nèi)尋找對(duì)應(yīng)數(shù)據(jù)幀之間的關(guān)系，可以在通過(guò)存儲(chǔ)幀間的變化關(guān)系，從而通過(guò)幀間變換實(shí)現(xiàn)對(duì)各幀之間的約束。因此，可以說(shuō) Transformer 模型具有更高的并行計(jì)算效率并且可以學(xué)習(xí)到長(zhǎng)時(shí)間距離的依賴關(guān)系。

多方面講述精細(xì)化感知融合方案

自動(dòng)駕駛配備多個(gè)傳感器可以實(shí)現(xiàn)感知冗余和信息互補(bǔ)的作用。感知后端是融合部分，對(duì)于原始感知而言需要在后端進(jìn)行前融合、特征融合及后融合。

基于以上分析，前融合+特征級(jí)融合+后融合的分階段處理成為了整個(gè)感知處理的主流方案。如下圖所示表示了典型的融合處理架構(gòu)框圖。

以上三種融合方式在設(shè)置融合策略上分別有不同的方式。對(duì)于整體的融合策略來(lái)說(shuō)，一般是針對(duì)相同類型的傳感器而言，比如前視、側(cè)視攝像頭這類行車攝像頭的融合。針對(duì)這類同源攝像頭來(lái)說(shuō)，融合策略針對(duì)不同的感知區(qū)域進(jìn)行權(quán)重分配。比如如果識(shí)別本車道目標(biāo)， 則一般對(duì)前視攝像頭分配更大的權(quán)重。如果是識(shí)別旁車道目標(biāo)，則對(duì)側(cè)視攝像頭分配更大的權(quán)重。

此外，按照識(shí)別距離來(lái)看，也會(huì)區(qū)分行泊車攝像頭識(shí)別的融合權(quán)重。如果車速較低， 識(shí)別距離較近，則通常會(huì)將泊車攝像頭分配更多的權(quán)重。同時(shí)，如果考慮雷達(dá)回?fù)芨蓴_，在低速近距離情況下，也會(huì)降低對(duì) Radar 的分配權(quán)重。此外，考慮到不同目標(biāo)的運(yùn)動(dòng)特性，對(duì)于橫向移動(dòng)的目標(biāo)，由于攝像頭識(shí)別橫向移動(dòng)過(guò)程精準(zhǔn)度遠(yuǎn)大于 Radar，因此，在融合過(guò)程中，也會(huì)給攝像頭識(shí)別的橫向移動(dòng)目標(biāo)分別更大的權(quán)重。最后，如果將環(huán)境天氣等要素納入進(jìn)來(lái)考慮，就業(yè)需要針對(duì)性對(duì)傳感器的特性采用不同的權(quán)重分配。比如，粉塵、雨天等場(chǎng)景， 攝像頭對(duì)運(yùn)動(dòng)目標(biāo)的識(shí)別能力顯然遠(yuǎn)不如 Radar、Lidar 等傳感源。此時(shí)，通常會(huì)對(duì)如上傳感器分配更多的權(quán)重實(shí)現(xiàn)對(duì)應(yīng)的感知融合功能。

綜合起來(lái)，可以總結(jié)出如下不同維度的傳感器融合方案。

BEV 空間結(jié)合 Transformer 如何提升特征級(jí)融合效果呢？

BEV 一種對(duì)真實(shí)感知世界的表達(dá)方式，實(shí)際是基于規(guī)則的算法如逆透視投影變換 IPM 將攝像頭所采集到的 2D 圖像呈現(xiàn)在 3D 場(chǎng)景中。這里需要注意對(duì)智能駕駛比較典型的兩種識(shí)別場(chǎng)景：車道線和目標(biāo)級(jí)識(shí)別，該兩種環(huán)境場(chǎng)景模型的識(shí)別實(shí)際會(huì)在 BEV 模型處理過(guò)程中產(chǎn)生不同的性能預(yù)期。

對(duì)于車道線來(lái)說(shuō)，由于透視關(guān)系可能產(chǎn)生出近大遠(yuǎn)小的情況，這樣在真實(shí)世界中平行的車道線就會(huì)呈現(xiàn)出不平行的情況。而 BEV 在 IPM 變換過(guò)程中，會(huì)提前通過(guò)兩個(gè)有帶有重疊區(qū)域的攝像頭信息求得對(duì)重疊區(qū)域下 2 維到 3 維的投影矩陣，這個(gè)投影矩陣將 3 維世界坐標(biāo)系下的環(huán)境模型變換到 2 維圖像坐標(biāo)系下可以完全消除 3 維物體在視角下的失真。因此，BEV 對(duì)真實(shí)場(chǎng)景下的車道線還原能力是遠(yuǎn)優(yōu)于單目識(shí)別能力的。然而，BEV 在環(huán)境立體目標(biāo)的識(shí)別能力卻可能產(chǎn)生不太理想的效果，比如在環(huán)境中的車輛、錐桶等障礙物在 BEV 視角下可能產(chǎn)生較大程度的扭曲。

原因如下：BEV 強(qiáng)依賴于對(duì)投影矩陣的精確計(jì)算，然而投影矩陣的計(jì)算需要提前標(biāo)定各個(gè)相機(jī)在世界坐標(biāo)系下的外參矩陣。不難看出，這樣的投影矩陣需要提前對(duì)地面做出強(qiáng)烈的假設(shè)需求。假設(shè)一旦標(biāo)定了投影矩陣，地面就應(yīng)該維持標(biāo)定時(shí)刻的平整狀態(tài)。一旦地面發(fā)生凹凸不平導(dǎo)致車輛顛簸或高差變化，那么整個(gè)投影矩陣將會(huì)發(fā)生較大的變化，如果仍然利用之前的投影矩陣進(jìn)行計(jì)算的話，就有可能造成較大的圖像失真。此外，由于投影矩陣實(shí)際是對(duì)有一定視差的兩個(gè)相機(jī)進(jìn)行同一目標(biāo)的識(shí)別來(lái)計(jì)算的。因此，這就在很大程度上會(huì)縮短對(duì)于環(huán)境目標(biāo)的識(shí)別距離。

為了解決以上問(wèn)題，通常采用在 BEV 空間中基于深度學(xué)習(xí)的方法做特征級(jí)融合。具體來(lái)說(shuō)就是構(gòu)建共享主干網(wǎng)絡(luò)分別對(duì)來(lái)自于不同感知源數(shù)據(jù)進(jìn)行處理，處理過(guò)程需要很好的提取到數(shù)據(jù)特征值圖。隨后，這些特征圖需要輸入到 BEV 空間中進(jìn)行特征融合，該融合的過(guò)程需要充分考慮不同的感知源數(shù)據(jù)，比如視覺中的像素?cái)?shù)據(jù)和雷達(dá)中的點(diǎn)云數(shù)據(jù)。

此時(shí)，對(duì)于固 定在某一時(shí)刻的場(chǎng)景圖像已經(jīng)有個(gè)初步的雛形了，但是對(duì)于智駕系統(tǒng)來(lái)說(shuō)，環(huán)境肯定不是動(dòng) 態(tài)不變的，各個(gè)目標(biāo)會(huì)隨著時(shí)間的推移產(chǎn)生一定的變化。如果分割視頻圖像為前景和背景區(qū)域而言，我們對(duì)于大部分的背景區(qū)域，采用以上 BEV 處理網(wǎng)絡(luò)已經(jīng)能夠完全描繪出整體的場(chǎng)景感知。然而涉及前景區(qū)域，比如運(yùn)動(dòng)的車輛、行人等信息，則需要進(jìn)行實(shí)時(shí)的規(guī)劃更新， 因此，還需要考慮在該融合過(guò)程中還需要加入時(shí)序處理網(wǎng)絡(luò)中的時(shí)間信息形成 4D 空間模型。加入時(shí)序處理的過(guò)程實(shí)際是融合 RNN 和 Transformer 的過(guò)程。其中，Transformer 的交叉注意力機(jī)制可以很好的提高 BEV 空間中的適配度。因?yàn)?，交叉注意力中?Query 和 Key/Value 來(lái)源不同，可以天然適配于不同域之間的數(shù)據(jù)轉(zhuǎn)換。

到底 Transformer 和 BEV 怎么結(jié)合呢

為了解決如上問(wèn)題，智駕領(lǐng)域引入了 Transformer 的自注意力機(jī)制，該機(jī)制通過(guò)尋找各 個(gè)基本元素之間的多維度相關(guān)性，從而推理出各元素之間的相似規(guī)律。

自注意力機(jī)制實(shí)際上是針對(duì)性的關(guān)注環(huán)境目標(biāo)圖像中需要關(guān)注的信息。相比于 RNN 的全信息存儲(chǔ)處理模型而言，Transformer 只全量處理和存儲(chǔ)首幀數(shù)據(jù)，后續(xù)的處理過(guò)程只存儲(chǔ)關(guān)注的信息部分，也可以稱之為“前景部分”。這樣通過(guò)只存儲(chǔ)圖像幀之間的變化量數(shù)據(jù)， 通過(guò)編碼該變化量數(shù)據(jù)，從而大大減少了對(duì)圖像信息的全量存儲(chǔ)消耗。這樣在解碼端實(shí)際上 可以通過(guò)首幀數(shù)據(jù)和存儲(chǔ)的變化量信息，自恢復(fù)對(duì)應(yīng)的全量數(shù)據(jù)也非?？炝?。

具體說(shuō)來(lái)，在 Transformer 模型中，有三種注意力元素。注意力機(jī)制中最主要的三個(gè) 元素分別是 query、key 和 value。輸入元素需要經(jīng)過(guò)三次線性變換，分別得到查詢向量 Q （Query）、鍵向量 K（Key）和值向量 V（Value）。這三個(gè)向量均代表了同一個(gè)輸入元素， 但經(jīng)過(guò)不同的線性變換后，它們的表示和功能都有所不同。

比如識(shí)別到環(huán)境中的同一輛汽車，其關(guān)注點(diǎn)有不同幾個(gè)方向。其一是其目標(biāo)類型，其二 是目標(biāo)位置，其三是目標(biāo)大小、其四是目標(biāo)運(yùn)動(dòng)快慢等。因此，對(duì)于這一相同的目標(biāo)實(shí)際上需要從多方向進(jìn)行跟蹤和關(guān)注。在 Transformer 里面這叫做多頭注意力機(jī)制，也叫并行計(jì)算注意力方法。這樣可以針對(duì)性對(duì)每一個(gè)頭進(jìn)行不同特征的跟蹤關(guān)注。如果關(guān)注目標(biāo)位置信息， 引用以上三種向量 Q、K、V 則可以表示為：通過(guò) V 表示實(shí)際車輛位置信息，而 K 則是檢索與該位置周邊相近的其他元素（該車周圍有多少其他目標(biāo)注意要素），則 Q 是表示這些元素的具體信息（如周邊車輛要素類型、位置等） 。

最后，輸出向量可以表示為：

如上圖所示：Transformer 的交叉注意力機(jī)制整體的處理步驟如下：

階段 1：計(jì)算查詢向量與鍵向量的點(diǎn)積，得到注意力得分，點(diǎn)積結(jié)果越大表明相似度越 高，注意力得分越高；

階段 2：對(duì)注意力得分進(jìn)行縮放和歸一化為概率分布；

階段 3：用歸一化后的注意力得分對(duì)值向量進(jìn)行加權(quán)求和，得到輸出向量。

因此，將 Transformer 算法模型應(yīng)用在需要大量計(jì)算量的 BEV 模型計(jì)算中就可以很好的生成不同的計(jì)算效果。

寫在最后

自動(dòng)駕駛向更高等級(jí)邁進(jìn)，城市領(lǐng)航輔助駕駛落地在即。城市領(lǐng)航輔助駕駛的落地需 求對(duì)自動(dòng)駕駛模型的泛化能力提出更高的要求，同時(shí)考慮到成本、算法復(fù)雜度、實(shí)時(shí)性、高效性等處理因素的約束，優(yōu)秀的感知融合方案在應(yīng)用 AI 大模型提高泛化能力+降低/控制車端硬件成本是自動(dòng)駕駛算法演變的核心脈絡(luò)。這對(duì)于提升城市場(chǎng)景下復(fù)雜路況增強(qiáng)處理場(chǎng)景異質(zhì)性，提升對(duì)自動(dòng)駕駛遇到的 Corner case 的處理能力都是很大的幫助。