單目或三目構(gòu)成的視覺(jué)系統(tǒng)是目前智能駕駛的主流，其致命缺陷就是識(shí)別與檢測(cè)是一體的，也就是說(shuō)要檢測(cè)目標(biāo)必須先識(shí)別目標(biāo)，無(wú)法識(shí)別就等于看不到，車(chē)輛不會(huì)有任何減速而直接撞上去，此類(lèi)事故，特斯拉、小鵬和蔚來(lái)都發(fā)生過(guò)。普通人說(shuō)識(shí)別，在計(jì)算機(jī)視覺(jué)里實(shí)際是分類(lèi)，為了對(duì)應(yīng)傳統(tǒng)習(xí)慣，本文依然把分類(lèi)叫識(shí)別。

圖片來(lái)源：Andrew Ng公開(kāi)課

要解決這個(gè)問(wèn)題最好的辦法是立體雙目，其次是沒(méi)有分類(lèi)任務(wù)的激光雷達(dá)，典型代表就是奧迪A8上那種四線激光雷達(dá)，目前多線的激光雷達(dá)通常都是用與單目攝像頭一樣的應(yīng)用算法，同樣會(huì)遇到識(shí)別與檢測(cè)一體的問(wèn)題。這也正是特斯拉不用激光雷達(dá)的原因之一，單目攝像頭遇到的困難，多線激光雷達(dá)一樣會(huì)遇到，而奧迪A8上那種四線激光雷達(dá)只能檢測(cè)到前方有沒(méi)有物體，是什么物體就不知道，算是加強(qiáng)版的毫米波雷達(dá)。對(duì)于復(fù)雜駕駛環(huán)境如城區(qū)則不太適合，只能用于塞車(chē)時(shí)的自動(dòng)跟車(chē)。最后是4D毫米波雷達(dá)，近似于4線激光雷達(dá)，缺點(diǎn)與4線激光雷達(dá)一樣。

立體雙目能完美解決問(wèn)題，缺點(diǎn)是其標(biāo)定太麻煩，傳感器的尺寸一致性要求很高。還有就是立體匹配算法難度不低，最好使用FPGA，AI加速器完全無(wú)用，GPU的話消耗算力太多。熟悉FPGA的廠家很少，需要摸索很長(zhǎng)時(shí)間，因此立體雙目只有老牌的博世、斯巴魯、奔馳和豐田堅(jiān)持使用。

大部分廠家沒(méi)有時(shí)間去摸索，看看Mobileye便知研發(fā)人員人工成本太高了，即便已經(jīng)占有超過(guò)75%的智能駕駛市場(chǎng)，利潤(rùn)依然無(wú)法填平研發(fā)成本的坑。

為什么會(huì)出現(xiàn)無(wú)法識(shí)別的目標(biāo)，這就是深度學(xué)習(xí)的天生缺陷，無(wú)法改變。學(xué)術(shù)的說(shuō)法叫Outof Distribution（OOD），OOD detection 指的是模型能夠檢測(cè)出OOD樣本，而OOD樣本是相對(duì)于InDistribution（ID）樣本來(lái)說(shuō)的。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常的假設(shè)是模型訓(xùn)練和測(cè)試的數(shù)據(jù)是獨(dú)立同分布的（IID，Independent Identical Distribution），這里訓(xùn)練和測(cè)試的數(shù)據(jù)都可以說(shuō)是InDistribution（ID）。在實(shí)際應(yīng)用當(dāng)中，模型部署上線后得到的數(shù)據(jù)往往不能被完全控制的，也就是說(shuō)模型接收的數(shù)據(jù)有可能是OOD樣本，也可以叫異常樣本（outlier， abnormal）。

簡(jiǎn)單地說(shuō)，深度學(xué)習(xí)數(shù)據(jù)集就像窮舉法，但窮舉所有類(lèi)型是不可能的，那樣數(shù)據(jù)集會(huì)異常龐大且成本高昂，并且現(xiàn)實(shí)世界每分每秒都在產(chǎn)生新的異常樣本，永遠(yuǎn)都無(wú)法窮盡。對(duì)于牽涉到安全的應(yīng)用，如無(wú)人駕駛和醫(yī)學(xué)識(shí)別，OOD是噩夢(mèng)般的存在。雖然說(shuō)異常樣本出現(xiàn)的幾率很低，但一旦出現(xiàn)就可能損失一條生命。有人會(huì)說(shuō)，人開(kāi)車(chē)會(huì)出事故，因此不能苛求機(jī)器開(kāi)車(chē)不出事故，這顯然是錯(cuò)誤的，人是有糾錯(cuò)機(jī)制的，而機(jī)器不會(huì)，它犯錯(cuò)一次要一條人命，下次遇到異常樣本還是如此。

除了OOD外，還有一類(lèi)物體是單目三目視覺(jué)系統(tǒng)永遠(yuǎn)都無(wú)法識(shí)別的，那就是側(cè)翻車(chē)輛。

畫(huà)面中這輛側(cè)翻的集裝箱車(chē)對(duì)單目三目來(lái)說(shuō)也是噩夢(mèng)，是一大片紅色，無(wú)紋理特征的圖像，任何計(jì)算機(jī)視覺(jué)技術(shù)皆無(wú)能為力，當(dāng)然，最困難的是白色，就等同于天空，特斯拉中國(guó)臺(tái)灣高速事故就是如此，無(wú)論何種單目計(jì)算機(jī)視覺(jué)都無(wú)從下手，立體雙目可以完美解決這個(gè)問(wèn)題。

還有這種側(cè)翻，大面積反光，且有圖像顯示在車(chē)上，訓(xùn)練數(shù)據(jù)集都是基于正常車(chē)輛拍攝的圖像數(shù)據(jù)，這種側(cè)翻的非常罕見(jiàn)，數(shù)據(jù)集里肯定沒(méi)有，再加上它還能反光，還能顯示其他圖像，單目計(jì)算機(jī)視覺(jué)完全無(wú)能為力。

想完美解決問(wèn)題是不可能的，目前學(xué)術(shù)界在嘗試用差異性網(wǎng)絡(luò)來(lái)解決這個(gè)問(wèn)題。眾所周知，深度神經(jīng)網(wǎng)絡(luò)不具備可解釋性，永遠(yuǎn)存在概率，沒(méi)有確定性，而汽車(chē)領(lǐng)域一定要有確定性，但除了深度神經(jīng)網(wǎng)絡(luò)，人類(lèi)開(kāi)發(fā)智能駕駛沒(méi)有其他低成本方式，只能用它。當(dāng)然對(duì)于那種大面積空洞類(lèi)似天空的目標(biāo)，任何基于單目三目的計(jì)算機(jī)視覺(jué)技術(shù)都無(wú)能為力。

目前對(duì)于無(wú)法識(shí)別物體的檢測(cè)，學(xué)術(shù)界研究主要方向是差異性網(wǎng)絡(luò)DiscrepancyNetworks。本文主要基于四篇論文：

第一篇是瑞士洛桑聯(lián)邦理工學(xué)院EPFL的計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室的《Detecting the Unexpected via Image Resynthesis》，

第二篇是豐田的《Road Obstacle Detection Method Based on an Autoencoder with SemanticSegmentation》，

還有一篇《Efficient Unknown Object Detectionwith Discrepancy Networks for Semantic Segmentation》。

最后一篇是微軟研究院和Wisconsin-Madison大學(xué)的《Unknown-Aware ObjectDetection Learning What You Don’t Know from Videos in the Wild》。

目前都局限于學(xué)術(shù)研究，離上車(chē)最快也要等10年。

思路都大同小異，即用GAN再合成圖像，制造差異性網(wǎng)絡(luò)。

EPFL的思路

圖片來(lái)源：EPFL

EPFL的思路，圖a是路上的兩個(gè)異常樣本物體，深度學(xué)習(xí)完全無(wú)法識(shí)別，也就檢測(cè)不到；圖b是圖像語(yǔ)義分割，這兩個(gè)物體消失了，用GAN再合成圖像，這兩個(gè)物體還是消失不見(jiàn)，但最后加上差異性網(wǎng)絡(luò)，這兩個(gè)物體找到了，就是圖d的高光顯示部分。

EPFL的做法

圖片來(lái)源：EPFL

EPFL的做法，用兩個(gè)VGG16網(wǎng)絡(luò)從原始圖像和再合成圖像中抽出特征并做金字塔矯正，特征和關(guān)聯(lián)送入一個(gè)跳過(guò)連接的解碼器，最終得到差異性圖像。

圖片來(lái)源：EPFL

基于CNN的圖像識(shí)別通常無(wú)法識(shí)別右邊這輛自行車(chē)，因?yàn)樗吭谥由稀?/p>

豐田的思路

圖片來(lái)源：豐田

微軟的思路

圖片來(lái)源：微軟

微軟提出了一種新的未知感知目標(biāo)檢測(cè)框架，該框架通過(guò)時(shí)空未知提取（STUD）從野外視頻中提取未知對(duì)象，并有意義地正則化模型的決策邊界。視頻數(shù)據(jù)自然地捕獲了模型運(yùn)行的開(kāi)放世界環(huán)境，并封裝了已知和未知對(duì)象的混合物；見(jiàn)圖1（b）。例如，建筑物和樹(shù)木（OOD）可能會(huì)出現(xiàn)在駕駛視頻中，盡管它們沒(méi)有明確標(biāo)注用于培訓(xùn)車(chē)輛和行人的物體檢測(cè)器（ID）。類(lèi)似于化學(xué)中的蒸餾概念，即“從混合物中分離物質(zhì)的過(guò)程”。雖然經(jīng)典的目標(biāo)檢測(cè)模型主要使用標(biāo)記的已知對(duì)象進(jìn)行訓(xùn)練，微軟試圖通過(guò)聯(lián)合優(yōu)化目標(biāo)檢測(cè)和OOD檢測(cè)性能，利用未知對(duì)象進(jìn)行模型正則化。

微軟的STUD框架

圖片來(lái)源：微軟

《Efficient Unknown Object Detectionwith Discrepancy Networks for Semantic Segmentation》這篇論文比較新，是2022年8月發(fā)表的，作者單位名氣不大，有日本SenseTime和德州奧斯汀大學(xué)。

圖片來(lái)源：SenseTime

典型示例如上，圖中車(chē)輛車(chē)身上有大字，很容易被誤認(rèn)為標(biāo)志牌，或者無(wú)法識(shí)別。

圖片來(lái)源：SenseTime

作者的思路主要是加入了所謂深監(jiān)督（Deep Supervision），就是在深度神經(jīng)網(wǎng)絡(luò)的某些中間隱藏層加了一個(gè)輔助的分類(lèi)器作為一種網(wǎng)絡(luò)分支來(lái)對(duì)主干網(wǎng)絡(luò)進(jìn)行監(jiān)督的技巧，用來(lái)解決深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練梯度消失和收斂速度過(guò)慢等問(wèn)題。

雖然立體雙目可以完美解決所有難題，但立體雙目研發(fā)周期長(zhǎng)，短期很難出成果，大部分企業(yè)都不會(huì)選擇立體雙目，深度學(xué)習(xí)太容易了，煉丹不需要知道因果關(guān)系，只需塞數(shù)據(jù)即可，立體雙目陣營(yíng)目前也開(kāi)始出現(xiàn)松動(dòng)，豐田還專(zhuān)門(mén)出了個(gè)深度學(xué)習(xí)加單目推測(cè)立體視覺(jué)再獲得深度數(shù)據(jù)的數(shù)據(jù)集，寶馬也在2021年放棄了立體雙目。年輕人幾乎沒(méi)有從事立體雙目研究的。

Argo關(guān)閉，Aurora和圖森市值暴跌95%，Cruise和Waymo沉寂多日，過(guò)度依賴深度學(xué)習(xí)的無(wú)人駕駛該何去何從？

審核編輯 ：李倩