特斯拉自動(dòng)駕駛系統(tǒng)每天能防止40起因司機(jī)失誤造成的車禍！

近日，特斯拉自動(dòng)駕駛軟件總監(jiān)Ashok Elluswamy在CVPR 2022會(huì)議上做了一個(gè)演講，介紹了特斯拉自動(dòng)駕駛團(tuán)隊(duì)在過(guò)去一年中取得的多項(xiàng)成果，尤其是名為Occupancy Networks的神經(jīng)網(wǎng)絡(luò)模型（以下簡(jiǎn)稱占據(jù)網(wǎng)絡(luò)）。 他講到，自動(dòng)駕駛系統(tǒng)傳統(tǒng)上用到的語(yǔ)義分割、深度信息等做法存在不少問(wèn)題，比如2D轉(zhuǎn)3D比較困難，對(duì)深度信息的估算不準(zhǔn)等。

在使用占據(jù)網(wǎng)絡(luò)后，該模型能夠預(yù)測(cè)車輛周圍物體占據(jù)的空間（包括動(dòng)態(tài)物體下一步的動(dòng)作產(chǎn)生的空間）。 基于此，車輛在不需要識(shí)別具體的障礙物是什么的情況下，就能做出避讓動(dòng)作——Ashok Elluswamy在推特上甚至開(kāi)起了玩笑，說(shuō)特斯拉的車甚至能躲避UFO！ 基于該技術(shù)，車輛還能夠看到周圍角落里是否有障礙物，以此能夠跟人類司機(jī)一樣實(shí)現(xiàn)無(wú)保護(hù)轉(zhuǎn)向！ 簡(jiǎn)而言之，就是占據(jù)網(wǎng)絡(luò)明顯增強(qiáng)了特斯拉的自動(dòng)駕駛能力（L2）。

此外，Ashok Elluswamy還著重介紹了特斯拉Autopilot系統(tǒng)在防止駕駛員誤操作方面的努力。 通過(guò)感知外界環(huán)境和駕駛員的操作系統(tǒng)，車輛能夠識(shí)別到駕駛員的誤操作，比如在錯(cuò)誤的時(shí)候踩下了加速踏板，車輛會(huì)中止加速并且進(jìn)行自動(dòng)剎車！

這就是說(shuō)，此前國(guó)內(nèi)頻繁曝出的一些因?yàn)轳{駛員誤操作而產(chǎn)生的“剎車失靈”問(wèn)題將被從技術(shù)上進(jìn)行限制。 不得不說(shuō)特斯拉在推動(dòng)技術(shù)進(jìn)步上真的很有一手。

01. 純視覺(jué)算法強(qiáng)大二維圖像轉(zhuǎn)三維

演講伊始，Ashok表示，并不是所有人都了解特斯拉自動(dòng)駕駛系統(tǒng)具體的功能，因此他簡(jiǎn)單介紹了一下。

據(jù)他介紹，特斯拉自動(dòng)駕駛系統(tǒng)可以幫助車輛實(shí)現(xiàn)車道保持、車輛跟隨、減速過(guò)彎等，除了這些，特斯拉自動(dòng)駕駛系統(tǒng)還配備了標(biāo)準(zhǔn)安全功能，例如緊急制動(dòng)和避障，可以避免多種碰撞事故。

除此之外，自2019年以來(lái)，約有100萬(wàn)輛特斯拉可以在高速公路上使用更先進(jìn)的導(dǎo)航，檢查臨側(cè)車道信息來(lái)執(zhí)行變道，識(shí)別高速路的出入口。

而且特斯拉自動(dòng)駕駛系統(tǒng)還能在停車場(chǎng)自動(dòng)泊車、識(shí)別交通信號(hào)燈和路牌，以及能進(jìn)行右轉(zhuǎn)彎，繞開(kāi)汽車等障礙物。

目前，這些功能已經(jīng)經(jīng)過(guò)了十幾萬(wàn)名特斯拉車主的驗(yàn)證。 在演講中，Ashok還拿出了一段用戶錄制的視頻。視頻顯示，用戶在舊金山擁擠的道路上行駛時(shí)，車機(jī)屏幕顯示了周圍的環(huán)境，例如道路邊界、車道線、附近車輛的位置和速度。

▲系統(tǒng)識(shí)別出周圍環(huán)境

而這些一方面需要特斯拉車機(jī)和攝像頭等硬件的支持，一方面還需要特斯拉自動(dòng)駕駛系統(tǒng)內(nèi)置的算法和神經(jīng)網(wǎng)絡(luò)的支撐。

據(jù)Ashok介紹，特斯拉搭載了8個(gè)120萬(wàn)像素的攝像頭，它們可以360度捕捉周圍環(huán)境影像，平均每秒可以生成36幀圖像。而后特斯拉的車機(jī)將對(duì)這些信息進(jìn)行處理，每秒可進(jìn)行144萬(wàn)億次運(yùn)算（TeraOPs/s）。

而且這些過(guò)程都是在基于純視覺(jué)算法進(jìn)行的，并未使用激光雷達(dá)和超聲波雷達(dá)，也沒(méi)有高清地圖。 那特斯拉自動(dòng)駕駛系統(tǒng)又是如何識(shí)別一般障礙物的呢？

Ashok表示，當(dāng)遇到一般障礙物時(shí)，系統(tǒng)會(huì)使用空間分割方法。使用空間分割方法時(shí)，系統(tǒng)對(duì)空間內(nèi)的每一個(gè)像素進(jìn)行標(biāo)記，標(biāo)記為“可行駛的”和“不可行駛的”，然后自動(dòng)駕駛芯片再來(lái)處理這個(gè)場(chǎng)景。不過(guò)，這個(gè)方法也存在一些問(wèn)題。

▲對(duì)物體的標(biāo)記

首先，系統(tǒng)標(biāo)記的物體像素處于二維空間，而為了給汽車在三維空間中導(dǎo)航，物體像素需要轉(zhuǎn)換出三維空間中對(duì)應(yīng)的預(yù)測(cè)值，這樣特斯拉的系統(tǒng)才能建立互動(dòng)的物理模型，并順利處理導(dǎo)航任務(wù)。

▲對(duì)物體的標(biāo)記

而系統(tǒng)在將物體像素從二維圖像轉(zhuǎn)換到三維圖像時(shí)，需要進(jìn)行圖像語(yǔ)義分割（指像素級(jí)地識(shí)別圖像，即標(biāo)注出圖像中每個(gè)像素所屬的對(duì)象類別）。 這個(gè)過(guò)程會(huì)產(chǎn)生不必要的圖像或系統(tǒng)中不必要的像素，而圖像的地平面上的幾個(gè)像素可以產(chǎn)生巨大的影響，直接決定如何將這個(gè)二維圖像轉(zhuǎn)換成三維圖像。所以，特斯拉不希望在規(guī)劃時(shí)產(chǎn)生這樣影響較大的像素。

另外，不同障礙物還需要使用不同方法來(lái)判斷。 一般來(lái)說(shuō)，比較常用的還是物體的深度值（從觀察者角度看向物體時(shí)的距離，這個(gè)距離再通過(guò)投影變換、標(biāo)準(zhǔn)化設(shè)備坐標(biāo)、縮放平移后，最終得到的值）。

在某些場(chǎng)景中，系統(tǒng)可以先預(yù)測(cè)障礙物。而在另一個(gè)場(chǎng)景下，系統(tǒng)也可以對(duì)圖像的像素檢測(cè)深度，所以每個(gè)像素都會(huì)產(chǎn)生一些深度值。

▲深度圖（右側(cè)）

但是，盡管最終生成的深度圖非常漂亮，而當(dāng)用深度圖進(jìn)行預(yù)測(cè)時(shí)，只需要三個(gè)點(diǎn)。 而且在對(duì)這三個(gè)點(diǎn)進(jìn)行可視化的時(shí)候，盡管在近處看著還行，但是隨著距離的增加，它們也會(huì)發(fā)生形變，在下一階段這些圖像也很難繼續(xù)使用。 例如，墻壁可能會(huì)發(fā)生形變而變彎曲。而地平面附近的物體也是由較少的點(diǎn)來(lái)確定的，這就使得在規(guī)劃時(shí)系統(tǒng)無(wú)法正確判斷障礙物。

而又因?yàn)檫@些深度圖是在多個(gè)攝像頭采集到的平面圖像上轉(zhuǎn)換而成的，因此最終很難產(chǎn)生一個(gè)相同的障礙物，而且系統(tǒng)也很難預(yù)測(cè)出障礙物的邊界。 因此，特斯拉提出了占據(jù)網(wǎng)絡(luò)方案來(lái)解決這個(gè)問(wèn)題。

02. 計(jì)算空間占用率 給物體編碼

在演講過(guò)程中，Ashok還用視頻展示了這個(gè)占據(jù)網(wǎng)絡(luò)方案。他說(shuō)，從視頻上可以看出，在這個(gè)方案中，系統(tǒng)對(duì)8個(gè)攝像頭捕捉到的圖像處理，然后計(jì)算物體的空間占用率，最終生成了示意圖。

▲生成的模擬圖像

而且特斯拉汽車在行駛時(shí)每挪動(dòng)一下，系統(tǒng)網(wǎng)絡(luò)就會(huì)重新計(jì)算周圍物體的空間占用率。

另外，系統(tǒng)網(wǎng)絡(luò)不僅會(huì)計(jì)算出一些靜態(tài)物體的空間占用率，例如樹(shù)木和墻壁，還會(huì)計(jì)算包括行駛的汽車在內(nèi)的動(dòng)態(tài)物體的空間占用率。

之后，網(wǎng)絡(luò)將圖像輸出成三維圖像，而且還可以預(yù)測(cè)被遮擋的物體，因此即使汽車只上傳了物體的部分輪廓，用戶也可以分辨清楚物體。

此外，盡管系統(tǒng)捕捉到的圖像因?yàn)檫h(yuǎn)近不同，圖像的分辨率不同，但是基于以上方案，最終呈現(xiàn)的模擬三維圖像的分辨率是相同的。

▲生成的圖像分辨率相同

而這就意味著整個(gè)方案運(yùn)行得十分高效，Ashok表示，計(jì)算平臺(tái)運(yùn)行10毫秒，系統(tǒng)網(wǎng)絡(luò)能夠以100赫茲的速率運(yùn)行，這個(gè)運(yùn)行速率甚至比很多相機(jī)記錄圖像的速度還快。

那么，這個(gè)過(guò)程是如何完成的呢？這就需要了解一下占據(jù)網(wǎng)絡(luò)方案的架構(gòu)。

在講解占據(jù)網(wǎng)絡(luò)方案的架構(gòu)時(shí)，Ashok以特斯拉魚眼攝像頭和左側(cè)攝像頭拍到的圖像為例，對(duì)兩者圖像校正過(guò)程進(jìn)行了對(duì)比。

首先，系統(tǒng)會(huì)先對(duì)圖像進(jìn)行拉伸，然后提取圖像特征，查詢出三維圖像相關(guān)的點(diǎn)是否被占用，然后使用三維位置編碼，然后將其映射到固定的位置，之后這些信息會(huì)在之后的計(jì)算中被收集。

▲對(duì)圖像進(jìn)行初步處理

之后，系統(tǒng)將對(duì)圖像空間進(jìn)行位置嵌入，繼續(xù)通過(guò)三維查詢處理圖像流，最終生成三維占用特征。因?yàn)樯傻氖歉呔S占用特征，所以很難在空間的每一個(gè)點(diǎn)上執(zhí)行此操作。因此系統(tǒng)會(huì)在較低維度生成這些高維特征，例如使用典型的上采樣技術(shù)，生成高維空間占用率。

▲計(jì)算物體的空間占用率

有趣的是，Ashok在演講中透露，當(dāng)初做這個(gè)占據(jù)網(wǎng)絡(luò)方案只是用于處理靜態(tài)的對(duì)象，但是最終發(fā)現(xiàn)只處理靜態(tài)的樹(shù)很難，而且系統(tǒng)在剛開(kāi)始分辨“真假行人”的時(shí)候，也遇到了很多困難。 但是團(tuán)隊(duì)最終發(fā)現(xiàn)，無(wú)論這些障礙是移動(dòng)的，還是靜止的，系統(tǒng)最終只需做到能夠躲避掉這些障礙就好了。

▲真假行人

因此，占據(jù)網(wǎng)絡(luò)方案不再區(qū)分動(dòng)態(tài)障礙物和靜態(tài)障礙物，而是使用其他的分類對(duì)其進(jìn)行處理，計(jì)算物體的瞬時(shí)空間占用率，不過(guò)這還不足以能保證特斯拉汽車可以安全行駛。 因?yàn)槿绻挥?jì)算瞬時(shí)空間占用率，當(dāng)特斯拉汽車在高速上行駛時(shí)遇到一輛車，然后就開(kāi)始放慢速度并不是很合理。系統(tǒng)更想知道，在之后不同的時(shí)刻這輛車的空間占用率，以及變化情況。 這樣的話，系統(tǒng)就可以預(yù)測(cè)出這輛車何時(shí)會(huì)離開(kāi)。所以，方案還涉及還預(yù)測(cè)了占用流。

▲占用流的計(jì)算過(guò)程

占用流這個(gè)數(shù)據(jù)可以是空間占用率或時(shí)間的一階、高階導(dǎo)數(shù)，也可以提供更精確的控制，將它們統(tǒng)一到同一個(gè)坐標(biāo)系中。系統(tǒng)將使用同一種方法來(lái)生成空間占用率和占用流，這還將針對(duì)各種障礙物提供強(qiáng)大的保護(hù)。 03. 障礙物類型不重要 系統(tǒng)可避免撞車

Ashok還表示，常規(guī)運(yùn)動(dòng)或移動(dòng)網(wǎng)絡(luò)不能判斷物體的類型，例如到底是靜態(tài)的物體還是一輛行駛的車輛。

但是從控制層面來(lái)說(shuō)，物體的種類實(shí)際上并不重要，占據(jù)網(wǎng)絡(luò)方案提供了很好的保護(hù)，防止網(wǎng)絡(luò)出現(xiàn)分類困境。

因?yàn)椴还苁鞘裁丛蛟斐傻恼系K，系統(tǒng)都會(huì)認(rèn)為這部分的空間被占用了，并且以某一速度移動(dòng)。一些特殊類型的車輛可能有奇怪的突起，很難用傳統(tǒng)技術(shù)建模，系統(tǒng)則會(huì)用立方體或其他多邊形來(lái)表示移動(dòng)物體。

這樣一來(lái)，物體就可以進(jìn)行任意的擠壓，用這種占位的方法，而不需要復(fù)雜的網(wǎng)格狀拓?fù)浣Y(jié)構(gòu)建模。 當(dāng)車輛在進(jìn)行無(wú)保護(hù)或者有保護(hù)的轉(zhuǎn)彎時(shí)，可以使用幾何信息來(lái)推斷遮擋情況。幾何信息不僅要推測(cè)車輛攝像頭所識(shí)別到的信息還需要推測(cè)未識(shí)別到的信息。

例如，當(dāng)一輛車正在進(jìn)行無(wú)保護(hù)轉(zhuǎn)彎時(shí)，前面有一條分岔路，可能有潛在的車輛被樹(shù)木和路標(biāo)遮擋，所以汽車“知道”它不能從這些遮擋物中看到車輛?；诓煌目刂撇呗?，汽車可以提出問(wèn)題并消除這種遮擋。

因此，對(duì)于一個(gè)靜止的物體，車可以在行駛的途中識(shí)別其何時(shí)變得可見(jiàn)。由于有完整的三維障礙物，汽車也可以預(yù)判到什么距離會(huì)撞到這一物體，然后系統(tǒng)會(huì)通過(guò)平順的控制來(lái)識(shí)別并通過(guò)這一被遮擋的物體。

所以占據(jù)網(wǎng)絡(luò)方案在很多不同的方面都有助于改善控制棧。這一方案是神經(jīng)輻射場(chǎng)的延伸，神經(jīng)輻射場(chǎng)（NeRf）在過(guò)去幾年里在很大程度上接管了計(jì)算機(jī)視覺(jué)研究。

▲NeRf與占據(jù)網(wǎng)絡(luò)關(guān)聯(lián)示意圖

NeRf是在單個(gè)場(chǎng)景或單個(gè)位置的圖像重建場(chǎng)景，從單個(gè)位置的一個(gè)點(diǎn)進(jìn)行重建。

Ashok表示，特斯拉的車輛在行駛中，后臺(tái)處理接收到的圖像較為準(zhǔn)確，所以可以（用NeRf）生成跨時(shí)間并精確的圖像路線，通過(guò)NeRf模型和3D狀態(tài)差異化渲染圖像來(lái)產(chǎn)生較準(zhǔn)確的3D重建。 而現(xiàn)實(shí)世界的圖像會(huì)存在一個(gè)問(wèn)題——我們?cè)诂F(xiàn)實(shí)世界中會(huì)看到大量不真實(shí)或有差別的景象。

例如太陽(yáng)眩光或擋風(fēng)玻璃上的污垢或灰塵會(huì)因?yàn)楣饩€的衍射而產(chǎn)生變化，或者雨滴會(huì)進(jìn)一步扭曲光線的傳播，最終產(chǎn)生偽影。 對(duì)此提高魯棒性的方法是使用更高層次的描述符，但這些描述符在一定程度上不會(huì)改變局部照明偽影（如眩光）。 因?yàn)镽GB（顏色系統(tǒng)）圖像可能非常嘈雜，但在RGB之上添加描述符可以提供一層語(yǔ)義上的保護(hù)，防止RGB值的變化。因此，特斯拉的目標(biāo)是將這種方式用于占據(jù)網(wǎng)絡(luò)方案。

▲描述符比RGB更具魯棒性

由于占據(jù)網(wǎng)絡(luò)方案需要在幾個(gè)鏡頭中產(chǎn)生空間占用率，不能在汽車中運(yùn)行完整的神經(jīng)優(yōu)化，但神經(jīng)優(yōu)化可以縮小在后臺(tái)運(yùn)行，確保它產(chǎn)生的空間占用率能夠解釋汽車在運(yùn)行時(shí)收到的所有傳感器的圖像。

此外，也可以在訓(xùn)練時(shí)疊加描述符，為這些網(wǎng)絡(luò)產(chǎn)生良好的監(jiān)督；同時(shí)也可以通過(guò)差異化渲染不同的傳感器數(shù)據(jù)來(lái)監(jiān)督所持有的圖像。

目前特斯拉已經(jīng)有了減少障礙物的網(wǎng)絡(luò)，下一步就是避免任何碰撞，Autopilot已經(jīng)有很多安全功能。 緊接著，Ashok展示了三段Autopilot啟動(dòng)避免碰撞的視頻。

這里的碰撞事故指的是由于駕駛員不小心將油門踏板當(dāng)制動(dòng)踏板踩下而導(dǎo)致的撞車事故。 Ashok在表示駕駛員不小心將油門當(dāng)成剎車踩時(shí)，汽車會(huì)加速并導(dǎo)致碰撞，但車輛會(huì)識(shí)別并自動(dòng)中止加速，并自動(dòng)剎車防止碰撞。 在第一段視頻中，Ashock表示如果Autopilot沒(méi)有啟動(dòng)并阻止汽車加速，視頻中的司機(jī)很可能會(huì)落入河中。

▲特斯拉AP啟動(dòng)避免車掉入河中

同樣，第二段視頻顯示，一名特斯拉司機(jī)在停車時(shí)誤踩油門，但Autopilot迅速啟動(dòng)并阻止汽車撞上商店和行人。

▲特斯拉AP啟動(dòng)避免車撞向商店

04. 通過(guò)占用率 車輛自動(dòng)規(guī)劃路徑

但讓汽車平穩(wěn)地制動(dòng)并剎停可能需要數(shù)秒乃至數(shù)分鐘的時(shí)間，而汽車在行駛的過(guò)程中，可能沒(méi)有足夠的時(shí)間來(lái)識(shí)別障礙物并進(jìn)行計(jì)算。 所以我們要用神經(jīng)網(wǎng)絡(luò)來(lái)達(dá)到這一目的；尤其最近還出現(xiàn)了更加復(fù)雜的隱性場(chǎng)景。特斯拉自動(dòng)駕駛團(tuán)隊(duì)所要做的也就是從以前的網(wǎng)絡(luò)中獲取空間占用率。

首先，要把空間占用率編碼到一個(gè)超級(jí)壓縮的多層感知器（MLP）中。本質(zhì)上，這個(gè)MLP是對(duì)任何特定查詢狀態(tài)下是否可以避免碰撞的隱含表示，這個(gè)避免碰撞的方法在某一時(shí)間范圍內(nèi)提供了一些保證。

例如，可以在2秒或4秒或某個(gè)時(shí)間范圍內(nèi)避免碰撞。 Ashok在這里又舉了一個(gè)例子，他給出了一條自上而下的道路，黑色像素是障礙物、灰色像素是路面、白色像素是道路車道線。在這個(gè)三維空間的俯視圖中，可以把車放在任何像素的位置，模擬碰撞是否可以避免。

▲車輛行駛情況示意圖

他表示：“如果你把汽車想象成一個(gè)單一的點(diǎn)，避免碰撞的周期設(shè)置為瞬間，那么當(dāng)前時(shí)間是否會(huì)發(fā)生碰撞，僅僅取決于障礙物的位置；但問(wèn)題是，汽車不是一個(gè)點(diǎn)，它有一個(gè)類似矩形的形狀，也可以轉(zhuǎn)向?！?因此，只有當(dāng)將形狀與障礙物卷積時(shí)，才能夠立即知道汽車是否處于碰撞狀態(tài)。

隨著汽車的轉(zhuǎn)向（或因失控旋轉(zhuǎn)），碰撞場(chǎng)會(huì)發(fā)生變化。綠色意味著汽車處于一個(gè)沒(méi)有碰撞的安全位置，紅色意味著碰撞，所以當(dāng)汽車旋轉(zhuǎn)時(shí)，碰撞位置更多；但當(dāng)汽車位置被對(duì)齊時(shí)，綠色的位置擴(kuò)大，意味著汽車不會(huì)發(fā)生碰撞。 整體來(lái)看，Ashok展示了如何利用多幅相機(jī)視頻和產(chǎn)品產(chǎn)生密集的空間占用率和占用流，通過(guò)空間占用率可以通過(guò)神經(jīng)網(wǎng)絡(luò)產(chǎn)生一個(gè)有效的避碰場(chǎng)，即車輛通過(guò)攝像頭“看”，根據(jù)經(jīng)驗(yàn)判斷，以合適的速度和方向通過(guò)障礙物的道路。

▲避免碰撞的隱式神經(jīng)網(wǎng)絡(luò)

Ashok還分享了一個(gè)模擬環(huán)境下的實(shí)驗(yàn)，駕駛員踩下油門加速并且沒(méi)有轉(zhuǎn)向行為，汽車監(jiān)測(cè)到會(huì)發(fā)生碰撞并規(guī)劃一條路徑以使汽車安全地通過(guò)。 Ashok在演講結(jié)束時(shí)表示，如果他們能夠成功實(shí)施以上的所有技術(shù)，他們就可以生產(chǎn)出一輛永遠(yuǎn)不會(huì)撞車的汽車。

顯然，這項(xiàng)工作還沒(méi)有完成，在他的最后一張PPT中，Ashok積極向工程師們發(fā)出邀請(qǐng)，歡迎他們加入特斯拉，制造一輛永遠(yuǎn)不會(huì)撞車的汽車！

▲Ashok Elluswamy歡迎更多人才加入特斯拉

05. 結(jié)語(yǔ)：特斯拉不斷探索自動(dòng)駕駛

自從特斯拉帶火自動(dòng)駕駛技術(shù)后，自動(dòng)駕駛的賽道便涌現(xiàn)了一大批的跟隨者。但不得不說(shuō)，特斯拉始終還是走在行業(yè)的前列，不斷探索著自動(dòng)駕駛的新方法。 本次特斯拉Autopilot項(xiàng)目負(fù)責(zé)人帶來(lái)新的技術(shù)解讀，也一定程度上為我們提前展示了特斯拉未來(lái)自動(dòng)駕駛技術(shù)的亮點(diǎn)。憑借特斯拉不斷探索的精神，其自動(dòng)駕駛也會(huì)繼續(xù)領(lǐng)跑整個(gè)汽車市場(chǎng)。




審核編輯：劉清