在一個新的汽車應(yīng)用程序中，我們使用了 卷積神經(jīng)網(wǎng)絡(luò) （ CNNs ）來映射從前置攝像頭到自動駕駛汽車的轉(zhuǎn)向命令的原始像素。這種強(qiáng)大的端到端方法意味著，只要從人類那里獲得最少的訓(xùn)練數(shù)據(jù)，系統(tǒng)就可以學(xué)會在當(dāng)?shù)氐缆泛透咚俟飞鲜褂没虿皇褂密嚨罉?biāo)線進(jìn)行轉(zhuǎn)向。該系統(tǒng)還可以在視覺引導(dǎo)不清晰的區(qū)域運行，如停車場或未鋪路面的道路。

我們設(shè)計了一個端到端的學(xué)習(xí)系統(tǒng)，使用 NVIDIA 開發(fā)箱 運行的 Torch 7 進(jìn)行培訓(xùn)。安NVIDIA DRIVETMPX自動駕駛汽車電腦，也與 Torch 7，是用來確定在哪里駕駛時，以 30 幀每秒（ FPS ）。該系統(tǒng)訓(xùn)練成僅以人的轉(zhuǎn)向角為訓(xùn)練信號，自動學(xué)習(xí)必要處理步驟的內(nèi)部表示，例如檢測有用的道路特征。我們從來沒有明確地訓(xùn)練它去探測，例如，道路的輪廓。與使用顯式分解問題的方法（如車道標(biāo)記檢測、路徑規(guī)劃和控制）相比，我們的端到端系統(tǒng)同時優(yōu)化所有處理步驟。

我們相信端到端的學(xué)習(xí)可以帶來更好的性能和更小的系統(tǒng)。更好的性能結(jié)果是因為內(nèi)部組件自我優(yōu)化來實現(xiàn)最大化系統(tǒng)性能，而不是優(yōu)化人為選擇的中間標(biāo)準(zhǔn)，例如車道檢測?？梢岳斫獾氖?，選擇這樣的標(biāo)準(zhǔn)是為了便于人理解，而這并不能自動保證最大的系統(tǒng)性能。更小的網(wǎng)絡(luò)是可能的，因為系統(tǒng)學(xué)會用最少的處理步驟來解決問題。

用卷積神經(jīng)網(wǎng)絡(luò)處理視覺數(shù)據(jù)

CNNs使計算模式識別過程發(fā)生了革命性的變化 ，在 CNNs 被廣泛采用之前，大多數(shù)模式識別任務(wù)都是在最初階段使用手工制作的特征提取和分類器來完成的。 CNNs 的一個重要突破是特征可以從訓(xùn)練樣本中自動學(xué)習(xí)。 CNN 方法在應(yīng)用于圖像識別任務(wù)時特別強(qiáng)大，因為卷積運算捕捉圖像的 2D 特性。通過使用卷積核來掃描整個圖像，與操作總數(shù)相比，需要學(xué)習(xí)的參數(shù)相對較少。

而具有學(xué)習(xí)特性的 cnn 已經(jīng)在商業(yè)上使用了二十多年近年來，由于兩個重要的發(fā)展，它們的采用呈爆炸式增長。首先，像 ImageNet 大規(guī)模視覺識別挑戰(zhàn)（ ILSVRC ） 這樣的大型標(biāo)記數(shù)據(jù)集現(xiàn)在已經(jīng)廣泛用于培訓(xùn)和驗證。第二， CNN 學(xué)習(xí)算法現(xiàn)在在大規(guī)模并行圖形處理單元（ GPUs ）上實現(xiàn)，極大地提高了學(xué)習(xí)和推理能力。

我們在這里描述的 cnn 超越了基本的模式識別。我們開發(fā)了一個系統(tǒng)來學(xué)習(xí)駕駛汽車所需的整個處理流程。這個項目的基礎(chǔ)工作實際上是在 10 年前國防高級研究計劃局（ DARPA ）的苗木項目中完成的，這個項目被稱為 DARPA 自動車輛（ DAVE ），在這個項目中，一輛小規(guī)模無線電控制（ RC ）車開過一條垃圾堆滿的小巷。戴夫接受的訓(xùn)練是在相似但不完全相同的環(huán)境中駕駛?cè)说臅r間。訓(xùn)練數(shù)據(jù)包括來自兩臺攝像機(jī)的視頻和一名操作員發(fā)出的轉(zhuǎn)向指令。

在很多方面，戴夫受到了波默洛的開創(chuàng)性工作的啟發(fā)他于 1989 年在一個神經(jīng)網(wǎng)絡(luò)（ ALVINN ）系統(tǒng)中制造了自動陸地車輛。 ALVINN 是 DAVE 的先驅(qū)，它提供了一個概念的初步證明，即有一天，一個端到端訓(xùn)練的神經(jīng)網(wǎng)絡(luò) MIG ht 能夠在公共道路上駕駛汽車。 DAVE 展示了端到端學(xué)習(xí)的潛力，并確實被用來證明啟動 DARPA 學(xué)習(xí)應(yīng)用于地面機(jī)器人（ LAGR ）項目 ，但是戴夫的表現(xiàn)不夠可靠，不足以提供一個完整的替代方案，更模塊化的越野駕駛方法。（ DAVE 在復(fù)雜環(huán)境中的平均相撞距離約為 20 米。）

大約一年前，我們開始了一項新的工作來改進(jìn)原來的 DAVE ，并創(chuàng)建了一個在公共道路上行駛的強(qiáng)大系統(tǒng)。這項工作的主要動機(jī)是避免需要識別特定的人類指定特征，如車道標(biāo)記、護(hù)欄或其他汽車，并避免創(chuàng)建“如果，那么，“ else ”規(guī)則，基于對這些特征的觀察。我們很高興與大家分享這項新工作的初步成果，這項工作的名稱很恰當(dāng)： DAVE – 2 。

DAVE-2 系統(tǒng)

圖 2 顯示了 DAVE-2 訓(xùn)練數(shù)據(jù)采集系統(tǒng)的簡化框圖。三個攝像頭安裝在數(shù)據(jù)采集車的擋風(fēng)玻璃后面，攝像頭的時間戳視頻與駕駛員施加的轉(zhuǎn)向角同時捕獲。通過接入車輛控制器局域網(wǎng)（ CAN ）總線獲得轉(zhuǎn)向指令。為了使我們的系統(tǒng)獨立于車輛的幾何結(jié)構(gòu)，我們將轉(zhuǎn)向命令表示為 1 / r ，其中 r 是轉(zhuǎn)彎半徑，單位為米。我們使用 1 / r 而不是 r 來防止直線行駛時出現(xiàn)奇點（直線行駛的轉(zhuǎn)彎半徑是無窮大）。 1 / r 從左轉(zhuǎn)彎（負(fù)值）平穩(wěn)過渡到右轉(zhuǎn)彎（正值）。

圖 2 ：數(shù)據(jù)收集系統(tǒng)的高級視圖。

訓(xùn)練數(shù)據(jù)包含從視頻中采樣的單個圖像，與相應(yīng)的轉(zhuǎn)向指令（ 1 / r ）配對。僅僅使用人類駕駛員的數(shù)據(jù)進(jìn)行培訓(xùn)是不夠的；網(wǎng)絡(luò)還必須學(xué)會如何從任何錯誤中恢復(fù)，否則汽車將慢慢偏離道路。因此，訓(xùn)練數(shù)據(jù)被附加的圖像增強(qiáng)，這些圖像顯示了汽車從車道中心的不同位移和從道路方向的旋轉(zhuǎn)。

兩個特定的偏離中心偏移的圖像可以從左右攝像機(jī)獲得。通過對來自最近攝像機(jī)的圖像進(jìn)行視點變換，模擬攝像機(jī)之間的附加位移和所有旋轉(zhuǎn)。精確的視點變換需要我們沒有的三維場景知識，所以我們假設(shè)地平線以下的所有點都在平地上，地平線以上的所有點都是無限遠(yuǎn)的，來近似地進(jìn)行變換。對于平坦的地形，這很好，但是對于更完整的渲染，它會對粘在地面上的對象（如汽車、電線桿、樹木和建筑物）引入扭曲。幸運的是，這些扭曲并沒有給網(wǎng)絡(luò)培訓(xùn)帶來重大問題。變換后的圖像的轉(zhuǎn)向標(biāo)簽會快速調(diào)整為在兩秒鐘內(nèi)將車輛正確地轉(zhuǎn)向到所需的位置和方向。

圖 3 顯示了我們的培訓(xùn)系統(tǒng)的框圖。圖像被輸入 CNN ，然后由 CNN 計算出建議的轉(zhuǎn)向指令。將提出的命令與該圖像的所需命令進(jìn)行比較，并調(diào)整 CNN 的權(quán)重以使 CNN 輸出更接近所需的輸出。重量調(diào)整是通過在 Torch 7 機(jī)器學(xué)習(xí)包中實現(xiàn)的反向傳播來完成的。

圖 3 ：訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

一旦經(jīng)過訓(xùn)練，網(wǎng)絡(luò)就能夠從單中心攝像機(jī)的視頻圖像中生成轉(zhuǎn)向指令。圖 4 顯示了這個配置。

圖 4 ：訓(xùn)練后的網(wǎng)絡(luò)用于從單個前置中心攝像頭生成轉(zhuǎn)向命令。

數(shù)據(jù)收集

培訓(xùn)數(shù)據(jù)是通過在各種各樣的道路上以及在不同的照明和天氣條件下駕駛來收集的。我們收集了來自新澤西州，伊利諾伊州和新澤西州的數(shù)據(jù)。其他道路類型包括雙車道道路（帶和不帶車道標(biāo)線）、有停車場的住宅道路、隧道和未鋪面道路。數(shù)據(jù)收集在晴朗，多云，霧，雪和雨的天氣，白天和晚上。在某些情況下，太陽在天空中很低，導(dǎo)致眩光從路面反射并從擋風(fēng)玻璃上散射。

這些數(shù)據(jù)是通過我們的線控測試車（ 2016 款林肯 MKZ ）或 2013 款福特?？怂梗?Ford Focus ）獲得的，該車的攝像頭位置與林肯車相似。我們的系統(tǒng)不依賴于任何特定的車輛品牌或型號。司機(jī)們被鼓勵保持全神貫注，但在其他方面，他們通常會這樣開車。截至 2016 年 3 月 28 日，收集了大約 72 小時的駕駛數(shù)據(jù)。

網(wǎng)絡(luò)體系結(jié)構(gòu)

我們訓(xùn)練網(wǎng)絡(luò)的權(quán)值，以使網(wǎng)絡(luò)輸出的轉(zhuǎn)向命令與人類駕駛員的指令或偏離中心和旋轉(zhuǎn)圖像的調(diào)整后的轉(zhuǎn)向指令之間的均方誤差最小化（見后面的“增強(qiáng)”）。圖 5 顯示了網(wǎng)絡(luò)體系結(jié)構(gòu)，它由 9 個層組成，包括一個規(guī)范化層、 5 個卷積層和 3 個完全連接的層。將輸入的圖像分割成 YUV 。

圖 5 ： CNN 架構(gòu)。這個網(wǎng)絡(luò)有大約 2700 萬個連接和 25 萬個參數(shù)。

網(wǎng)絡(luò)的第一層執(zhí)行圖像標(biāo)準(zhǔn)化。規(guī)范化器是硬編碼的，在學(xué)習(xí)過程中不會進(jìn)行調(diào)整。在網(wǎng)絡(luò)中執(zhí)行規(guī)范化允許標(biāo)準(zhǔn)化方案隨網(wǎng)絡(luò)架構(gòu)改變，并通過 GPU 處理加速。

卷積層的設(shè)計是為了進(jìn)行特征提取，并通過一系列不同層結(jié)構(gòu)的實驗進(jìn)行經(jīng)驗選擇。然后，我們在前三個卷積層中使用跨步卷積，步長為 2 × 2 ，核為 5 × 5 ，最后兩個卷積層使用核大小為 3 × 3 的非跨步卷積。

我們跟隨五個卷積層和三個完全連接的層，得到最終的輸出控制值，即反向轉(zhuǎn)彎半徑。完全連接的層被設(shè)計成一個控制器來控制方向，但是我們注意到，通過端到端的訓(xùn)練系統(tǒng)，不可能在網(wǎng)絡(luò)的哪些部分主要作為特征提取器，哪些部分作為控制器起作用。

培訓(xùn)詳情

數(shù)據(jù)選擇

訓(xùn)練 神經(jīng)網(wǎng)絡(luò) 的第一步是選擇要使用的幀。我們收集的數(shù)據(jù)被標(biāo)記為道路類型、天氣狀況和駕駛員的活動（停留在車道上、切換車道、轉(zhuǎn)彎等）。為了訓(xùn)練 CNN 進(jìn)行車道跟蹤，我們只需選擇駕駛員停留在車道上的數(shù)據(jù)，然后丟棄其余數(shù)據(jù)。然后，我們以 10 FPS 的速度對視頻進(jìn)行采樣，因為更高的采樣率將包含高度相似的圖像，因此不會提供太多額外的有用信息。為了消除對直線行駛的偏見，訓(xùn)練數(shù)據(jù)中包含了更高比例的表示道路曲線的幀。

增強(qiáng)

在選擇最后一組幀后，我們通過添加人工移動和旋轉(zhuǎn)來增加數(shù)據(jù)，以教網(wǎng)絡(luò)如何從不良位置或方向恢復(fù)。這些擾動的大小是從正態(tài)分布中隨機(jī)選取的。分布的平均值為零，標(biāo)準(zhǔn)差是我們用人類駕駛員測量的標(biāo)準(zhǔn)差的兩倍。隨著震級的增加，人為地增加數(shù)據(jù)確實會增加不需要的偽影（如前所述）。

仿真

在對經(jīng)過訓(xùn)練的 CNN 進(jìn)行道路測試之前，我們首先在仿真中評估網(wǎng)絡(luò)的性能。圖 6 顯示了仿真系統(tǒng)的簡化框圖，圖 7 顯示了交互模式下模擬器的屏幕截圖。

圖 6 ：駕駛模擬器框圖。

這個模擬器從一個連接到人類駕駛的數(shù)據(jù)采集車的前向車載攝像頭上獲取預(yù)先錄制的視頻，生成的圖像與 CNN 轉(zhuǎn)向車輛時的圖像大致相同。這些測試視頻與人類駕駛員生成的錄制的轉(zhuǎn)向指令時間同步。

由于人類駕駛員不是一直在車道中心行駛，我們必須手動校準(zhǔn)車道中心，因為它與模擬器使用的視頻中的每個幀相關(guān)。我們稱這一立場為“基本事實”。

模擬器對原始圖像進(jìn)行變換，以解釋與地面真實情況的偏差。請注意，這種轉(zhuǎn)換也包括了人類驅(qū)動的路徑和基本真相之間的任何差異。轉(zhuǎn)換是通過與前面描述的相同的方法完成的。

模擬器訪問錄制的測試視頻以及捕獲視頻時發(fā)生的同步轉(zhuǎn)向命令。模擬器將所選測試視頻的第一幀發(fā)送到經(jīng)過訓(xùn)練的 CNN 的輸入，該視頻根據(jù)地面真相的任何偏離進(jìn)行調(diào)整，然后返回該幀的轉(zhuǎn)向命令。 CNN 轉(zhuǎn)向命令和記錄的人 – 駕駛員指令被輸入車輛的動態(tài)模型［7］，以更新模擬車輛的位置和方向。

圖 7 ：交互模式下模擬器的屏幕截圖。有關(guān)性能指標(biāo)的說明，請參閱文本。由于視點變換，左側(cè)的綠色區(qū)域未知。地平線下突出顯示的寬矩形是發(fā)送給 CNN 的區(qū)域。

模擬器然后修改測試視頻中的下一幀，使圖像看起來像是車輛在遵循 CNN 的轉(zhuǎn)向命令而產(chǎn)生的位置。這個新的圖像然后被傳送到 CNN 并且這個過程重復(fù)。

模擬器記錄偏離中心的距離（從汽車到車道中心的距離）、偏航和虛擬汽車行駛的距離。當(dāng)偏離中心距離超過 1 米時，將觸發(fā)虛擬人干預(yù)，并重置虛擬車輛的位置和方向，以匹配原始測試視頻對應(yīng)幀的地面真實情況。

評價

我們通過兩個步驟來評估我們的網(wǎng)絡(luò)：首先在模擬中，然后在道路測試中。

在模擬中，我們的網(wǎng)絡(luò)在模擬器中提供了一組預(yù)先記錄的測試路線的指導(dǎo)命令，這些線路對應(yīng)于新澤西州蒙茅斯縣大約 3 小時 100 英里的行駛。測試數(shù)據(jù)是在不同的照明和天氣條件下采集的，包括公路、當(dāng)?shù)氐缆泛途用窠帧?/p>

我們通過計算模擬車輛偏離中心線超過 1 米時發(fā)生的模擬人類干預(yù)，來估計網(wǎng)絡(luò)能夠驅(qū)動汽車的時間百分比（自主）。我們假設(shè)，在現(xiàn)實生活中，實際干預(yù)總共需要 6 秒：這是人類重新控制車輛、重新居中，然后重新啟動自動轉(zhuǎn)向模式所需的時間。我們通過計算干預(yù)次數(shù)，乘以 6 秒，除以模擬測試的運行時間，然后從 1 減去結(jié)果來計算自主性百分比：

因此，如果我們在 600 秒內(nèi)進(jìn)行 10 次干預(yù)，我們的自主性值將為

道路試驗

經(jīng)過訓(xùn)練的網(wǎng)絡(luò)在模擬器中表現(xiàn)出良好的性能后，網(wǎng)絡(luò)被加載到我們的測試車的驅(qū)動器 PX 上，并被帶出進(jìn)行道路測試。在這些測試中，我們用汽車自動轉(zhuǎn)向的時間來衡量性能。此時間不包括從一條道路到另一條道路的車道變更和轉(zhuǎn)彎。在新澤西州蒙茅斯縣，從我們在霍爾姆德爾的辦公室到大西洋高地的典型駕車旅行，我們大約 98% 的時間是自治的。我們還在花園州公園大道上行駛了 10 英里（一條有進(jìn)出口匝道的多車道分車道高速公路），沒有攔截。

以下是我們的測試車在不同條件下駕駛的視頻。

CNN 內(nèi)部狀態(tài)的可視化

圖 8 ： CNN 如何“看到”一條未鋪砌的道路。頂部：發(fā)送到 CNN 的攝像機(jī)圖像的子集。左下：激活第一層要素地圖。右下：激活第二層要素地圖。這表明 CNN 學(xué)會了自己檢測有用的道路特征，即僅以人的轉(zhuǎn)向角作為訓(xùn)練信號。我們從來沒有明確訓(xùn)練過它去探測道路的輪廓。

圖 8 和圖 9 顯示了兩個不同示例輸入的前兩個要素地圖層的激活，即未鋪砌的道路和森林。對于未鋪筑的道路，特征地圖激活可以清楚地顯示道路的輪廓，而對于森林，特征地圖包含的大部分是噪音，即 CNN 在該圖像中找不到有用的信息。

這表明 CNN 學(xué)會了自己檢測有用的道路特征，即僅以人的轉(zhuǎn)向角作為訓(xùn)練信號。例如，我們從來沒有明確訓(xùn)練過它來檢測道路的輪廓。

圖 9 ：沒有道路的示例圖像。前兩個特征地圖的激活似乎主要包含噪音，也就是說， CNN 在這張圖片中沒有識別出任何有用的特征。

結(jié)論

我們已經(jīng)通過經(jīng)驗證明， cnn 能夠?qū)W習(xí)車道和道路跟隨的整個任務(wù)，而無需手動分解為道路或車道標(biāo)記檢測、語義抽象、路徑規(guī)劃和控制。從不到一百小時的駕駛中獲得的少量培訓(xùn)數(shù)據(jù)就足以訓(xùn)練汽車在不同的條件下運行，在高速公路、當(dāng)?shù)睾途用竦缆飞希谇缣?、多云和下雨的條件下。 CNN 能夠從非常稀疏的訓(xùn)練信號（單獨轉(zhuǎn)向）中學(xué)習(xí)有意義的道路特征。

例如，該系統(tǒng)學(xué)習(xí)如何檢測道路輪廓，而不需要在訓(xùn)練過程中使用明確的標(biāo)簽。

為了提高網(wǎng)絡(luò)的魯棒性，尋找驗證魯棒性的方法，提高網(wǎng)絡(luò)內(nèi)部處理步驟的可視化程度，還需要做更多的工作。

關(guān)于作者

Mariusz Bojarski 博士于 2009 年獲得華沙理工大學(xué)電子與計算機(jī)工程碩士學(xué)位。他在電池管理系統(tǒng)、移動機(jī)器人電池充電器、移動自動化和測量以及 ele CTR ic 車輛無線充電系統(tǒng)的開發(fā)方面有著廣泛的職業(yè)生涯。 2015 年 12 月， Mariusz 加入 NVIDIA ，擔(dān)任深度學(xué)習(xí)研發(fā)工程師，致力于自主駕駛技術(shù)。

Ben Firner 博士畢業(yè)于羅格斯大學(xué)無線信息網(wǎng)絡(luò)實驗室（ WINLAB ），他在那里研究一種無線協(xié)議，允許小型無線傳感器在幣形電池上運行 10 年以上。在加入 NVIDIA 之前，他與一家初創(chuàng)公司合作，利用這些傳感器為實驗動物護(hù)理市場創(chuàng)建實時監(jiān)控系統(tǒng)。 Ben 目前正與 NVIDIA 自主駕駛團(tuán)隊的其他成員合作，創(chuàng)建接近人類水平駕駛能力的神經(jīng)網(wǎng)絡(luò)，最終目標(biāo)是使駕駛更安全、壓力更小。

Beat Flepp 是 NVIDIA 自主駕駛團(tuán)隊的高級開發(fā)技術(shù)工程師，負(fù)責(zé)設(shè)計、實施、測試和維護(hù)硬件和軟件基礎(chǔ)設(shè)施的許多方面，以便在各種 NVIDIA 嵌入式系統(tǒng)上訓(xùn)練和運行用于自主駕駛的神經(jīng)網(wǎng)絡(luò)模型。貝特于 1999 年獲得瑞士聯(lián)邦理工學(xué)院電氣工程博士學(xué)位。

Larry Jackel 是 North-C Technologies 的總裁，在那里他從事專業(yè)咨詢。他曾擔(dān)任國防高級研究計劃局（ DARPA ）項目經(jīng)理，管理網(wǎng)絡(luò)文件存儲項目，并與自主地面機(jī)器人導(dǎo)航和移動工作。杰克爾擁有康奈爾大學(xué)實驗物理學(xué)博士學(xué)位，論文主題是超導(dǎo)電子 CTR 。

Urs Muller 是新澤西州 NVIDIA 汽車公司的開發(fā)技術(shù)總監(jiān)和首席軟件架構(gòu)師。他的工作重點是使用 NVIDIA Tegra 平臺開發(fā)自動車輛的端到端解決方案，他在機(jī)器人技術(shù)、計算機(jī)視覺、機(jī)器學(xué)習(xí)和高性能計算方面擁有 20 多年的經(jīng)驗。他收到了博士 1993 年獲瑞士聯(lián)邦理工學(xué)院電子工程與計算機(jī)科學(xué)專業(yè)。

Karol Zieba 最近在佛蒙特大學(xué)完成了計算機(jī)科學(xué)碩士學(xué)位。在 NVIDIA 上，卡羅爾擴(kuò)展了自動駕駛車輛的學(xué)習(xí)方式。卡羅爾喜歡舉重、棋盤游戲，并探索機(jī)器學(xué)習(xí)、復(fù)雜網(wǎng)絡(luò)和具體認(rèn)知方面的最新研究。Davide Del Testa 是 NVIDIA 汽車解決方案架構(gòu)師團(tuán)隊的成員，他支持客戶構(gòu)建基于 NVIDIA 驅(qū)動平臺的自主駕駛架構(gòu)。在此之前，他是 NVIDIA 的深度學(xué)習(xí)研究實習(xí)生，在那里他應(yīng)用深度學(xué)習(xí)技術(shù)開發(fā) BB8 ， NVIDIA 的研究工具。 Davide 擁有應(yīng)用于電信的機(jī)器學(xué)習(xí)博士學(xué)位，他在網(wǎng)絡(luò)優(yōu)化和信號處理領(lǐng)域采用了學(xué)習(xí)技術(shù)。他在意大利帕多瓦大學(xué)獲得電信工程碩士學(xué)位。

審核編輯：郭婷