DRIVE Labs 系列文章

第六站：基于洞察的智能規(guī)劃

自動駕駛汽車上路后，會遇到各種各樣的突發(fā)情況，道路上突然變道或道路邊突然啟動的車輛、突然橫穿馬路的行人等，都會對自動駕駛汽車行駛的安全性帶來影響。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊推出的、以一輛自動駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動駕駛汽車如何一路“過關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動駕駛。

本期是第六期“基于洞察的智能規(guī)劃”，將為大家介紹自動駕駛汽車如何利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和深度神經(jīng)網(wǎng)絡(luò)（DNN），追蹤并預(yù)測其他道路使用者的行動軌跡，并規(guī)劃自動駕駛汽車自身的行駛軌跡，以實現(xiàn)安全駕駛。

上期文章主要介紹了可幫助自動駕駛汽車“看清”路況、控制燈光的 DNN，本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹能夠穩(wěn)定追蹤駕駛環(huán)境不同目標(biāo)的特征追蹤、可預(yù)測目標(biāo)未來移動軌跡的 RNN 以及能夠幫助自動駕駛汽車了解周圍駕駛環(huán)境的 PredictionNet DNN。話不多說，一起來看看吧！

在復(fù)雜的道路交通環(huán)境中，自動駕駛汽車在行使過程中難免會遇到一些緊急或突發(fā)的情況，如前車臨時變道、路邊行人橫穿馬路等，這些情況的發(fā)生通常都有跡可循。若自動駕駛汽車能在時刻觀察道路環(huán)境的過程中，考慮到周圍活動車輛和行人未來可能進(jìn)行的道路行動，可在很大程度上“防范于未然”，及時規(guī)避危險、保證安全行駛。

特征追蹤“把握”車周環(huán)境動向

在車輛的行駛過程中，像素級信息可能會由于復(fù)雜的光照變化、視點變化以及場景中的非剛性物體運(yùn)動而失真。為實現(xiàn)高性能的自動駕駛，技術(shù)開發(fā)人員需要在自動駕駛訓(xùn)練中兼具準(zhǔn)確性、可靠性和運(yùn)行效率。NVIDIA 選擇采用基于稀疏光流的特征追蹤方法，來獲得所對應(yīng)的像素級訓(xùn)練數(shù)據(jù)，并保證其準(zhǔn)確性和多樣性。

特征追蹤可以對視頻相鄰幀之間的像素級對應(yīng)關(guān)系和像素級變化進(jìn)行估計，對于估計障礙物運(yùn)動/速度、相機(jī)自校準(zhǔn)和視覺測距提供關(guān)鍵時間和地理信息來說至關(guān)重要。準(zhǔn)確且穩(wěn)定的特征追蹤結(jié)果可轉(zhuǎn)換為障礙物感知中對碰撞時間的準(zhǔn)確估計，可用于對攝像頭傳感器外部校準(zhǔn)（俯仰/偏航/側(cè)傾）值的可靠計算，并且可作為在視覺里程計算中生成三維圖像的關(guān)鍵視覺輸入。

NVIDIA 基于稀疏光流的特征追蹤方法包括三個主要步驟：

• 圖像預(yù)處理：該步驟主要是從圖像中提取梯度信息；

• 特征檢測：該步驟使用提取到的梯度信息來識別圖像中的顯著特征點，以在整個幀中實現(xiàn)對目標(biāo)對象的穩(wěn)定追蹤；

• 跨幀追蹤功能：該步驟會在基于光流的特征追蹤中追蹤檢測到的特征，并估計其在視頻圖像序列中跨相鄰兩幀的運(yùn)動。

為保證基于嵌入式計算平臺自動駕駛的安全性，在實時特征追蹤中平衡準(zhǔn)確性和性能至關(guān)重要。為實現(xiàn)該平衡，NVIDIA 設(shè)計了一種復(fù)雜的特征密度控制算法，以確保檢測到的稀疏特征可以覆蓋對自動駕駛來說最重要的圖像區(qū)域。此外，NVIDIA 還利用由粗到精的特征追蹤策略來提高計算速度和可靠性。

NVIDIA 的稀疏特征追蹤方法可同時在多臺攝像頭上運(yùn)行，開發(fā)人員可以借助前置和環(huán)繞攝像頭感知裝置實現(xiàn)特征追蹤功能。

循環(huán)神經(jīng)網(wǎng)絡(luò)“看懂”目標(biāo)走向

使用 RNN 預(yù)測未來

在行車過程中，駕駛狀況變化無常，自動駕駛汽車會遇見其他車輛的不合理變道或行人突然從停放的車輛之間竄出來的情況。這種意外事件的存在意味著在行車過程中，自動駕駛汽車需要為未來將出現(xiàn)的各種駕駛情況做好準(zhǔn)備。

借助計算方法和傳感器數(shù)據(jù)（比如一些連續(xù)的圖像），自動駕駛汽車可以及時判斷出物體正在如何移動，并通過這類時態(tài)信息準(zhǔn)確地預(yù)測周圍移動目標(biāo)的未來軌跡，根據(jù)需要調(diào)整其行駛路徑。以上視頻為大家展示了 NVIDIA 為實現(xiàn)這種預(yù)測，所使用的深度神經(jīng)網(wǎng)絡(luò)家族中的成員之一—循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

RNN 是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 是根據(jù)“人的認(rèn)知是基于過往的經(jīng)驗和記憶”這一觀點提出的。與 DNN、CNN 不同的是，RNN 擁有記憶功能，其在計算并預(yù)測未來時可以利用過去的學(xué)習(xí)結(jié)果，能夠以自然方式提取某一時間序列的圖像（也就是視頻），并生成最先進(jìn)的時間預(yù)測結(jié)果，具有高度可靠性。

NVIDIA 主要是利用跨傳感器數(shù)據(jù)來訓(xùn)練 RNN。具體而言，NVIDIA 會將激光雷達(dá)和雷達(dá)的信息輸入至攝像頭域中，并用速度數(shù)據(jù)標(biāo)記攝像頭圖像，以利用跨傳感器融合來創(chuàng)建一個自動的數(shù)據(jù)流程，為 RNN 的訓(xùn)練生成地面實況信息。

RNN 可輸出場景中所檢測到的動態(tài)對象（如車輛和行人）的碰撞時間（TTC）、未來位置以及未來速度預(yù)測，為自動駕駛汽車中的縱向控制功能（如自動巡航控制和自動緊急制動）提供必要的輸入信息，以幫助自動駕駛汽車實現(xiàn)安全行駛。

PredictionNet DNN 預(yù)測前方路況

準(zhǔn)確前行：AI 如何幫助自動駕駛汽車預(yù)測前方路況

車輛行駛過程中需要對未來進(jìn)行預(yù)測。每當(dāng)汽車突然駛?cè)肽硞€車道或多輛汽車在同一十字路口相遇時，為了確保安全，駕駛員必須對其他對象的行為進(jìn)行預(yù)測。人類駕駛員依靠駕駛過程中的線索以及個人經(jīng)驗對情況進(jìn)行分析，而自動駕駛汽車可以通過 AI 預(yù)測交通模式，并在復(fù)雜的環(huán)境中安全行駛。以上視頻將為大家演示 PredictionNet DNN 如何利用實時感知數(shù)據(jù)和地圖數(shù)據(jù)，預(yù)測其他道路使用者的行駛路徑。

PredictionNet DNN 通過分析路上所有行人和車輛過往的移動情況，得到車輛或行人的過往位置，并且還會獲取場景中固定對象和地標(biāo)的位置，例如地圖上的交通信號燈、交通標(biāo)志和車道線標(biāo)志，而后基于這些柵格化俯視圖信息輸入來預(yù)測路上車輛和行人的未來軌跡。此外，PredictionNet DNN 能通過提供每個車輛或行人未來軌跡的預(yù)測統(tǒng)計信息，來降低預(yù)測的不確定性，如下圖所示。

PredictionNet 的預(yù)測結(jié)果以俯視圖形式展現(xiàn)?；揖€代表地圖，白虛線代表 DNN 預(yù)測的車輛軌跡，而白框代表實際發(fā)生的軌跡數(shù)據(jù)。彩色云代表預(yù)測車輛軌跡的概率分布，較暖顏色代表在時間上與當(dāng)前時間更近的點，較冷顏色代表在將來更遠(yuǎn)的點

PredictionNet 采用基于 RNN 的二維卷積架構(gòu)，對任意車輛或行人以及預(yù)測范圍數(shù)量都具有高度可擴(kuò)展性。此外，PredictionNet 模型還適用于 TensorRT 深度學(xué)習(xí)推理 SDK 中的高效運(yùn)行，可在 NVIDIA TITAN RTX GPU 上實現(xiàn) 10 毫秒級的端到端推理。PredictionNet 實時預(yù)測行為的能力還能用于創(chuàng)建交互式訓(xùn)練環(huán)境，以加強(qiáng)基于學(xué)習(xí)的規(guī)劃和控制策略，實現(xiàn)自動巡航控制、車道變更或交叉路口處理等功能。

PredictionNet 的訓(xùn)練結(jié)果還表明，其在十字路口、高速公路汽車匯入等復(fù)雜的交通場景下都具有很好的應(yīng)用前景。該 DNN 的預(yù)測功能還具有可擴(kuò)展性，可用于各種傳感器配置，并應(yīng)用在從 L2+ 級系統(tǒng)到 L4/L5 級的自動駕駛系統(tǒng)中。

NVIDIA 希望能借助 PredictionNet 以及真實世界經(jīng)驗，對“其他道路使用者對行駛中的汽車做出的反應(yīng)”進(jìn)行仿真，訓(xùn)練出更安全、可靠且彬彬有禮的“AI 駕駛員”。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 NVIDIA 如何利用 AI、安全力場（Safety Force Field）和主動學(xué)習(xí)為駕乘人員的安全保駕護(hù)航，敬請期待！點擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch視頻，了解 NVIDIA DRIVE 軟件如何助力自動駕駛。

往期精彩回看

「入門篇」：自動駕駛基礎(chǔ)功能

「第二站」：基本路況感知

「第三站」：讀懂交通標(biāo)志與信號燈

「第四站」：監(jiān)控車外的風(fēng)吹草動

「第五站」：提高道路狀況的可見性

掃描海報二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！