這是 NVIDIA DRIVE Labs 系列 中的最新視頻。這些視頻以工程為重點(diǎn)，介紹了各個(gè)自主車(chē)輛的挑戰(zhàn)以及 NVIDIA 驅(qū)動(dòng)團(tuán)隊(duì)如何應(yīng)對(duì)這些挑戰(zhàn)。

自動(dòng)停車(chē)涉及一系列復(fù)雜的感知和決策算法，傳統(tǒng)上依賴高清（ HD ）地圖來(lái)檢索停車(chē)信息。

然而，地圖覆蓋率和較差或過(guò)時(shí)的本地化信息可能會(huì)限制此類系統(tǒng)。除此之外，系統(tǒng)還必須理解和解釋不同地區(qū)的停車(chē)規(guī)則。

在這個(gè) DRIVE Labs 的帖子中，我們展示了基于 AI 的實(shí)時(shí)感知如何幫助將自動(dòng)停車(chē)擴(kuò)展到全球各個(gè)地區(qū)。

自動(dòng)泊車(chē)系統(tǒng)概述

對(duì)停車(chē)規(guī)則的理解和解釋可能會(huì)比表面上看起來(lái)更加微妙。

可以覆蓋有效區(qū)域內(nèi)的不同停車(chē)規(guī)則。例如，“禁止停車(chē)”可以覆蓋“禁止泊車(chē)”

此外，非停車(chē)相關(guān)標(biāo)志可以推斷停車(chē)規(guī)則。例如，在德國(guó)，任何公共汽車(chē)站標(biāo)志 15 米范圍內(nèi)都不允許停車(chē)。在美國(guó)，停車(chē)標(biāo)志前 30 英尺內(nèi)停車(chē)是違法的。

最后，除了像物理標(biāo)志這樣的明確線索外，還有攜帶停車(chē)信息的隱含標(biāo)志。例如，在許多地區(qū)，交叉口表示上一個(gè)活動(dòng)停車(chē)規(guī)則的結(jié)束。

基于高級(jí)算法的停車(chē)標(biāo)志輔助（ PSA ）系統(tǒng)對(duì)于自動(dòng)車(chē)輛了解停車(chē)規(guī)則的復(fù)雜性并做出相應(yīng)反應(yīng)至關(guān)重要。

傳統(tǒng)的 PSA 系統(tǒng)僅依賴高清地圖的輸入。然而， NVIDIA DRIVE AV 軟件堆棧利用最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)（ DNN ）和計(jì)算機(jī)視覺(jué)算法來(lái)提高真實(shí)場(chǎng)景中自動(dòng)停車(chē)的覆蓋率和魯棒性。這些技術(shù)可以實(shí)時(shí)檢測(cè)、跟蹤和分類各種停車(chē)交通標(biāo)志和道路交叉口。

WaitNet DNN 檢測(cè)交通標(biāo)志和十字路口。

wait perception 堆棧跟蹤單個(gè)標(biāo)志和交點(diǎn)，通過(guò)三角測(cè)量提供 3D 位置。

SignNet DNN 標(biāo)識(shí)交通標(biāo)志類型。

然后，來(lái)自模塊的結(jié)果被輸入 PSA 系統(tǒng)，該系統(tǒng)使用這些數(shù)據(jù)來(lái)確定汽車(chē)是否在停車(chē)帶內(nèi)，限制條件是什么，以及汽車(chē)是否允許在該區(qū)域內(nèi)停車(chē)或停車(chē)。

停車(chē)標(biāo)志輔助系統(tǒng)概述

PSA 系統(tǒng)接收到檢測(cè)到的停車(chē)標(biāo)志和道路交叉口后，將對(duì)象抽象為一個(gè) 啟動(dòng)停車(chē)標(biāo)志 或 終點(diǎn)停車(chē)標(biāo)志 。這種抽象級(jí)別允許系統(tǒng)在全球范圍內(nèi)擴(kuò)展。

啟動(dòng)停車(chē)標(biāo)志 標(biāo)志著新停車(chē)帶的潛在開(kāi)始， 終點(diǎn)停車(chē)標(biāo)志 可能會(huì)關(guān)閉一個(gè)或多個(gè)現(xiàn)有停車(chē)帶。圖 1 和圖 2 顯示了停車(chē)帶是如何形成的。

圖 1 ：形成停車(chē)帶

圖 1 將標(biāo)志和道路交叉口抽象為停車(chē)帶。該圖顯示，單個(gè)標(biāo)志可以生成多個(gè)虛擬標(biāo)志。例如，中間的符號(hào)作為最左邊符號(hào)的“結(jié)束”符號(hào)，作為最右邊符號(hào)的“開(kāi)始”。

圖 2 ：禁止停車(chē)區(qū)旁的汽車(chē)。

除了形成停車(chē)帶外， PSA 系統(tǒng)還利用標(biāo)志的語(yǔ)義將停車(chē)帶分為禁止停車(chē)、禁止停留、允許停車(chē)和未知狀態(tài)。然后，可以將此信息提供給駕駛員或任何自動(dòng)停車(chē)系統(tǒng)。

圖 3 ：PSA 的高水平工作

圖 3 顯示了 PSA 系統(tǒng)的主要功能工作流。在幀 A 中，檢測(cè)到“停車(chē)區(qū)開(kāi)始”標(biāo)志，并創(chuàng)建新的停車(chē)帶。汽車(chē)行駛一段時(shí)間后，檢測(cè)到“停車(chē)區(qū)結(jié)束”標(biāo)志，該標(biāo)志與該停車(chē)帶的開(kāi)始標(biāo)志相匹配。

最后， PSA 系統(tǒng)將所有激活的停車(chē)帶存儲(chǔ)在其存儲(chǔ)器中，并根據(jù)停車(chē)帶所隱含的交通規(guī)則向駕駛員發(fā)出當(dāng)前停車(chē)狀態(tài)的信號(hào)。

結(jié)論

PSA 系統(tǒng)在 NVIDIA DRIVE AGX 上運(yùn)行僅幾毫秒，就可以以驚人的準(zhǔn)確性實(shí)現(xiàn)復(fù)雜的決策。它還兼容任何使用實(shí)時(shí)攝像頭傳感器輸入的僅感知自動(dòng)車(chē)輛堆棧。

我們目前的 SignNet DNN 支持歐洲 20 多個(gè)停車(chē)標(biāo)志，包括公共汽車(chē)停車(chē)標(biāo)志、禁止停車(chē)標(biāo)志和禁止停車(chē)標(biāo)志，覆蓋范圍不斷擴(kuò)大。我們還將光學(xué)字符識(shí)別（ OCR ）和自然語(yǔ)言處理（ NLP ）模塊添加到系統(tǒng)中，以處理符號(hào)上書(shū)寫(xiě)文本攜帶的復(fù)雜信息。

關(guān)于作者

鄒珂軒是 NVIDIA 自主車(chē)輛感知團(tuán)隊(duì)的計(jì)算機(jī)視覺(jué)工程師。他目前正在開(kāi)發(fā)動(dòng)態(tài)和靜態(tài)對(duì)象的多攝像頭跟蹤。過(guò)去，他是基于實(shí)時(shí)感知的等待條件系統(tǒng)（包括速度輔助系統(tǒng)和停車(chē)標(biāo)志輔助系統(tǒng)）各種功能和算法的核心貢獻(xiàn)者之一?？藙谒乖谝晾Z伊大學(xué)香檳分校獲得計(jì)算機(jī)工程碩士學(xué)位。

Maroof Mohammed Farooq 是 NVIDIA 的高級(jí)軟件工程師。他是自動(dòng)車(chē)輛感知團(tuán)隊(duì)的成員，在該團(tuán)隊(duì)中，他致力于開(kāi)發(fā)動(dòng)態(tài)和靜態(tài)障礙物的攝像頭對(duì)象跟蹤器。過(guò)去，他為路徑感知、路標(biāo)識(shí)別和等待條件系統(tǒng)的基于 AI 的解決方案的設(shè)計(jì)和開(kāi)發(fā)做出了貢獻(xiàn)。他在南加州大學(xué)完成了信號(hào)處理碩士學(xué)位。

竇航是 NVIDIA 自主車(chē)輛感知團(tuán)隊(duì)的技術(shù)負(fù)責(zé)人和工程師經(jīng)理。他領(lǐng)導(dǎo)了等待條件系統(tǒng)（道路規(guī)則、標(biāo)志、燈光、交叉口區(qū)域、路標(biāo)等的語(yǔ)義理解）的開(kāi)發(fā)，目前正在領(lǐng)導(dǎo)開(kāi)發(fā)動(dòng)態(tài)對(duì)象（車(chē)輛、行人等）和靜態(tài)對(duì)象（自由駕駛空間等）的通用攝像頭跟蹤。Hang在圣路易斯華盛頓大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位，由Ju教授指導(dǎo)。Hang的工作領(lǐng)域包括計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)，尤其對(duì)幾何、渲染、檢測(cè)和分類感興趣。

審核編輯：郭婷