現(xiàn)在還有許多其他人正在競(jìng)相處理所有這些車輛傳感器數(shù)據(jù)。其中，東芝一直在發(fā)展其 Visconti 圖像識(shí)別處理器系列，以滿足日益苛刻的歐洲新車評(píng)估計(jì)劃 （Euro NCAP） 要求。

從 2014 年開始，Euro NCAP 開始根據(jù)主動(dòng)安全技術(shù)對(duì)車輛進(jìn)行評(píng)級(jí)，例如車道偏離警告 （LDW）、車道保持輔助 （LKA） 和自動(dòng)緊急制動(dòng) （AEB）。這些要求在 2016 年擴(kuò)展到日間行人 AEB 和速度輔助系統(tǒng) （SAS）。2018 年，這些要求將進(jìn)一步擴(kuò)大，包括夜間行人 AEB，以及日間和夜間騎車人 AEB（圖 1）。

圖 1.歐洲新車評(píng)估計(jì)劃 （Euro NCAP） 的要求近年來有所擴(kuò)展，包括許多高級(jí)駕駛員輔助系統(tǒng) （ADAS） 功能。

為了滿足能夠在白天和夜間環(huán)境中準(zhǔn)確識(shí)別移動(dòng)和靜止物體的視覺系統(tǒng)的需求，東芝的 TMPV7608XBG Visconti4 處理器等圖像識(shí)別處理器采用了一套計(jì)算技術(shù)（圖 2）。除了 CPU 和 DSP 之外，8 個(gè)硬件加速模塊使設(shè)備能夠高效地執(zhí)行高度專業(yè)化的汽車計(jì)算機(jī)視覺 （CV） 工作負(fù)載，例如仿射變換（線性映射）、過濾、直方圖、匹配和金字塔圖像生成。

圖 2. Toshiba TMPV7608XBG Visconti4 圖像識(shí)別處理器利用 CPU、圖像處理引擎 （DSP） 和圖像處理加速器（硬件加速器）來計(jì)算一系列汽車計(jì)算機(jī)視覺 （CV） 工作負(fù)載。

TMPV7608XBG 上的兩個(gè)新硬件加速模塊專門解決了夜間和移動(dòng)/靜止物體檢測(cè)的挑戰(zhàn)：增強(qiáng)的定向梯度共現(xiàn)直方圖 （CoHOG） 和運(yùn)動(dòng)結(jié)構(gòu) （SfM） 加速器。

對(duì)于夜間 ADAS 應(yīng)用，增強(qiáng)型 CoHOG 加速器通過結(jié)合基于亮度和顏色的特征描述符來抵消物體與其周圍環(huán)境之間的低對(duì)比度，從而超越了傳統(tǒng)的模式識(shí)別。據(jù)東芝稱，增強(qiáng)型 CoHOG 加速器不僅可以減少物體識(shí)別所需的時(shí)間，而且可以在夜間實(shí)現(xiàn)與白天一樣可靠的行人檢測(cè)。

同時(shí)，SfM 加速器使用來自單目相機(jī)的連續(xù)圖像來開發(fā)高度、寬度和到對(duì)象距離的三維估計(jì)（圖 3）。因此可以在沒有任何學(xué)習(xí)曲線的情況下檢測(cè)靜止物體，并且可以應(yīng)用運(yùn)動(dòng)分析和模式識(shí)別來檢測(cè)運(yùn)動(dòng)物體，例如行人或車輛。由于 3D 信息減少了圖像中的感興趣區(qū)域，ADAS 系統(tǒng)能夠更快地識(shí)別障礙物并做出反應(yīng)。

圖 3. TMPV7608XBG 的運(yùn)動(dòng)結(jié)構(gòu) （SfM） 加速器使用三維映射來檢測(cè)靜止和移動(dòng)物體。

這些加速器與 TMPV7608XBG 的 DSP 子系統(tǒng)中的八個(gè)媒體處理引擎 （MPE） 一起運(yùn)行，每個(gè)都配備雙精度浮點(diǎn)單元 （FPU）。因此，該設(shè)備可以同時(shí)并行執(zhí)行 8 個(gè)圖像識(shí)別應(yīng)用程序，響應(yīng)時(shí)間為 50 毫秒。以 266.7 MHz 的時(shí)鐘頻率運(yùn)行，與之前的 Visconti 處理器相比，這意味著處理時(shí)間減少了 50%（圖 5）。

圖 5. TMPV7608XBG Visconti4 處理器的性能與上一代 Visconti 處理器相比，處理時(shí)間減少了 50%。

東芝公開的 Visconti4 圖像識(shí)別處理器設(shè)計(jì)中標(biāo)包括 DENSO Corporation 的基于前置攝像頭的主動(dòng)安全系統(tǒng)。

人工智能和自動(dòng)駕駛對(duì)計(jì)算的需求

但圖像處理只是當(dāng)今汽車安全系統(tǒng)中的一塊拼圖。除了攝像頭之外，現(xiàn)代 ADAS 應(yīng)用和半自動(dòng)車輛還依賴于雷達(dá)、激光雷達(dá)、接近傳感器、GPS、車聯(lián)網(wǎng) （V2X） 連接和其他有源組件的輸入。來自所有這些輸入的數(shù)據(jù)必須實(shí)時(shí)處理、分析和融合，以便在危險(xiǎn)情況下迅速采取糾正措施。

人工智能 （AI） 似乎是在自動(dòng)和半自動(dòng)車輛用例中執(zhí)行駕駛策略和做出實(shí)時(shí)決策的理想技術(shù)。然而，傳統(tǒng)的基于云的 AI 實(shí)現(xiàn)不適合汽車安全應(yīng)用，這主要是因?yàn)榕c數(shù)據(jù)傳輸相關(guān)的延遲，還因?yàn)殡[私、安全、成本和網(wǎng)絡(luò)覆蓋問題。

作為替代方案，能夠運(yùn)行片上人工或深度神經(jīng)網(wǎng)絡(luò) （ANN/DNN） 的超級(jí)計(jì)算機(jī)級(jí)處理器正在被設(shè)計(jì)到特斯拉等汽車安全系統(tǒng)的電子控制單元 （ECU） 中。例如，NVIDIA 聲稱其 Drive PX Pegasus 平臺(tái)的變體將提供高達(dá)每秒 320 萬億次深度學(xué)習(xí)操作 （TOPS），這對(duì)于 5 級(jí)自動(dòng)駕駛汽車來說已經(jīng)足夠了。

不幸的是，這些處理器也有其自身的挑戰(zhàn)。除了相當(dāng)大的功耗和單位成本外，這些芯片的裸片尺寸也很大（圖 7）。如果將每年生產(chǎn)的大約 1 億輛汽車中的每輛都考慮到一個(gè)這樣的處理器，那么汽車市場(chǎng)的需求量將是目前為智能手機(jī)生產(chǎn)的芯片的三倍。這遠(yuǎn)遠(yuǎn)超過了當(dāng)前的硅晶片制造能力。

圖 7.雖然高性能處理器提供了運(yùn)行片上神經(jīng)網(wǎng)絡(luò)以實(shí)現(xiàn)完全自動(dòng)駕駛的計(jì)算能力，但目前生產(chǎn)它們所需的芯片尺寸超過了硅晶圓的制造能力。資料來源：英偉達(dá)和伯恩斯坦研究。

同樣，DSP IP 模塊提供的解決方案更適合嵌入式汽車用例，CEVA 深度神經(jīng)網(wǎng)絡(luò) （CDNN） 就是一個(gè)例子。CDNN 包括神經(jīng)網(wǎng)絡(luò)生成器、軟件框架和硬件加速器，專為與 CEVA-XM 成像和視覺 DSP 內(nèi)核配合使用（圖 8）。這里的價(jià)值主張是降低功耗、降低成本以及在整個(gè)系統(tǒng)設(shè)計(jì)中分配智能的能力。

圖 8. CEVA 深度神經(jīng)網(wǎng)絡(luò) （CDNN） 是一個(gè)用于在嵌入式 DSP 上開發(fā)、生成和部署神經(jīng)網(wǎng)絡(luò)的工具包。

CDNN 的核心是像 CEVA-XM6 這樣的 DSP，它包括矢量和標(biāo)量處理單元以及 3D 數(shù)據(jù)處理模式。矢量和標(biāo)量處理單元使 -XM6 非常適合傳感器數(shù)據(jù)融合，而其 3D 數(shù)據(jù)處理方案有助于加速神經(jīng)網(wǎng)絡(luò)性能（圖 9）。在 CDNN 環(huán)境中，這些 DSP 配備一個(gè)或多個(gè)硬件加速器，在卷積神經(jīng)網(wǎng)絡(luò) （CNN） 處理中每個(gè)周期提供 512 次乘法累加 （MAC） 操作。所有其他神經(jīng)網(wǎng)絡(luò)層——任何類型或數(shù)量——都由 DSP 本身運(yùn)行。

圖 9.矢量和標(biāo)量處理單元與 3D 數(shù)據(jù)處理方案相結(jié)合，使 CEVA-XM6 DSP 非常適合汽車安全和人工智能工作負(fù)載。

但 CDNN 工具包的獨(dú)特之處在于 CEVA 網(wǎng)絡(luò)生成器。網(wǎng)絡(luò)生成器將在 Caffe 和 TensorFlow 等框架中開發(fā)的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為可以在嵌入式系統(tǒng)中運(yùn)行的實(shí)時(shí)神經(jīng)網(wǎng)絡(luò)模型。從那里，第二代 CDNN 軟件框架可用于應(yīng)用程序調(diào)整。

據(jù) CEVA， Inc. 稱，CDNN 工具包處理 CNN 的速度比基于 GPU 的替代方案快四倍，能效提高 25 倍。該公司負(fù)責(zé)市場(chǎng)情報(bào)、投資者和公共關(guān)系的副總裁 Richard Kingston 表示，該技術(shù)目前在汽車領(lǐng)域獲得了超過五項(xiàng)設(shè)計(jì)勝利，著名的合作伙伴是安森美半導(dǎo)體、NEXTCHIP 以及正在使用的一級(jí)汽車 OEM它在完全自主的車輛設(shè)計(jì)中。

審核編輯：郭婷