今天，大家對(duì)自動(dòng)駕駛都充滿(mǎn)了期待，任何一場(chǎng)科技大秀上，總少不了自動(dòng)駕駛的身影。不過(guò)與之伴生的，還有與自動(dòng)駕駛相關(guān)的事故數(shù)量的增加，特斯拉、Uber前后腳都發(fā)生了在（準(zhǔn)）自動(dòng)駕駛狀態(tài)下的致死事故。

可能你會(huì)覺(jué)得自動(dòng)駕駛商用進(jìn)程有些慢，現(xiàn)在的方案還不靠譜兒，但考慮到其應(yīng)用場(chǎng)景的特殊性，以及開(kāi)發(fā)上的難度，你就不會(huì)有太多抱怨了。比如就車(chē)載視覺(jué)處理，這個(gè)自動(dòng)駕駛的核心要素來(lái)說(shuō)，其對(duì)開(kāi)發(fā)者提出的挑戰(zhàn)就不一般。

姑且不提自動(dòng)駕駛，今天想做好一款像樣的ADAS就不簡(jiǎn)單。一方面，ADAS視覺(jué)處理需要應(yīng)對(duì)越來(lái)越復(fù)雜的應(yīng)用環(huán)境，暗光、惡劣天氣下也要確?？煽康谋憩F(xiàn)；另一方面，為了提升視覺(jué)系統(tǒng)識(shí)別判斷的準(zhǔn)確性，甚至讓其具有自我學(xué)習(xí)提升的能力，引入機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等AI算法也勢(shì)在必行。

這些需求必然會(huì)增加視覺(jué)處理工作的復(fù)雜性和負(fù)荷，耗費(fèi)更多的計(jì)算資源和時(shí)間，而這又恰恰和車(chē)載應(yīng)用這個(gè)資源受限的嵌入式環(huán)境，以及“硬”實(shí)時(shí)性的要求構(gòu)成矛盾……這就是車(chē)載視覺(jué)應(yīng)用開(kāi)發(fā)者每天面對(duì)的困局。

圖1，車(chē)載視頻處理典型流程

要想“破局”，我們首先來(lái)看看車(chē)載視覺(jué)處理典型的流程。這個(gè)流程包括四個(gè)步驟：

1

第一步

預(yù)處理：包括成幀、顏色調(diào)整、白平衡、對(duì)比度均衡、圖像扭正等工作，這種像素級(jí)的處理特點(diǎn)是數(shù)據(jù)量非常大，而且每像素之間相互獨(dú)立，彼此沒(méi)有很強(qiáng)的依賴(lài)關(guān)系，要求高帶寬的并行數(shù)據(jù)處理能力。

2

第二步

特征提取：是在預(yù)處理的基礎(chǔ)上，提取出圖像中的特征點(diǎn)，特別是關(guān)鍵的邊緣角點(diǎn)。

3

第三步

目標(biāo)識(shí)別：基于特征數(shù)據(jù)的輸出，對(duì)圖像中的物體進(jìn)行識(shí)別分類(lèi)——人、車(chē)、交通標(biāo)志等，這其中就會(huì)運(yùn)用到一些機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的算法。

4

第四步

目標(biāo)跟蹤：對(duì)上述單幀圖像進(jìn)行記錄，并累計(jì)多幀后做出判定，實(shí)現(xiàn)穩(wěn)定的識(shí)別和判斷。

通常前三步被認(rèn)為是底層和中層的處理，運(yùn)算的并行度較高，第四步由于有前后的邏輯判斷關(guān)系，所以屬于順序執(zhí)行，需要串行處理。可見(jiàn)，車(chē)載視覺(jué)處理流程中的這些任務(wù)，需求各不相同，單一架構(gòu)的硬件平臺(tái)很難滿(mǎn)足所有要求，所以就需要有更加復(fù)雜、綜合的異構(gòu)硬件平臺(tái)，以不同的硬件資源去應(yīng)對(duì)不同的計(jì)算處理任務(wù)，這樣才能勝任。

以恩智浦半導(dǎo)體的S32V車(chē)載視覺(jué)處理器為例，它對(duì)應(yīng)車(chē)載視覺(jué)處理的不同步驟配置了不同的針對(duì)性的計(jì)算單元。

圖2，恩智浦半導(dǎo)體S32V車(chē)載視覺(jué)處理器框圖（圖片來(lái)源：NXP）

對(duì)于預(yù)處理到特征提取這種像素級(jí)的工作，S32V提供了一個(gè)可編程的ISP（圖像信號(hào)處理器），對(duì)于流處理進(jìn)行加速；而其可編程性也為底層處理提供了靈活性，以應(yīng)對(duì)不同應(yīng)用中的預(yù)處理需求。

對(duì)于特征提取到目標(biāo)識(shí)別這個(gè)層次的處理任務(wù)，由于要運(yùn)行AI算法，特別需要視覺(jué)加速，為此S32V引入了兩個(gè)專(zhuān)用的APEX-2協(xié)處理器，實(shí)現(xiàn)高速并行的單指令多數(shù)據(jù)架構(gòu)的加速計(jì)算。

在目標(biāo)識(shí)別到目標(biāo)跟蹤高層處理，涉及到串行計(jì)算，S32V通過(guò)運(yùn)行頻率高達(dá)1GHz的多核Arm Cortex-A53處理器（最高配置可達(dá)四核）來(lái)完成，同時(shí)S32V在處理器系統(tǒng)中還集成了一個(gè)頻率高達(dá)133 MHz的Cortex-M4內(nèi)核，去實(shí)現(xiàn)一些控制功能，以及實(shí)時(shí)性的工作。

在加上其他諸如3D GPU、硬件安全加密、存儲(chǔ)和外設(shè)接口等功能，S32V構(gòu)成了一個(gè)完整的汽車(chē)級(jí)的安全嵌入式視覺(jué)處理平臺(tái)。

但是想做一個(gè)完整的方案或產(chǎn)品，有了合適的硬件只是第一步，接下來(lái)還需要軟件的配合。在功能受限、功耗敏感的嵌入式視覺(jué)應(yīng)用中，如何實(shí)現(xiàn)硬件和軟件之間最優(yōu)的配合尤為關(guān)鍵，也就是說(shuō)，要將軟件任務(wù)放在最合適的硬件單元中運(yùn)行，充分利用和釋放出硬件的能力。

為了達(dá)到這一目的，一個(gè)基礎(chǔ)性的工作就是：要對(duì)應(yīng)用中典型的計(jì)算模式做出分析和分類(lèi)，找出有并行加速需求或者潛力工作，將其安排給最適合的硬件去加速。實(shí)際的工作中，可以嘗試幾種不同的并行計(jì)算加速方式：

數(shù)據(jù)并行：將需要并行處理的數(shù)據(jù)，交給有并行計(jì)算能力的單元去做，如APEX-2這種專(zhuān)用的協(xié)處理器——專(zhuān)用的肯定比通用的處理器速度快。

流水線并行：綜合調(diào)度各種計(jì)算單元，在同一時(shí)間上讓所有單元都處于滿(mǎn)負(fù)荷運(yùn)行狀態(tài)，誰(shuí)也不閑著。

任務(wù)并行：在同一時(shí)間安排進(jìn)行不同的視覺(jué)處理任務(wù)。

經(jīng)過(guò)上述全面的優(yōu)化，軟硬件的緊密配合，車(chē)載視覺(jué)處理速度和綜合性能才能得到大幅的提升。

圖3，車(chē)載視頻處理流程和對(duì)應(yīng)S32V硬件資源（圖片來(lái)源：NXP）

車(chē)載視覺(jué)可以說(shuō)是嵌入式視覺(jué)處理領(lǐng)域難度較高的一個(gè)領(lǐng)域，需要各方面資源更緊密的協(xié)作、全方位的配合——硬件開(kāi)發(fā)者需要充分理解目標(biāo)應(yīng)用的需求，提供最高效的硬件加速架構(gòu)；軟件開(kāi)發(fā)者也要吃透硬件的特性，合理調(diào)配資源，將硬件性能發(fā)揮到極致。雖然不容易，但這就是我們通往自動(dòng)駕駛的必由之路。