自動(dòng)駕駛汽車及其計(jì)算機(jī)視覺系統(tǒng)收到了大量新聞報(bào)道，這清楚地表明設(shè)計(jì)一個(gè)在任何環(huán)境條件下都表現(xiàn)良好的強(qiáng)大視覺系統(tǒng)是多么困難。在開發(fā)這些復(fù)雜的汽車視覺系統(tǒng)時(shí)，所有設(shè)計(jì)人員都應(yīng)考慮幾個(gè)關(guān)鍵要素。其中包括傳感器冗余、低光視覺處理和故障傳感器檢測(cè)。

傳感器冗余的重要性對(duì)于使用視覺系統(tǒng)進(jìn)行物體檢測(cè)的汽車周圍的每個(gè)位置，都應(yīng)該有多個(gè)攝像頭（至少兩個(gè)）指向視線。即使視覺算法只需要單視覺數(shù)據(jù)，也應(yīng)該設(shè)置此設(shè)置。

傳感器多樣性允許通過將圖像與輔助攝像頭進(jìn)行比較來檢測(cè)主攝像頭的故障。主攝像頭將其數(shù)據(jù)提供給視覺算法。如果系統(tǒng)檢測(cè)到主攝像頭出現(xiàn)故障，它應(yīng)該能夠?qū)⑵渲幸粋€(gè)輔助攝像頭的數(shù)據(jù)重新路由到視覺算法。

由于有多個(gè)攝像頭可用，視覺算法也應(yīng)該利用立體視覺。以較低的分辨率和較低的幀速率收集深度數(shù)據(jù)將節(jié)省處理能力。即使處理本質(zhì)上是單相機(jī)，深度信息也可以通過根據(jù)場(chǎng)景中對(duì)象的最小和最大距離減少需要處理的尺度數(shù)量來加速對(duì)象分類。

例如，德州儀器 (TI) 的 TDAx 汽車處理器系列配備了必要的技術(shù)，可處理至少 8 個(gè)攝像頭輸入，并通過 Vision AcceleratorPac 執(zhí)行最先進(jìn)的立體視覺處理以滿足此類要求。Vision AcceleratorPac 包含多個(gè)嵌入式視覺引擎 (EVE)，它們?cè)诹Ⅲw視覺系統(tǒng)的對(duì)應(yīng)匹配算法中使用的單指令多數(shù)據(jù)路徑 (SIMD) 操作類型方面表現(xiàn)出色。

微光視覺的重要性、對(duì)離線地圖的依賴和傳感器融合微光視覺處理需要一種不同于白天使用的處理模式。在弱光條件下拍攝的圖像信噪比低，邊緣等結(jié)構(gòu)化元素被隱藏在噪聲之下。在弱光條件下，視覺算法應(yīng)該更多地依賴斑點(diǎn)或形狀而不是邊緣。典型的計(jì)算機(jī)視覺算法，例如基于定向梯度直方圖 (HOG) 的對(duì)象分類，主要依賴于邊緣，因?yàn)檫@些特征在日光下占主導(dǎo)地位。但是配備這種視覺系統(tǒng)的汽車在夜間在光線不足的道路上檢測(cè)其他車輛或行人時(shí)會(huì)遇到問題。

如果系統(tǒng)檢測(cè)到弱光條件，視覺算法應(yīng)切換到弱光模式。這種模式可以使用僅使用低光圖像訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)來實(shí)現(xiàn)。低光模式還應(yīng)該依賴離線地圖或離線世界觀的數(shù)據(jù)。低光視覺算法可以提供線索以在地圖上找到正確的位置，并根據(jù)離線世界觀重建場(chǎng)景，這對(duì)于靜態(tài)環(huán)境中的導(dǎo)航來說應(yīng)該足夠了。

然而，在動(dòng)態(tài)環(huán)境中，對(duì)于以前未記錄的移動(dòng)或新物體，需要與其他傳感器（激光雷達(dá)、雷達(dá)、熱像儀等）融合，以利用每種傳感器模式的各自優(yōu)勢(shì)確保最佳性能. 例如，激光雷達(dá)在白天或晚上都能正常工作，但無法區(qū)分顏色。攝像頭在弱光條件下視力不佳，但會(huì)為檢測(cè)紅燈和交通標(biāo)志的算法提供顏色信息。在有雨、雪和霧的情況下，這兩種傳感器都會(huì)表現(xiàn)不佳。雷達(dá)可以在惡劣天氣下使用，但它們沒有足夠的空間分辨率來準(zhǔn)確檢測(cè)物體的位置和大小。

您可以看到每個(gè)傳感器提供的信息，如果單獨(dú)使用，是不完整或不確定的。為了減少這種不確定性，融合算法結(jié)合了從這些不同傳感器收集的數(shù)據(jù)。

這是使用異構(gòu)架構(gòu)設(shè)計(jì)的好處。例如，TI 的 TDA2x 處理器可以處理傳感器數(shù)據(jù)采集、處理和融合所需的處理多樣性，這要?dú)w功于具有不同架構(gòu)的三個(gè)不同內(nèi)核（EVE、數(shù)字信號(hào)處理器 [DSP] 和微控制器 [MCU]）。有關(guān) 功能映射的詳細(xì)信息，請(qǐng)參見圖 1 。

圖 1：異構(gòu)片上系統(tǒng) (SoC) 概念實(shí)現(xiàn)了最高的處理性能和功率效率。

弱光條件需要使用高動(dòng)態(tài)范圍 (HDR) 傳感器。這些 HDR 傳感器為同一幀輸出具有不同曝光/增益值的多個(gè)圖像。為了可用，這些圖像必須組合/合并為一個(gè)。這種合并算法通常是計(jì)算密集型的，但 TI 的 TDA2P 和 TDA3x 處理器具有硬件圖像信號(hào)處理器 (ISP)，能夠通過由合并、噪聲過濾、閃爍緩解、去馬賽克和清晰度增強(qiáng)塊組成的管道來處理 HDR 圖像。

除了減輕圖像信號(hào)處理任務(wù)之外，將 ISP 集成到視覺處理器而不是傳感器中還具有限制相機(jī)中的功耗和熱量產(chǎn)生的優(yōu)勢(shì)，這有助于提高圖像質(zhì)量。該 ISP 功能強(qiáng)大，可以處理多達(dá) 8 個(gè) 1-MP 攝像頭，非常適合環(huán)視應(yīng)用。

ISP 的目標(biāo)是在將圖像傳遞給計(jì)算機(jī)視覺算法之前盡可能生成最高質(zhì)量的圖像，以便后者可以更優(yōu)化地執(zhí)行。但即使圖像質(zhì)量不理想，計(jì)算機(jī)視覺的最新發(fā)展也有助于減輕由惡劣操作環(huán)境引起的光學(xué)效應(yīng)。

事實(shí)上，在過去十年中，人工智能技術(shù)深度學(xué)習(xí)已經(jīng)能夠解決最具挑戰(zhàn)性的計(jì)算機(jī)視覺問題。但由于對(duì)計(jì)算能力的巨大需求，深度學(xué)習(xí)主要局限于云計(jì)算和數(shù)據(jù)中心行業(yè)。

研究人員一直專注于開發(fā)足夠輕的深度學(xué)習(xí)網(wǎng)絡(luò)，以在不損失質(zhì)量的情況下在嵌入式系統(tǒng)上運(yùn)行。為支持這一革命性技術(shù)，TI 創(chuàng)建了 TI 深度學(xué)習(xí) (TIDL) 庫(kù)。TIDL 使用 Vision AcceleratorPac 實(shí)施，可以采用使用 Caffe 或 TensorFlow 框架設(shè)計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)，并在 2.5W 功率范圍內(nèi)實(shí)時(shí)執(zhí)行它們。語(yǔ)義分和單次檢測(cè)器是在 TDA2x 處理器上成功演示的網(wǎng)絡(luò)之一。

為了補(bǔ)充其視覺技術(shù)，TI 一直在加大力度開發(fā)針對(duì)高級(jí)駕駛輔助系統(tǒng) (ADAS) 和自動(dòng)駕駛市場(chǎng)量身定制的雷達(dá)技術(shù)。其中包括：

采用互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS) 技術(shù)的汽車?yán)走_(dá)毫米波 (mmWave) 傳感器。用于中遠(yuǎn)程雷達(dá)的 AWR1xx 傳感器將射頻 (RF) 和具有數(shù)字控制能力的模擬功能集成到單個(gè)芯片中。在一個(gè)芯片中包含這些功能可將典型的雷達(dá)系統(tǒng)尺寸縮小 50%。此外，傳感器的較小外形尺寸需要較少的功率并且可以承受較高的環(huán)境溫度。

在 TDAx 處理器上運(yùn)行的軟件開發(fā)套件實(shí)現(xiàn)了雷達(dá)信號(hào)處理鏈，可以處理多達(dá)四個(gè)雷達(dá)信號(hào)。雷達(dá)信號(hào)處理鏈包括二維快速傅里葉變換 (FFT)、峰值檢測(cè)和波束成形階段，可實(shí)現(xiàn)物體檢測(cè)。由于其高可配置性，雷達(dá)信號(hào)處理鏈可以支持不同的汽車應(yīng)用，包括用于自適應(yīng)巡航控制的長(zhǎng)距離和用于停車輔助的短距離。

故障傳感器檢測(cè)和故障安全機(jī)制的重要性在朝著自動(dòng)駕駛發(fā)展的世界中，故障傳感器甚至污垢可能會(huì)產(chǎn)生危及生命的后果，因?yàn)猷须s的圖像會(huì)欺騙視覺算法并導(dǎo)致錯(cuò)誤的分類?？赡軙?huì)更加關(guān)注開發(fā)可以檢測(cè)由故障傳感器產(chǎn)生的無效場(chǎng)景的算法。該系統(tǒng)可以實(shí)施故障安全機(jī)制，例如激活應(yīng)急燈或逐漸停止汽車。

例如，TDAx 設(shè)備具有基于學(xué)習(xí)的算法，該算法使用來自 H3A 引擎的銳度統(tǒng)計(jì)數(shù)據(jù)來檢測(cè)障礙物。H3A 提供了逐塊的清晰度分?jǐn)?shù)，從而為算法提供了精細(xì)的統(tǒng)計(jì)數(shù)據(jù)。

結(jié)論
為自動(dòng)駕駛汽車設(shè)計(jì)汽車視覺系統(tǒng)的工程師面臨著許多挑戰(zhàn)，因?yàn)殡S著每個(gè)級(jí)別的自主性對(duì)魯棒性的要求越來越高。幸運(yùn)的是，可用于解決所有這些問題的工具數(shù)量一直在增長(zhǎng)，傳感器技術(shù)、處理器架構(gòu)和算法的不斷進(jìn)步最終將催生自動(dòng)駕駛汽車。

TI 提供一系列針對(duì)汽車市場(chǎng)的產(chǎn)品，包括其 TDAx 處理器系列、深度學(xué)習(xí)軟件庫(kù)和雷達(dá)傳感器。這些產(chǎn)品支持設(shè)計(jì)強(qiáng)大的前置攝像頭、后置攝像頭、環(huán)視、雷達(dá)和融合應(yīng)用，這些應(yīng)用是當(dāng)今 ADAS 技術(shù)的基石，也是未來自動(dòng)駕駛汽車的基礎(chǔ)。

審核編輯：郭婷