簡介

許多處理器控制著當今汽車的各個性能方面，而“車輛體驗”的單一功能并未受到技術的影響。無論是氣候控制，發(fā)動機控制還是娛樂，過去十年來制造商產(chǎn)品的功能都在不斷發(fā)展。這種演變背后的力量之一，信號處理器的性能成本比迅速提高，即將對另一個關鍵的汽車組件 - 安全子系統(tǒng)產(chǎn)生深遠的影響。

雖然目前大多數(shù)安全可靠功能利用各種傳感器 - 主要涉及微波，紅外線，激光，加速度計或位置檢測 - 最近才推出處理器，可滿足實時計算要求，允許視頻圖像處理為安全技術做出重大貢獻。 ADI公司的Blackfin 媒體處理器系列具有高處理速度，多種數(shù)據(jù)移動功能和視頻專用接口，為這個不斷增長的市場提供了極具吸引力的解決方案。本文將討論Blackfin處理器在新興的基于視頻的汽車安全領域可以發(fā)揮的作用。

汽車安全系統(tǒng)中的視頻

在很多方面，汽車安全性可以大大提高通過使用高性能媒體處理器的視頻系統(tǒng)進行增強。但是，由于響應時間短對于挽救生命至關重要，因此必須確定性地實時進行圖像處理和視頻過濾。自然傾向于使用處理器可以為給定應用處理的最高視頻幀速率和分辨率，因為這為決策提供了最佳數(shù)據(jù)。此外，處理器需要再次實時地比較車輛速度和相對車輛 - 物體距離與期望條件。此外，處理器必須與許多車輛子系統(tǒng)（例如發(fā)動機，制動，轉向和安全氣囊控制器）交互，處理來自所有這些系統(tǒng)的傳感器信息，并向駕駛員提供適當?shù)囊暵犦敵?。最后，處理器應能夠與導航和電信系統(tǒng)連接，以對故障，事故和其他問題作出反應并記錄。

圖1顯示了汽車安全系統(tǒng)的基本視頻操作元素，指示圖像傳感器可能放置在整個車輛中的位置，以及車道偏離系統(tǒng)如何集成到底盤中。有一些值得注意的事情。首先，多個傳感器可以由不同的汽車安全功能共享。例如，后部傳感器可以在車輛后退時使用，以及在車輛向前移動時跟蹤車道。此外，車道偏離系統(tǒng)可以接受來自多個攝像機源中的任何一個的饋送，為給定情況選擇適當?shù)妮斎搿Ｔ诨鞠到y(tǒng)中，視頻流將其數(shù)據(jù)饋送到嵌入式處理器。在更先進的系統(tǒng)中，處理器接收其他傳感器信息，例如來自GPS接收器的位置數(shù)據(jù)。

智能安全氣囊

媒體處理器在汽車安全中的新興用途是用于“智能安全氣囊系統(tǒng)”，其基于部署決定誰坐在受安全氣囊影響的座椅上。目前，基于重量的系統(tǒng)使用最廣泛，但視頻傳感將在五年內變得流行?？梢允褂脽嵯鄼C或普通相機，速率高達每秒200幀，并且可以使用多于一個 - 以提供每個乘員的立體圖像。目標是描述居住者的位置和姿勢 - 而不僅僅是他們的體型。如果發(fā)生沖突，系統(tǒng)必須選擇是完全限制部署，使用較低的力部署還是完全部署。在幫助確定身體姿勢時，圖像處理算法必須能夠區(qū)分人的頭部和其他身體部位。

在該系統(tǒng)中，媒體處理器必須以高幀率獲取多個圖像流，處理在所有類型的照明條件下分析每個乘員的大小和位置的圖像，并持續(xù)監(jiān)控位于整個車內的所有碰撞傳感器，以便在幾毫秒內做出最佳部署決策。

避碰和自適應巡航控制

另一個備受矚目的安全應用是自適應巡航控制（ACC），防撞系統(tǒng)的子集。 ACC是一種便利功能，可控制發(fā)動機和制動系統(tǒng)，以調節(jié)汽車的速度及其與前方車輛的距離。采用的傳感器包括微波，雷達，紅外和視頻技術的組合。媒體處理器可以通過安裝在靠近汽車后視鏡的道路上的攝像機實時處理每秒17到30幀的幀。圖像處理算法可以包括用于變化的照明場景的幀到幀圖像比較，對象識別和對比度均衡。視頻傳感器輸入的目標是提供有關車道邊界和道路曲率的信息，并對障礙物進行分類，包括汽車前方的車輛。

ACC系統(tǒng)被宣傳為便利功能，而真正的防撞系統(tǒng)通過協(xié)調汽車的制動，轉向和發(fā)動機控制器，積極致力于避免事故。因此，由于任務的復雜性，關鍵的可靠性考慮以及法律和社會后果，它們的發(fā)展速度較慢。據(jù)估計，到2010年，這些系統(tǒng)的部署可能正在順利進行。鑒于典型的5年汽車設計周期，此類系統(tǒng)設計已在進行中。

碰撞警告系統(tǒng)，如ACC，是碰撞避免類別的子集。這些警告可能即將發(fā)生的事故，但他們沒有積極地避免它。在這個利基市場中有兩個主要的子類別：

盲點監(jiān)視器戰(zhàn)斗機圍繞車輛周邊策略安裝，以提供駕駛員盲點的視覺顯示，并在處理器感知到其他車輛存在時發(fā)出警告一個盲區(qū)。在倒檔時，這些系統(tǒng)也可作為備用警告，提醒駕駛員注意車輛后部的障礙物。顯示器可與后視鏡集成，提供車輛周圍環(huán)境的完整無障礙視野。此外，該系統(tǒng)可能包括在車廂內的“盲點”視頻，允許駕駛員監(jiān)控后方嬰兒，例如。

Lane - 離開監(jiān)視器 - 這些系統(tǒng)可以通知駕駛員，如果改變車道是不安全的，或者他們是偏離車道還是偏離道路 - 從而有助于檢測駕駛員疲勞。前置攝像頭監(jiān)控汽車相對于道路中心線和側標記的位置，距離汽車前方50至75英尺。如果汽車無意中開始離開車道，系統(tǒng)會發(fā)出警報。

車道偏離 - 系統(tǒng)示例

除了媒體處理器在基于視頻的情況下可以扮演的角色汽車安全應用，分析這種應用的典型組件是有益的。為此，讓我們進一步探討可以使用Blackfin媒體處理器的車道偏離監(jiān)控系統(tǒng)。

考慮到正在執(zhí)行的信號處理功能的復雜性，圖2的整個系統(tǒng)圖非常簡單。有趣的是，在基于視頻的車道偏離系統(tǒng)中，大部分處理是基于圖像的，并且在信號處理器內而不是通過模擬信號鏈來執(zhí)行。這代表了系統(tǒng)物料清單的大量節(jié)省。駕駛員的輸出包括警告，以在車輛無意中離開車道之前糾正汽車的預計路徑。它可能是一個可聽見的“隆隆聲”聲音，編程鈴聲或語音信息。

嵌入式處理器的視頻輸入系統(tǒng)必須在惡劣的環(huán)境中可靠地運行，包括廣泛和劇烈的溫度變化和改變道路狀況。當數(shù)據(jù)流進入處理器時，它將實時轉換為可以處理以輸出決策的形式。在最簡單的級別，車道偏離系統(tǒng)查找車輛相對于道路中的車道標記的位置。對于處理器，這意味著必須將輸入的道路圖像流轉換為描繪路面的一系列線。

處理器可以通過查找邊緣來查找數(shù)據(jù)字段內的線。這些邊緣形成了駕駛員在向前行駛時應保持車輛的邊界。處理器必須跟蹤這些線標記并確定是否通知驅動程序不正常。

請記住，其他幾個汽車系統(tǒng)也會影響車道偏離系統(tǒng)。例如，使用制動系統(tǒng)和轉向信號通常會在故意換道和慢轉時阻止車道偏離警告。

現(xiàn)在讓我們深入了解車道偏離的基本組成部分系統(tǒng)示例。圖3遵循與圖2相同的基本操作流程，但更深入地了解正在執(zhí)行的算法。進入系統(tǒng)的視頻流需要經(jīng)過濾波和平滑處理，以減少由溫度，運動和電磁干擾引起的噪聲。如果沒有這一步驟，就很難找到干凈的車道標記。

下一個處理步驟涉及邊緣檢測;如果系統(tǒng)設置正確，找到的邊將代表車道標記。然后必須將這些線匹配到車輛的方向和位置。 Hough變換將用于此步驟。將跨越圖像幀跟蹤其輸出，并且將基于所有編譯的信息做出決定。最后的挑戰(zhàn)是及時發(fā)出警告而不發(fā)出誤報。

圖像采集

Blackfin處理器的一個重要特性是其并行外設接口（PPI），用于處理傳入和傳出的視頻流。 PPI無需外部邏輯即可連接各種視頻轉換器。除了符合ITU-R 656標準的視頻編碼器和解碼器之外，PPI還可以連接到CMOS相機芯片和LCD顯示器，這些產(chǎn)品在汽車行業(yè)中很常見。由于它可以實時捕獲視頻，因此PPI有助于本文討論的各種自動安全應用。

在支持ITU-R 656的設備中，消隱數(shù)據(jù)和活動視頻數(shù)據(jù)之間的每個邊界都是使用嵌入在數(shù)據(jù)流中的4字節(jié)數(shù)據(jù)序列進行設置。 PPI在沒有處理器干預的情況下自動解碼該序列，以收集傳入的活動視頻幀。通過這種嵌入式控制方案，物理連接只需要8條數(shù)據(jù)線和一個時鐘。

PPI還連接到各種沒有嵌入式控制方案的圖像傳感器和數(shù)據(jù)轉換器。在這些情況下，PPI最多提供三個幀同步來管理傳入或傳出數(shù)據(jù)。對于視頻流，這些幀同步用作物理水平同步，垂直同步和場線（HSYNC，VSYNC和FIELD）。

對于汽車安全應用，圖像分辨率通常從VGA（640×480像素/圖像）到QVGA（320×240像素/圖像）。無論實際圖像大小如何，傳輸?shù)臄?shù)據(jù)格式都保持不變 - 但傳輸?shù)臄?shù)據(jù)較少時可以使用較低的時鐘速度。此外，在最基本的車道偏離警告系統(tǒng)中，只需要灰度圖像。因此，數(shù)據(jù)帶寬減半（從16位/像素到8位/像素），因為可以忽略色度信息。

內存和數(shù)據(jù)移動

高效的內存使用是一個重要的考慮因素因為外部存儲器很昂貴，并且它們的訪問時間可能具有很高的延遲。雖然Blackfin處理器具有片上SDRAM控制器以支持經(jīng)濟高效地添加更大的片外存儲器，但在僅傳輸所需的視頻數(shù)據(jù)時，明智的做法仍然很重要。通過智能地解碼ITU-R 656前導碼，PPI可以幫助這種“數(shù)據(jù)過濾”操作。例如，在某些應用程序中，只需要活動視頻字段。換句話說，水平和垂直消隱數(shù)據(jù)可以被忽略，不會傳輸?shù)絻却嬷校瑥亩鴮е孪到y(tǒng)數(shù)據(jù)量減少25％。更重要的是，這種較低的數(shù)據(jù)速率有助于節(jié)省內部和外部數(shù)據(jù)總線的帶寬。

由于視頻數(shù)據(jù)速率非常苛刻，因此必須在外部存儲器中設置幀緩沖器，如圖4所示。在這種情況下，當處理器在一個緩沖區(qū)上運行時，PPI通過DMA傳輸填充第二個緩沖區(qū)?？梢栽O置簡單的信號量以保持幀之間的同步。使用Blackfin靈活的DMA控制器，幾乎可以在存儲器填充過程中的任何一點產(chǎn)生中斷，但通常配置為在每個視頻行或幀的末尾發(fā)生。

一旦完整幀位于SDRAM中，數(shù)據(jù)通常會傳輸?shù)絻炔縇1數(shù)據(jù)存儲器中，以便內核可以以單周期延遲訪問它。為此，DMA控制器可以使用二維傳輸來引入像素塊。圖5顯示了16×16“宏塊”（許多壓縮算法中使用的構造）如何通過2D DMA引擎線性存儲在L1存儲器中的示例。

有效導航通過源圖像，需要控制四個參數(shù)：X Count，Y Count，X Modify和Y Modify。 X和Y計數(shù)分別描述了在“水平”和“垂直”方向上讀入/讀出的元素的數(shù)量。 Horizontal 和 vertical 是此應用程序中的抽象術語，因為圖像數(shù)據(jù)實際上是線性存儲在外部存儲器中。 X和Y修改vaues通過在傳輸必要的X Count或Y Count后指定數(shù)據(jù)“跨越”數(shù)量來實現(xiàn)此抽象。

從性能角度來看，最多四個唯一的SDRAM內部存儲體可以隨時激活。這意味著在視頻框架中，當2D到1D DMA從一個銀行提取數(shù)據(jù)而PPI正在向另一個銀行提供數(shù)據(jù)時，沒有觀察到額外的銀行激活延遲。

投影校正

用于車道偏離系統(tǒng)的攝像機可以位于前擋風玻璃的中心位置，面向前方，位于后擋風玻璃中，面向已經(jīng)行駛的道路，或者一個“鳥瞰”相機，它提供了即將到來的道路最廣泛的視角，因此可以用來代替多個視線相機。在后一種情況下，由于廣角鏡頭，視圖會發(fā)生扭曲，因此在解析圖片內容之前必須將輸出圖像重新映射到線性視圖中。

圖像過濾

在進行任何類型的邊緣檢測之前，過濾圖像以消除圖像捕獲期間拾取的任何噪聲非常重要。這是必要的，因為引入邊緣檢測器的噪聲可能導致檢測器輸出假邊緣。

顯然，圖像濾波器需要足夠快地運行以跟上輸入圖像的連續(xù)性。因此，必須優(yōu)化圖像濾波器內核以便在盡可能少的處理器周期中執(zhí)行。一種有效的濾波方法是通過基本的二維卷積運算完成的。讓我們來看看如何在Blackfin處理器上有效地執(zhí)行此計算。

卷積是圖像處理的基本操作之一。在二維卷積中，對給定像素執(zhí)行的計算是來自該像素附近的像素的強度值的加權和。由于掩模的鄰域以給定像素為中心，因此掩模區(qū)域通常具有奇數(shù)尺寸。掩模尺寸通常相對于圖像較小; 3×3掩模是一種常見的選擇，因為它在每個像素的基礎上計算合理，但足以檢測圖像中的邊緣。

3×3內核的基本結構如圖6.作為示例，圖像中第20行第10列的像素的卷積處理的輸出將是：

Out （20,10）= A ×（19,9）+ B ×（19,10）+ C ×（19,11）+ D ×（20,9）+ E ×（20,10）+ F ×（20,11）+ G ×（21， 9）+ H ×（21,10）+ I ×（21,11）

可以通過以下步驟描述高級算法：

將遮罩的中心放在輸入矩陣的元素上。

通過相應的濾鏡掩碼元素將掩碼鄰域中的每個像素相乘。

將每個乘法值相加為單個結果。

將每個和放在與中心對應的位置。輸出矩陣中的掩碼

圖7顯示了輸入矩陣F，3×3掩模矩陣H和輸出矩陣G.

計算每個輸出點后，掩碼移動到右側。在圖像邊緣，算法環(huán)繞到下一行中的第一個元素。例如，當掩模以元素F2M為中心時，掩碼矩陣的H23元素乘以輸入矩陣的元素F31。結果，輸出矩陣的可用部分沿著圖像的每個邊緣減少了一個元素。

通過正確對齊輸入數(shù)據(jù)，可以在單個處理器周期中使用Blackfin的乘法累加（MAC）單元，一次處理兩個輸出點。在同一周期期間，多個數(shù)據(jù)提取與MAC操作并行發(fā)生。該方法允許每次循環(huán)迭代有效計算2個輸出點，或每個像素4.5個循環(huán)，而不是圖7中每個像素的9個循環(huán)。

邊緣檢測

各種各樣的邊緣檢測技術是常用的。在考慮如何檢測邊緣之前，算法必須首先確定邊緣實際的合適定義，然后找到增強邊緣特征的方法以提高檢測機會。由于圖像傳感器不理想，因此必須處理兩個問題 - 噪聲和量化誤差的影響。

圖像中的噪聲幾乎preof video in video taken OVW disease腐choose in inliancesvoltage鬧GF基于許多不易控制的因素，例如環(huán)境溫度，車輛運動和外部天氣條件，將引入噪音。圖像中的量化誤差將導致邊緣邊界在多個像素上延伸。這些因素共同作用使邊緣檢測復雜化。因此，所選擇的任何圖像處理算法都必須將抗噪性作為主要目標。

一種流行的檢測方法使用一組基于常見導數(shù)的運算符來幫助定位圖像中的邊緣。每個衍生算子都旨在找到強度發(fā)生變化的地方。在這個方案中，邊緣可以通過包含理想邊緣屬性的較小圖像建模。

我們將討論Sobel邊緣檢測器，因為它易于理解并說明了擴展到更多原理的原理。復雜的計劃。 Sobel Detector使用兩個卷積核來計算水平和垂直邊緣的梯度。第一個用于檢測垂直對比度的變化（S x ）。第二個檢測到水平對比度的變化（S y ）。

輸出矩陣為每個輸出矩陣保持“邊緣似然”幅度（基于水平和垂直卷積）圖像中的像素。然后對該矩陣進行閾值處理，以便利用幅度上的大響應對應于圖像內的邊緣的事實。因此，在霍夫變換階段的輸入處，圖像僅由“純白色”或“純黑色”像素組成，沒有中間漸變。

如果應用程序不需要真正的大小，則可以節(jié)省昂貴的平方根操作。構建閾值矩陣的其他常見技術包括對每個像素的梯度求和或簡單地取兩個梯度中的最大值。

直線檢測 - Hough變換

霍夫變換是一種廣泛使用的方法，通過將它們本地化在參數(shù)化空間中來查找圖像中的線條，圓形和橢圓形等全局圖案。它在車道檢測中特別有用，因為基于等式1的極坐標表示，線可以在Hough變換空間中輕松檢測為點：

這個等式的含義可以通過延伸從給定直線到原點的垂線來顯示，這樣θ就是垂直與橫坐標和θ的角度。是垂直的長度。因此，一對坐標（ρ，θ）可以完全描述該線。圖8a中的線L1和L2證明了這一概念。圖8b顯示L1由θ1和紅色垂線的長度定義，而L2由θ 2 和藍色垂直線的長度定義。

查看Hough變換的另一種方法是考慮一種可以直觀地實現(xiàn)算法的方法：

僅訪問白色像素在二進制圖像中。

對于每個像素和正在考慮的每個θ值，從原點以角度θ在像素上畫一條線。然后計算ρ，它是原點和所考慮的直線之間的垂線長度。

在累積表中記錄這個（ρ，θ）對。

重復步驟1

在累積表中搜索最常遇到的（ρ，θ）對。這些對描述了輸入圖像中最可能的“線”，因為為了記錄高累積值，必須有許多白色像素沿著由（ρ，θ）對描述的線存在。

霍夫變換是計算密集型的，因為計算輸入圖像中每個像素的正弦曲線。但是，某些技術可以大大加快計算速度。

首先，可以提前計算一些計算項，以便通過查找表快速引用它們。在Blackfin的定點架構中，僅為余弦函數(shù)存儲查找表非常有用。由于正弦值與余弦的相位相差90度，因此可以使用具有偏移的相同表格。使用查找表，等式（1）的計算可以表示為兩個定點乘法和一個加法。

可以提高性能的另一個因素是關于輸入圖像中車道標記的性質和位置的一組假設。通過僅考慮那些可能是車道標記的輸入點，可以避免大量不必要的計算，因為每個白色像素只需要考慮窄范圍的θ值。

a的輸出霍夫變換是一組可能是車道標記的直線。這些線的某些參數(shù)可以通過簡單的幾何方程來計算?？捎糜谶M一步分析的參數(shù)包括攝像機中心軸的偏移，檢測到的線的寬度，以及角度相對于相機的位置。由于許多公路系統(tǒng)中的車道標記是標準化的，因此一組規(guī)則可以從車道標記候選列表中消除一些線。然后可以使用一組可能的車道標記變量來導出汽車的位置。

車道跟蹤

車道信息可以從汽車內的各種可能來源確定。該信息可以與車輛相關參數(shù)（例如，速度，加速度等）的測量值組合以輔助車道跟蹤?；谶@些測量的結果，車道偏離系統(tǒng)可以明智地決定是否正在進行無意的離開。在高級系統(tǒng)中，可以建模其他因素，例如一天中的時間，道路狀況和駕駛員警覺性。

估算車道幾何形狀的問題是一個挑戰(zhàn)，通常需要使用卡爾曼濾波器來估算道路曲率。具體來說，卡爾曼濾波器可以預測未來的道路信息 - 然后可以在下一幀中使用，以減少霍夫變換所呈現(xiàn)的計算負荷。

如前所述，霍夫變換用于尋找線路在每個圖像中。但是這些線也需要通過一系列圖像進行跟蹤。通常，卡爾曼濾波器可以描述為遞歸濾波器，用于估計對象的未來狀態(tài)。在這種情況下，對象是一條線。線的狀態(tài)基于其位置及其在幾個幀上的運動路徑。

隨著道路狀態(tài)本身，卡爾曼濾波器為每個狀態(tài)提供方差。預測狀態(tài)和方差可以結合使用，以縮小未來幀中霍夫變換的搜索空間，從而節(jié)省處理周期。

決策 - 目前的車位或車道交叉時間

根據(jù)我們的經(jīng)驗，我們知道誤報總是不受歡迎的。沒有更快的方法讓消費者禁用可選的安全功能，而不是讓它指出不存在的問題。

有了處理框架，系統(tǒng)設計人員可以添加自己的知識產(chǎn)權（ IP）到每個處理線程的決策階段。最簡單的方法可能是在做出決定時考慮其他車輛屬性。例如，當車道變換被認為是有意的時 - 如使用方向指示燈或應用制動器時，可以抑制車道變換警告。更復雜的系統(tǒng)可能會考慮GPS坐標數(shù)據(jù)，乘員駕駛概況，時間，天氣和其他參數(shù)。

結論

在前面的討論中，我們只描述了一個例子關于如何構建基于圖像的車道偏離系統(tǒng)的框架。我們試圖確定的一點是，當靈活的媒體處理器可用于設計時，有足夠的空間來考慮功能添加和算法優(yōu)化。