攝像頭前處理流程

?自動駕駛HDR：為適應(yīng)自動駕駛所處的高動態(tài)范圍環(huán)境，先進(jìn)的圖像傳感器采用同時多曝光和/或拆分像素設(shè)計(jì)。組合不同曝光可將固有動態(tài)范圍（80-100dB）擴(kuò)展至目標(biāo)動態(tài)范圍（120-140dB或更高）。

?攝像頭或攝像模塊：由圖像傳感器、顏色濾波陣列、鏡頭、外殼及可選前處理組成的傳感器系統(tǒng)。

?色彩濾波陣列（CFA）：應(yīng)用于圖像傳感器的光學(xué)元件，形成特定顏色像素模式，通常以2x2單個顏色指定，如紅、綠、藍(lán)、黃、青等。常見例子有RGGB（Bayer）、RCCC、RCCB、RYYCy。

?計(jì)算機(jī)視覺（CV）前處理：用于增強(qiáng)傳統(tǒng)CV算法效果的具體處理，如光流、Harris角點(diǎn)檢測等。

?圖像傳感器：收集光線并輸出數(shù)字像素樣本的芯片。可采集不同波長光線，數(shù)字輸出格式多種多樣。常見波長包括可見光、IR、近紅外（NIR）、短波IR（SWIR）等。

?人類視覺前處理：用于使圖像對人類更易看的具體處理。

?鏡頭：各種鏡頭安裝在圖像傳感器陣列和CFA上。傳統(tǒng)自動駕駛應(yīng)用使用固定焦距/固定鏡頭。

?機(jī)器學(xué)習(xí)（ML）前處理：用于增強(qiáng)機(jī)器學(xué)習(xí)（ML）和深度神經(jīng)網(wǎng)絡(luò)（DNN）算法效果的具體處理。這取決于所用算法，前處理范圍從無到完整的人類視覺流程不等。詳見成像工作組。

?傳感器上的前處理：用于自動駕駛的先進(jìn)圖像傳感器具有許多增強(qiáng)和壓縮原始樣本的功能。這些傳感器通常具有數(shù)字增益調(diào)整、黑電平調(diào)整、多曝光片段線性組合等。輸出流量仍很大（3~6Gbps），但遠(yuǎn)低于原始樣本流。

?原始像素樣本：來自芯片上ADC的未處理樣本。這些樣本仍受鏡頭、CFA、模擬增益設(shè)定、曝光設(shè)定等的光學(xué)和模擬影響調(diào)整。像素通常以每個曝光10~16位采樣。一個800萬像素的圖像傳感器，使用4次曝光，以每秒30幀的速度，將產(chǎn)生高達(dá)15.36 Gbps的數(shù)據(jù)率。

雷達(dá)前處理流程

?汽車?yán)走_(dá)：由天線陣列、一個或多個微波集成電路（MMIC）和可選前處理組成。大多數(shù)汽車?yán)走_(dá)采用頻率調(diào)制連續(xù)波（FMCW）操作，但也有幾種替代技術(shù)正在開發(fā)。雷達(dá)操作基礎(chǔ)有許多不錯的資料來源。

?雷達(dá)幀：通過一個或多個發(fā)射機(jī)發(fā)出的一系列傳輸脈沖序列，以實(shí)現(xiàn)場景視野、分辨率/分離度/識別度和期望維度（距離、徑向速度、方位和仰角）的精度設(shè)計(jì)目標(biāo)。

?原始雷達(dá)樣本：來自連接特定接收機(jī)（Rx）的ADC的樣本。這些ADC通常為10~16位，工作頻率約50MHz（MSps），生成原始流量高達(dá)每Rx通道約800Mbps。高端汽車?yán)走_(dá)通常有4~16個接收通道（3.2~12.8Gbps），先進(jìn)研究使用幾十個接收機(jī)。

?雷達(dá)數(shù)據(jù)立方體：通過處理原始雷達(dá)樣本生成的1~4維立方體。通常采用FFT獲得距離和多普勒維度。可用于計(jì)算方位和/或仰角的數(shù)字波束成形，但也有許多更先進(jìn)的算法以更好的結(jié)果換取額外處理。

?雷達(dá)數(shù)據(jù)立方體壓縮：由于數(shù)據(jù)立方體中大多數(shù)位置沒有返回，存在幾種簡單（通常專有）算法壓縮數(shù)據(jù)立方體以減少傳輸帶寬。

?雷達(dá)檢測/點(diǎn)云：通常對數(shù)據(jù)立方體進(jìn)行閾值處理/CFAR和將相鄰返回合并為單點(diǎn)/檢測。這大大降低了數(shù)據(jù)帶寬，但也損失了數(shù)據(jù)立方體中的目標(biāo)“形狀”。

?雷達(dá)對象：基于檢測結(jié)果，傳統(tǒng)雷達(dá)處理會將附近點(diǎn)集群化并返回目標(biāo)對象“塊”。

?雷達(dá)感知：大類算法，可將雷達(dá)數(shù)據(jù)處理為汽車、人員等分類對象，還有更多基礎(chǔ)設(shè)施對象。這些算法通常對數(shù)據(jù)立方體、點(diǎn)云或?qū)ο筮M(jìn)行操作，但也有基于原始數(shù)據(jù)的研究。

?雷達(dá)輸出數(shù)據(jù)格式：點(diǎn)云，點(diǎn)具有位置、距離、強(qiáng)度、運(yùn)動信息等屬性。

激光雷達(dá)前處理流程

?汽車激光雷達(dá)傳感器：激光雷達(dá)系統(tǒng)可以分為幾類基本類別。波長、脈沖/調(diào)制技術(shù)、接收器技術(shù)和掃描技術(shù)等基本變量會帶來許多權(quán)衡取舍。

?Flash與掃描激光雷達(dá)：閃光激光雷達(dá)本質(zhì)上是飛行時間（TOF）相機(jī)。使用激光閃光和高速2D接收器陣列，可以捕捉到許多“曝光區(qū)間”或“距離分箱”。2D陣列給出x/y位置，對距離分箱的處理可以得到反射或返回的峰值z位置。與Flash激光雷達(dá)不同，掃描激光雷達(dá)一次只在一個x/y方向上“觀察”。發(fā)出脈沖后等待一定時間獲取返回。這使設(shè)計(jì)者可以一次關(guān)注發(fā)出能量（在眼安全限制內(nèi)）在一個位置上。然后掃描機(jī)制移動到下一個“像素”位置。

?脈沖與調(diào)制激光雷達(dá)：脈沖激光雷達(dá)需要更高功率來克服陽光的背景噪聲，但系統(tǒng)相對簡單。調(diào)制激光雷達(dá)噪聲水平更低，因?yàn)楦蓴_源要么沒有調(diào)制（陽光或其他脈沖激光雷達(dá)），要么與發(fā)射調(diào)制的時間/頻率組合極不可能重合（其他調(diào)制激光雷達(dá)）。由于噪聲水平更低，在相似輸出功率下，調(diào)制激光雷達(dá)的范圍遠(yuǎn)超脈沖激光雷達(dá)。更復(fù)雜的發(fā)射器和接收器的代價是主要缺點(diǎn)。根據(jù)調(diào)制方案（如FMCW），它們也有更長的“駐留”時間，因?yàn)榻邮掌餍枰却暾{(diào)制返回，而不是快速脈沖。這增加的駐留時間導(dǎo)致與其他技術(shù)相比點(diǎn)數(shù)/秒更低。

?原始激光雷達(dá)樣本：激光雷達(dá)樣本測量返回強(qiáng)度對時間的關(guān)系。它們通常每個接收器為1~6 Gbps，不太可能在當(dāng)前汽車網(wǎng)絡(luò)技術(shù)中傳輸。接收強(qiáng)度取決于發(fā)射功率、與物體距離和物體反射率。

?激光雷達(dá)返回波形：對原始樣本進(jìn)行閾值處理形成每個從遠(yuǎn)處物體反射的波形，也稱為返回。

?激光雷達(dá)返回：使用各種算法找到返回波形的強(qiáng)度峰值/時間。對于任 one發(fā)射脈沖，由于波束發(fā)散和目標(biāo)的半透明性，可以有許多不同的返回。這些返回通常包括視場中的x、y位置，返回的距離和強(qiáng)度，以及用于全局同步的時間戳。

?激光雷達(dá)點(diǎn)云：點(diǎn)云是返回列表，可以對視場中的每個x/y位置具有多個返回。大多數(shù)汽車激光雷達(dá)輸出每個x/y位置1~3個返回的點(diǎn)云。研究界有強(qiáng)烈觀點(diǎn)認(rèn)為應(yīng)輸出返回波形，因?yàn)樗鼈儼繕?biāo)對象的更多信息。與雷達(dá)處理類似，峰值檢測可有效壓縮所需的數(shù)據(jù)帶寬，但明顯損失目標(biāo)對象信息。