開芯課堂是黑芝麻智能打造的一檔技術(shù)分享類欄目，與大家分享我們的領(lǐng)先技術(shù)，展示我們的產(chǎn)品成果，通過(guò)專業(yè)技術(shù)沙龍、視頻直播、深度圖文，共同交流探討，一起進(jìn)步，一起探索黑科技的世界。

什么是ISP?

ISP是Image Signal Processor 的簡(jiǎn)稱，也就是圖像信號(hào)處理器，主要用來(lái)處理Image Sensor(圖像傳感器)的輸出數(shù)據(jù)。

由于鏡頭和sensor在不同的制造商之間差異很大，以及拍攝的光線條件多樣，鏡頭和sensor需要根據(jù)環(huán)境做適應(yīng)，就像人眼要通過(guò)瞳孔縮放，適應(yīng)環(huán)境明暗一樣。

ISP在能夠有效糾正和統(tǒng)一這些差異方面發(fā)揮著非常重要的作用，并且可以有效地將不同光譜特性的sensor數(shù)據(jù)按照預(yù)期需求統(tǒng)一實(shí)現(xiàn)。如果沒有ISP模塊，我們將很難生成人類預(yù)期的圖片質(zhì)量。

常見的RGB的Bayer sensor處理的結(jié)果，從圖中可以看出，在同樣光源下不同sensor做白平衡之后色彩有比較明顯的差異，很難用統(tǒng)一的色彩校正矩陣來(lái)統(tǒng)一處理，這給當(dāng)前一些基于RAW圖的AI感知算法(不帶ISP)的實(shí)際應(yīng)用落地帶來(lái)挑戰(zhàn)。

更進(jìn)一步，當(dāng)前有很多sensor的光譜特性并不局限于RGB三色的Bayer模式，RCCB sensor及RGBIr sensor的ISP處理結(jié)果與原始圖像。在這些更加特別的光譜組合中，原始色彩更是與用戶直觀感知差別很大，如果缺少ISP的處理，后端感知算法處理這些數(shù)據(jù)就比較困難。

自動(dòng)駕駛ISP的特殊性

自動(dòng)駕駛對(duì)ISP提出了更高的設(shè)計(jì)需求，首先是低延時(shí)，手機(jī)拍攝可以允許1到2秒的延時(shí)，但這對(duì)自動(dòng)駕駛而言是決不允許的，車輛“致盲”2秒在高速上就意味著跑出去50多米，這已經(jīng)不能用危險(xiǎn)來(lái)形容了。

因此車端芯片的ISP需要毫秒級(jí)的高處理率和高傳輸率。

此外自動(dòng)駕駛汽車的ISP要求全時(shí)在線，面臨的場(chǎng)景也豐富的多，諸如被強(qiáng)光直射、黑夜、強(qiáng)弱光交替等極端場(chǎng)景，車端芯片自動(dòng)駕駛的ISP需要解決這些挑戰(zhàn)。

黑芝麻智能NeuralIQ ISP優(yōu)勢(shì)

色彩還原和渲染

自動(dòng)駕駛場(chǎng)景中很多與顏色相關(guān)的重要信息，比如紅綠燈、道路地面上的各種標(biāo)志線等等，都是后端感知算法識(shí)別場(chǎng)景的重要目標(biāo)。在一些特殊光照條件下，這些色彩還原的難度增大，渲染出的色彩準(zhǔn)確性降低，會(huì)給感知算法帶來(lái)不少困惑。

一個(gè)雨天路面場(chǎng)景，潮濕地面的反光和陰雨天較差的光照條件使得對(duì)比廠商的ISP產(chǎn)品整體顏色偏淡，對(duì)比度偏低，道路中心的對(duì)向車道分隔“雙黃線”顏色很淺，就有可能被誤識(shí)為同向車道分隔白線，從而使得自動(dòng)駕駛做出錯(cuò)誤的選擇和判斷，而給用戶帶來(lái)危險(xiǎn)。經(jīng)過(guò)NeuralIQ ISP處理之后的圖像，就準(zhǔn)確恢復(fù)了原本的色彩。

不同傳感器的噪聲一致化

不同的sensor在感光靈敏度和光譜方面都有自身的特點(diǎn)，從而在噪聲形態(tài)和噪聲強(qiáng)度方面各不相同。感知算法在處理圖像時(shí)，對(duì)于輸入圖像的信噪比(signal-to-noise ratio，SNR)有一定的要求，并且可處理的噪聲形態(tài)取決于訓(xùn)練數(shù)據(jù)?？上攵?dāng)輸入圖像的噪聲形態(tài)和噪聲強(qiáng)度發(fā)生變化時(shí)，感知算法的正確性和準(zhǔn)確性都會(huì)受到很大影響。而黑芝麻智能的NeuralIQ ISP可以使不同sensor采集到的數(shù)據(jù)具有類似的噪聲強(qiáng)度和噪聲形態(tài)，可以直接輸入給已訓(xùn)練好的感知算法使用。

反映了ISP對(duì)于不同sensor的不同噪聲的處理能力，上下兩行分別是兩個(gè)不同sensor的數(shù)據(jù)，原始數(shù)據(jù)的噪聲密度和噪聲形態(tài)不太一致，上排sensor的原始噪聲以團(tuán)狀色噪聲為主，下排sensor的原始噪聲以散在單點(diǎn)噪聲為主，經(jīng)過(guò)NeuralIQ ISP去噪模塊之后，兩種數(shù)據(jù)的效果很相似，噪聲去除的同時(shí)，信噪比也得到了比較大的提升，以符合感知算法的要求。

高動(dòng)態(tài)范圍融合的畫面瑕疵處理

自動(dòng)駕駛環(huán)境下，相機(jī)所遇到的場(chǎng)景的亮暗對(duì)比變化非常廣泛。一般相機(jī)單次拍攝所能捕捉到的數(shù)據(jù)動(dòng)態(tài)范圍大約只有60-70dB，而車載環(huán)境下的場(chǎng)景往往可以高達(dá)140dB以上，單次拍攝很難直接捕捉到如此高動(dòng)態(tài)范圍的場(chǎng)景。車載sensor中一般通過(guò)多種不同的技術(shù)，例如數(shù)字重疊技術(shù)(DOL/Stagger)、 雙轉(zhuǎn)換增益技術(shù)(DCG)、大小像素技術(shù)(LPD-SPD)，以獲取對(duì)場(chǎng)景的“多重曝光“，從而合成出整個(gè)高動(dòng)態(tài)范圍(HDR)場(chǎng)景的數(shù)據(jù)。通常場(chǎng)景中暗處靠著長(zhǎng)曝光來(lái)捕捉，而高亮部分需要短曝光來(lái)捕捉。如此在不同曝光的重疊區(qū)域里，合成算法要保證顏色的準(zhǔn)確性和合成過(guò)渡的自然性。

一個(gè)典型的車載HDR場(chǎng)景，隧道里的亮度很低，隧道外通常是陽(yáng)光照射下的高亮區(qū)域。在隧道口處通常就是典型的不同曝光合成的過(guò)渡區(qū)域，這個(gè)區(qū)域里有很多問題需要處理，比如色彩一致性問題，比如信噪比不連續(xù)問題等等。圖5右圖是其他廠商ISP處理結(jié)果，地面處出現(xiàn)嚴(yán)重斑駁，可能會(huì)被檢測(cè)為路面的缺陷而影響自動(dòng)駕駛的決策，隧道外的路牌原本應(yīng)為藍(lán)色，被合成為了褐色，這樣感知算法可能會(huì)把普通道路(藍(lán)色路牌)理解為風(fēng)景區(qū)路牌(褐色)。而NerualIQ ISP就能很好處理這些信息。

多幀處理

夜晚或者室內(nèi)低亮情況下，一般相機(jī)會(huì)通過(guò)延長(zhǎng)曝光時(shí)間來(lái)達(dá)到合適的亮度。但是因?yàn)樽詣?dòng)駕駛時(shí)候的車輛通常處于運(yùn)動(dòng)甚至高速運(yùn)動(dòng)狀態(tài)，曝光時(shí)間的增長(zhǎng)會(huì)導(dǎo)致圖像中的運(yùn)動(dòng)模糊的增加;有時(shí)候哪怕運(yùn)動(dòng)速度不快，但是由于車輛處于轉(zhuǎn)彎狀態(tài)，遠(yuǎn)處場(chǎng)景的轉(zhuǎn)彎線速度很大，模糊嚴(yán)重，這些都給感知算法的計(jì)算和識(shí)別帶來(lái)困難。

近些年多幀去噪算法(時(shí)域去噪)經(jīng)歷了長(zhǎng)足的發(fā)展。NeuralIQ ISP控制相機(jī)的曝光和增益，在曝光量(曝光時(shí)間x增益)相同的情況下，使用更短的曝光時(shí)間，更高的增益。針對(duì)減曝光+高增益圖像使用多幀技術(shù)，可以將噪聲水平控制在低增益水平上，同時(shí)因?yàn)榛鶞?zhǔn)單幀圖像的曝光時(shí)間的減少，運(yùn)動(dòng)模糊問題得到了很好的改善。

一個(gè)典型的示例，傳統(tǒng)ISP做法如右圖，曝光時(shí)間30ms，3倍增益，因?yàn)檐囕v在行駛過(guò)程中，可以明顯觀測(cè)到運(yùn)動(dòng)模糊，上方指示牌的字體都具有重影，小號(hào)字體難以辨認(rèn);而NeualIQ ISP控制曝光時(shí)間10ms，9倍增益情況下，保持了總曝光量的不變，所以圖像亮度與傳統(tǒng)ISP類似，同時(shí)NeuralIQ ISP對(duì)圖像采用多幀降噪技術(shù)(本示例使用3幀降噪)，所以盡管單幀圖像的增益高達(dá)9倍，處理結(jié)果的噪聲水平也與低增益圖像類似，噪聲得到了很好的抑制。由于NeuralIQ ISP的圖像基準(zhǔn)曝光較短(比如10ms)，單幀基準(zhǔn)圖像的運(yùn)動(dòng)模糊就很小，處理結(jié)果中的物體和字符清晰可辨，無(wú)可見的運(yùn)動(dòng)模糊現(xiàn)象。

低延遲處理

如前所述，車載環(huán)境下的圖像輸出不能有太大的延遲，幾乎要達(dá)到“實(shí)時(shí)處理”的要求。NeuralIQ ISP從算法設(shè)計(jì)上就考慮算法的復(fù)雜度和算法的流水線結(jié)構(gòu)。支持sensor數(shù)據(jù)流的在線和離線的混合處理模式。在線模式下，ISP輸出的延遲幾乎只取決于ISP算法本身所需的行緩存。典型場(chǎng)景下，NeuralIQ ISP數(shù)據(jù)處理的延遲不超過(guò)1毫秒，為后端感知算法實(shí)時(shí)獲取到圖像數(shù)據(jù)提供了有力的保障。

視覺與AI是智能駕駛領(lǐng)域的關(guān)鍵技術(shù)和基礎(chǔ)能力，而圖像質(zhì)量對(duì)于視覺應(yīng)用和算法識(shí)別起著至關(guān)重要的作用。黑芝麻智能車規(guī)級(jí)圖像處理器——NeuralIQ ISP，通過(guò)其強(qiáng)大的圖像處理能力，讓汽車洞察秋毫，萬(wàn)事一清二楚，助力實(shí)現(xiàn)更安全的智能駕駛。

讓汽車“洞察秋毫”，秒懂自動(dòng)駕駛ISP系列第一期就到此結(jié)束啦~讓我們相約下期的開芯課堂!

審核編輯：湯梓紅