隨著去年底梅賽德斯·奔馳全新一代Drive Pilot系統(tǒng)(首發(fā)搭載新一代S級(jí)轎車(chē))獲得監(jiān)管機(jī)構(gòu)L3級(jí)(低速)自動(dòng)駕駛上路許可，前置雙目立體視覺(jué)+毫米波雷達(dá)+激光雷達(dá)的配置成為焦點(diǎn)。

按照此前公開(kāi)的數(shù)據(jù)，這套感知系統(tǒng)的選裝價(jià)格低于9500美元。其中，雙目立體視覺(jué)感知(視場(chǎng)角70度)由Veoneer提供，完全集成硬件和感知軟件(CNN+3D立體視覺(jué)，對(duì)車(chē)前物體進(jìn)行精確分類(lèi)和定位)，支持車(chē)道檢測(cè)、可行駛區(qū)域檢測(cè)、小障礙物檢測(cè)和三維物體分類(lèi)。

而在前裝市場(chǎng)，去年開(kāi)始，雙目立體視覺(jué)的搭載車(chē)型也在增加。比如，吉利旗下星越L、領(lǐng)克07/09以及極狐阿爾法S華為HI版等自主品牌新車(chē)也在陸續(xù)增加雙目立體視覺(jué)配置。

高工智能汽車(chē)研究院監(jiān)測(cè)數(shù)據(jù)顯示，2021年全年國(guó)內(nèi)新車(chē)(自主+合/獨(dú)資)標(biāo)配雙目立體視覺(jué)ADAS上險(xiǎn)量為22.4萬(wàn)輛，同比上年增長(zhǎng)13.71%。而在供應(yīng)端，除了日立、Veoneer、大陸、博世等傳統(tǒng)雙目立體視覺(jué)方案商，也有不少初創(chuàng)公司進(jìn)入賽道。

比如，去年奇瑞汽車(chē)宣布與以色列視覺(jué)感知供應(yīng)商Foresight簽署商業(yè)合作備忘錄，對(duì)后者的QuadSight(四目)視覺(jué)原型系統(tǒng)進(jìn)行技術(shù)評(píng)估，并尋求進(jìn)一步量產(chǎn)落地的可能性。雙方還計(jì)劃考慮在中國(guó)成立合資企業(yè)在中國(guó)市場(chǎng)推廣解決方案。

而成立于2014年10月的中科慧眼，在國(guó)內(nèi)率先推出可量產(chǎn)車(chē)載后裝、準(zhǔn)前裝、前裝(適用于L4級(jí)自動(dòng)駕駛以及商用車(chē))雙目立體視覺(jué)感知系統(tǒng)。去年，該公司推出的第三代立體視覺(jué)感知系統(tǒng)也獲得了多家OEM的前裝定點(diǎn)。

近日，中科慧眼再次實(shí)現(xiàn)技術(shù)應(yīng)用創(chuàng)新，基于華為MDC域控制器推出雙目路面預(yù)瞄系統(tǒng)，為OEM提供更高性價(jià)比，更高集成化的智能底盤(pán)預(yù)瞄與控制解決方案?！斑@也是業(yè)內(nèi)首次在智能駕駛域控平臺(tái)上基于AI-Engine實(shí)現(xiàn)產(chǎn)品化的可商用、可落地的雙目立體視覺(jué)解決方案。”

什么是智能底盤(pán)?半主動(dòng)懸架或主動(dòng)懸架系統(tǒng)就是其中一個(gè)特色配置，通過(guò)改變懸掛系統(tǒng)的高度、形狀和阻尼等，起到控制車(chē)身振動(dòng)和車(chē)身高度的功能，主要能增進(jìn)汽車(chē)操作穩(wěn)定性、乘坐舒適性等性能。

近年來(lái)，隨著智能汽車(chē)搭載傳感器數(shù)量以及車(chē)載計(jì)算能力的增加，智能底盤(pán)成為各大車(chē)企新的業(yè)務(wù)增長(zhǎng)點(diǎn)。智能底盤(pán)通過(guò)各類(lèi)觀瞄感知零部件結(jié)合線控懸掛底盤(pán)，可以實(shí)現(xiàn)車(chē)體在垂直方向上的自適應(yīng)控制，顯著提高智能駕駛車(chē)輛的行駛平順性與通過(guò)性。

中科慧眼基于雙目立體視覺(jué)的路面預(yù)瞄系統(tǒng)，可以實(shí)現(xiàn)路面狀態(tài)3D重建感知、車(chē)輪軌跡高程曲線預(yù)測(cè)，以及路面類(lèi)型檢測(cè)，預(yù)先引導(dǎo)車(chē)輛的半主動(dòng)懸架或主動(dòng)懸架系統(tǒng)實(shí)時(shí)獨(dú)立調(diào)節(jié)各個(gè)車(chē)輪減震器阻尼的軟硬系數(shù)、車(chē)身的整體高低、以及車(chē)輛行駛的模式。

基于雙目立體視覺(jué)的路面預(yù)瞄技術(shù)系統(tǒng)是實(shí)現(xiàn)“魔毯懸掛系統(tǒng)”的關(guān)鍵感知模塊與融合決策模塊，而未來(lái)五年，這種智能懸掛系統(tǒng)有望成為30萬(wàn)元以上車(chē)型的標(biāo)配。這背后，還得益于大算力車(chē)載域控制器的前裝落地。

目前，大部分車(chē)載域控制器的架構(gòu)中缺少立體視覺(jué)硬件處理模塊。如何在盡量不增加整車(chē)硬件配置的前提下，實(shí)現(xiàn)基于雙目的路面預(yù)瞄系統(tǒng)，這其中將雙目立體校準(zhǔn)與立體匹配算法部署在域控制器現(xiàn)有的計(jì)算模塊中成為關(guān)鍵點(diǎn)。

一直以來(lái)，雙目立體視覺(jué)的優(yōu)勢(shì)也非常明顯，通過(guò)生成三維圖像點(diǎn)云，為ADAS及自動(dòng)駕駛感知提高安全和可靠性，并提供出色的目標(biāo)檢測(cè)能力和準(zhǔn)確性。

這對(duì)于一個(gè)攝像頭來(lái)說(shuō)是很困難的，但是兩個(gè)攝像頭的立體視覺(jué)方案變得更加容易。同時(shí)，雙目不依賴模式識(shí)別，幾乎任何材料、顏色或形狀都能被探測(cè)到。

目前，傳統(tǒng)的單目視覺(jué)最大瓶頸在于天氣變化，尤其是雨霧及夜晚環(huán)境。而立體視覺(jué)是一個(gè)全類(lèi)型環(huán)境識(shí)別，以目前的主流自適應(yīng)巡航ACC為例，以雙目為代表的立體視覺(jué)技術(shù)可以減少光照變化帶來(lái)的影響。

同時(shí)，雙目立體感知是一個(gè)天然融合的傳感器，它將深度學(xué)習(xí)和圖像學(xué)習(xí)進(jìn)行有效糅合，以應(yīng)對(duì)所有天氣和照明條件，從而解決現(xiàn)有單目感知方案的全場(chǎng)景覆蓋的瓶頸。

隨著國(guó)內(nèi)包括中科慧眼、元橡科技、華為、大疆陸續(xù)發(fā)布基于雙目(立體視覺(jué))感知的輔助駕駛/自動(dòng)駕駛方案，這個(gè)一直以來(lái)僅有少數(shù)幾家外資供應(yīng)商參與研發(fā)量產(chǎn)的技術(shù)路線，正在重新成為市場(chǎng)的焦點(diǎn)。

作為國(guó)內(nèi)雙目立體視覺(jué)領(lǐng)域的領(lǐng)軍企業(yè)之一，中科慧眼公司認(rèn)為，雙目相機(jī)既有圖像可以進(jìn)行深度學(xué)習(xí)識(shí)別，又有點(diǎn)云可以進(jìn)行分割與測(cè)距，融合了類(lèi)激光雷達(dá)和機(jī)器視覺(jué)的綜合能力。

將立體視覺(jué)的深度點(diǎn)云圖和深度學(xué)習(xí)融合，也是立體視覺(jué)發(fā)展的趨勢(shì)。比如，夜間同車(chē)道、對(duì)向車(chē)道的目標(biāo)檢測(cè)與測(cè)距精度都可以借助深度學(xué)習(xí)的能力得到加強(qiáng)。

同時(shí)，將立體視覺(jué)和深度學(xué)習(xí)結(jié)合，可以為客戶提供性價(jià)比更高、性能更強(qiáng)的智能視覺(jué)傳感器，構(gòu)成一個(gè)比較完備的邊緣運(yùn)算模塊，直接將識(shí)別數(shù)據(jù)，3D-BOX，以及精確的測(cè)距距離信息等，輸送給域控制器直接進(jìn)行AEB剎車(chē)或者自動(dòng)駕駛控制。

除了與市面上主流傳統(tǒng)單目攝像頭前向感知“競(jìng)爭(zhēng)”，雙目立體視覺(jué)+智能底盤(pán)則是另一種創(chuàng)新應(yīng)用。這意味著，雙目立體視覺(jué)感知技術(shù)可以實(shí)現(xiàn)在整車(chē)上的復(fù)用。

此前，中科慧眼和華為MDC通過(guò)聯(lián)合開(kāi)發(fā)，共同推進(jìn)雙目路面預(yù)瞄系統(tǒng)在華為MDC上的方案落地，為OEM提供更高性價(jià)比，更高集成化的智能底盤(pán)預(yù)瞄與控制解決方案。整套系統(tǒng)主要包含三部分，雙目成像模塊、立體匹配模塊以及功能實(shí)現(xiàn)模塊。

而一直以來(lái)，雙目立體視覺(jué)對(duì)算力要求較高。域控制器的導(dǎo)入，意味著，傳統(tǒng)依靠高成本FPGA的算力支持成為過(guò)去時(shí)。同時(shí)，獨(dú)立開(kāi)發(fā)ASIC芯片也不再是剛需。

其中，華為MDC域控制中的SoC中主要包含三部分計(jì)算資源：ISP模塊主要實(shí)現(xiàn)攝像頭傳感器的成像信號(hào)處理;AI模塊實(shí)現(xiàn)感知融合的神經(jīng)網(wǎng)絡(luò)算法處理，包含cube、vector、scalar三種計(jì)算資源;CPU模塊則適合通用計(jì)算的感知融合、規(guī)劃、決策、控制等處理。

目前，華為MDC搭載昇騰SoC(集成ISP/NPU/CPU等異構(gòu)計(jì)算模塊)，支持系統(tǒng)級(jí)ASIL D功能安全，支持R-Lock高安全冗余架構(gòu)。算力覆蓋48~400 TOPS，可滿足L2+~L4級(jí)別的自動(dòng)駕駛算力所需。整機(jī)能效比可達(dá)2TOPS/W。

同時(shí)，華為MDC智能駕駛計(jì)算平臺(tái)，具備組件服務(wù)化、接口標(biāo)準(zhǔn)化、開(kāi)發(fā)工具化的特性，配套好用易用的工具鏈，基于此平臺(tái)可快速開(kāi)發(fā)、調(diào)測(cè)、運(yùn)行上層自動(dòng)駕駛算法與功能應(yīng)用。

而中科慧眼的方案，就是盡量復(fù)用既有車(chē)載相機(jī)成像信號(hào)與中央域控制算力，在域控制架構(gòu)上低成本地實(shí)現(xiàn)雙目路面預(yù)瞄系統(tǒng)。其中，雙目成像模塊主要包含ISP調(diào)試、相機(jī)標(biāo)定、圖像Remap，這三個(gè)模塊決定了雙目相機(jī)能夠獲取合格的左右模組成像。

將雙目相機(jī)的標(biāo)定參數(shù)輸入到AI Core中，只利用了其中少量的Vector計(jì)算資源進(jìn)行圖像矯正，復(fù)用MDC底層的AI算子，避免了復(fù)雜的算子部署適配及開(kāi)發(fā)工作。在AI Core中實(shí)現(xiàn)圖像的矯正，也節(jié)省了不同芯片之間的帶寬消耗。

立體匹配模塊則主要包含特征匹配、代價(jià)聚合、視差計(jì)算三部分，這三部分涉及到大量的并行計(jì)算，對(duì)硬件性能以及算法的運(yùn)行效率有很高的要求。

中科慧眼技術(shù)團(tuán)隊(duì)通過(guò)與華為MDC專(zhuān)家團(tuán)隊(duì)的緊密合作，根據(jù)AI-Engine的計(jì)算特性，創(chuàng)新性地設(shè)計(jì)了適配的立體匹配方案，將大量的并行運(yùn)算通過(guò)MDC深度學(xué)習(xí)底層AI算子實(shí)現(xiàn)，為部署在MDC域控的AI Core上提供了算法及部署方案。

高精度立體匹配稠密視差效果。上圖為柏油路與減速帶的視差效果，以及路面三維重建的效果，視差圖顏色越藍(lán)的點(diǎn)，表示實(shí)際成像物體離相機(jī)系統(tǒng)的物理距離越遠(yuǎn)。

經(jīng)過(guò)雙方的聯(lián)合研發(fā)，在只使用其中少量的Vector計(jì)算資源的前提下，就實(shí)現(xiàn)了基于華為MDC的25FPS以上的稠密高精度雙目匹配視差輸出。該方案，不僅能夠節(jié)省立體視覺(jué)方案落地的硬件成本，而且大大降低了立體視覺(jué)方案在AI平臺(tái)上的移植與升級(jí)難度，可快速投入商用。

最后，功能實(shí)現(xiàn)模塊主要包含融合感知、功能開(kāi)發(fā)兩部分。立體視覺(jué)方案可以賦予計(jì)算系統(tǒng)前融合“點(diǎn)點(diǎn)對(duì)齊”的高精度視差信息與高質(zhì)量圖像信息，增加了感知結(jié)果的精確性與魯棒性。

中科慧眼借助于華為MDC強(qiáng)大的開(kāi)發(fā)與編譯調(diào)測(cè)工具，將視差和圖像的多維感知信息作為輸入，完成路面預(yù)瞄感知功能的部署。

該融合感知模塊不僅能夠輸出高質(zhì)量的2D以及3D的綜合感知信息，而且在單AI Core中的耗時(shí)還能夠控制在10ms以內(nèi)，有效降低了整個(gè)感知功能的延時(shí)，為快速調(diào)整底盤(pán)參數(shù)提供了更寬裕的緩沖時(shí)間。

中科慧眼&華為MDC雙目路面預(yù)瞄系統(tǒng)城市道路示例，Demo展示的是城市道路減速帶的檢測(cè)與三維分析效果，展示了目標(biāo)的高程曲線以及空間位置。

同時(shí)，通過(guò)華為MDC中的CPU計(jì)算能力，將根據(jù)綜合的感知信息進(jìn)行功能后處理并輸出最終的功能感知信息。功能感知信息包含引導(dǎo)前后輪的獨(dú)立懸架調(diào)整以及調(diào)節(jié)減震器阻尼系數(shù)的路面高程曲線，以及引導(dǎo)懸架高度調(diào)整、制動(dòng)力與動(dòng)力分配的路面狀態(tài)類(lèi)型等。

在高工智能汽車(chē)研究院看來(lái)，域控時(shí)代的到來(lái)，傳統(tǒng)視覺(jué)感知技術(shù)也可能會(huì)發(fā)生新的變革。尤其是軟件技術(shù)的迭代加上大算力硬件的性能加持，技術(shù)玩法也會(huì)越來(lái)越多，對(duì)于OEM來(lái)說(shuō)，可選項(xiàng)也在增加。

原文標(biāo)題：雙目立體視覺(jué)“復(fù)用”，中國(guó)企業(yè)組合首次“領(lǐng)跑”全球

文章出處：【微信公眾號(hào)：中科慧眼】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅