一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自動駕駛行業(yè)的視覺感知簡要介紹

新機(jī)器視覺 ? 來源:新機(jī)器視覺 ? 作者:新機(jī)器視覺 ? 2021-03-04 09:42 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

文章導(dǎo)讀

本文針對自動駕駛行業(yè)的視覺感知做簡要介紹,從傳感器端的對比,到數(shù)據(jù)的采集標(biāo)注,進(jìn)而對感知算法進(jìn)行分析,給出各個模塊的難點和解決方案,最后介紹感知模塊的主流框架設(shè)計。

目錄

傳感器

相機(jī)標(biāo)定

數(shù)據(jù)標(biāo)注

功能劃分

模塊架構(gòu)

視覺感知系統(tǒng)主要以攝像頭作為傳感器輸入,經(jīng)過一系列的計算和處理,對自車周圍的環(huán)境信息做精確感知。目的在于為融合模塊提供準(zhǔn)確豐富的信息,包括被檢測物體的類別、距離信息、速度信息、朝向信息,同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面:

道路目標(biāo)檢測(車輛、行人和非機(jī)動車)

交通標(biāo)識檢測(交通標(biāo)志和紅綠燈)

可行駛區(qū)域(道路區(qū)域和車道線)

這三類任務(wù)如果通過一個深度神經(jīng)網(wǎng)絡(luò)的前向傳播完成,不僅可以提高系統(tǒng)的檢測速度,減少計算參數(shù),而且可以通過增加主干網(wǎng)絡(luò)的層數(shù)的方式提高檢測和分割精度。如下圖所示:可以將視覺感知任務(wù)分解成目標(biāo)檢測、圖像分割、目標(biāo)測量、圖像分類等。

傳感器

1. 前視線性相機(jī):視角較小,一般采用52°左右的相機(jī)模組安裝于車輛前擋風(fēng)玻璃中間,主要用來感知車輛前方較遠(yuǎn)的場景,感知距離一般為120米以內(nèi)。

2. 周視廣角相機(jī):視場角相對較大,一般采用6顆100°左右的相機(jī)模組安裝在車輛周圍一圈,主要用來感知360°的周身環(huán)境(安裝方案與特斯拉大同小異)。廣角相機(jī)存在一定的畸變現(xiàn)象,如下圖所示:

3. 環(huán)視魚眼相機(jī):環(huán)視魚眼相機(jī)視角較大,可以達(dá)到180°以上,對近距離的感知較好,通常用于APA,AVP等泊車場景,安裝于車輛左右后視鏡下方以及前后車牌下方等4個位置做圖像的拼接、車位檢測、可視化等功能。

相機(jī)標(biāo)定

相機(jī)標(biāo)定的好壞直接影響目標(biāo)測距的精度,主要包括內(nèi)參標(biāo)定和外參標(biāo)定。

內(nèi)參標(biāo)定用于做圖像的畸變校正,外參標(biāo)定用于統(tǒng)一多個傳感器的坐標(biāo)系,將各自的坐標(biāo)原點移動到車輛后軸中心處。

最耳熟能詳?shù)臉?biāo)定方法就是張正友的棋盤格方法,在實驗室里一般會做一個棋盤格板子標(biāo)定相機(jī),如下圖:

1. 出廠標(biāo)定

但是自動駕駛做前裝量產(chǎn),由于批量生產(chǎn)的緣故,無法一輛輛使用標(biāo)定板做標(biāo)定,而是構(gòu)建一個場地用于車輛出廠時標(biāo)定,如下圖所示:

2. 在線標(biāo)定

另外考慮到車輛運(yùn)行一段時間或者在顛簸的過程中攝像頭位置的偏移,感知系統(tǒng)中也有在線標(biāo)定的模型,常利用消失點或車道線等檢測得到的信息實時更新俯仰角的變化。

數(shù)據(jù)標(biāo)注

自然道路場景存在各種各樣的突發(fā)狀況,所以需要采集大量的實車數(shù)據(jù)用來訓(xùn)練。高質(zhì)量的數(shù)據(jù)標(biāo)注成了一件至關(guān)重要的工作,其中感知系統(tǒng)需要檢測的全部信息均需要進(jìn)行標(biāo)注。標(biāo)注形式包括目標(biāo)級標(biāo)注和像素級標(biāo)注:

目標(biāo)級標(biāo)注如下圖:

像素級標(biāo)注如下圖:

由于感知系統(tǒng)中的檢測和分割任務(wù)常采用深度學(xué)習(xí)的方式實現(xiàn),而深度學(xué)習(xí)是一項數(shù)據(jù)驅(qū)動的技術(shù),所以需要大量的數(shù)據(jù)和標(biāo)注信息進(jìn)行迭代。為了提高標(biāo)注的效率,可以采用半自動的標(biāo)注方式,通過在標(biāo)注工具中嵌入一個神經(jīng)網(wǎng)絡(luò)用于提供一份初始標(biāo)注,然后人工修正,并且在一段時間后加載新增數(shù)據(jù)和標(biāo)簽進(jìn)行迭代循環(huán)。

功能劃分

視覺感知可以分為多個功能模塊,如道路目標(biāo)檢測、目標(biāo)測量、可行駛區(qū)域、車道線檢測、交通標(biāo)識檢測等。

1. 道路目標(biāo)檢測

對車輛(轎車、卡車、電動車、自行車)、行人等動態(tài)物體的識別,輸出被檢測物的類別和3D信息并對幀間信息做匹配,確保檢測框輸出的穩(wěn)定和預(yù)測物體的運(yùn)行軌跡。神經(jīng)網(wǎng)絡(luò)直接做3D回歸準(zhǔn)確度不高,通常會對車輛拆分成車頭,車身,車尾,輪胎多個部位的檢測拼成3D框。

目標(biāo)檢測難點:

小目標(biāo)檢測問題

多目標(biāo)重疊問題

部分被遮擋問題

外觀相似的問題

目標(biāo)多樣性問題

對于視覺目標(biāo)檢測,在惡劣天氣環(huán)境下,感知性能會有一定的下降;在夜晚燈光昏暗時,容易出現(xiàn)漏檢的問題。如果結(jié)合激光雷達(dá)的結(jié)果進(jìn)行融合,對于目標(biāo)的召回率會大幅提高。

具體解決方案:

目標(biāo)檢測任務(wù)現(xiàn)在大多采用深度學(xué)習(xí)的方法來做位置的回歸和類別的區(qū)分。在設(shè)計神經(jīng)網(wǎng)絡(luò)的時候,可以考慮以下Tricks:

降低下采樣率并結(jié)合空洞卷積,減少小物體特征的損失;

采用FPN結(jié)構(gòu)進(jìn)行深層特征和淺層特征的融合來增強(qiáng)目標(biāo)的特征信息;

加入Mosiac,MixUp等混疊形式的數(shù)據(jù)增強(qiáng)方法,提供模型對重疊和遮擋場景的魯棒性;

多種算法或傳感器的聯(lián)合校驗,降低在特定場景下的誤檢或漏檢率;

但是深度學(xué)習(xí)作為一種概率形式的算法,即使提取特征能力強(qiáng)大,也不能覆蓋掉所有的動態(tài)物體特征。在工程開發(fā)中可以依據(jù)現(xiàn)實場景增加一些幾何約束條件(如尺寸信息,空間位置信息,運(yùn)動連貫性等)。

增加幾何約束的好處是提高檢測率,降低誤檢率,如轎車不可能誤檢為卡車??梢杂?xùn)練一個3D檢測模型再配合后端多目標(biāo)追蹤優(yōu)化以及基于單目視覺幾何的測距方法完成功能模塊。

2. 目標(biāo)測量

目標(biāo)測量包括測量目標(biāo)的橫縱向距離,橫縱向速度等信息。根據(jù)目標(biāo)檢測跟蹤的輸出借助地面等先驗知識從2D的平面圖像計算車輛等動態(tài)障礙物的距離信息、速度信息等或者通過NN網(wǎng)絡(luò)直接回歸出現(xiàn)世界坐標(biāo)系中的物體位置。如下圖所示:

單目測量難點:

如何從缺乏深度信息的單目系統(tǒng)中計算出前方的物體距離。那么我們需要弄清楚以下幾個問題:

功能需求的測距范圍

場景提供的先驗知識

需要做到的橫縱向精度

如果大量依賴模式識別技術(shù)來彌補(bǔ)深度的不足。那么模式識別是否足夠健壯能滿足串行生產(chǎn)產(chǎn)品的嚴(yán)格檢測精度要求?

單目測量方案:

其一,就是通過光學(xué)幾何模型(即小孔成像模型)建立測試對象世界坐標(biāo)與圖像像素坐標(biāo)間的幾何關(guān)系,結(jié)合攝像頭內(nèi)、外參的標(biāo)定結(jié)果,便可以得到與前方車輛或障礙物間的距離;

其二,就是在通過采集的圖像樣本,直接回歸得到圖像像素坐標(biāo)與車距間的函數(shù)關(guān)系,這種方法缺少必要的理論支撐,是純粹的數(shù)據(jù)擬合方法,因此受限于擬合參數(shù)的提取精度,魯棒性相對較差。

3.可行駛區(qū)域

對車輛行駛的可行駛區(qū)域進(jìn)行劃分主要是對車輛、路沿、無障礙物的區(qū)域進(jìn)行劃分,最后輸出自車可以通行的安全區(qū)域。

可行駛區(qū)域難點:

分割的區(qū)域邊緣不夠精細(xì);

數(shù)據(jù)的類別存在大量不平衡問題;

如何從分割圖中獲取可行駛區(qū)域;

可行駛區(qū)域方案:

可行駛區(qū)域的檢測本質(zhì)上是一種語義分割的問題,大多采用深度學(xué)習(xí)進(jìn)行實現(xiàn)。近些年分割網(wǎng)絡(luò)在空洞卷積,池化金字塔,路徑聚合,環(huán)境編碼等方法的助力下效果越來越好,但是在靜態(tài)或動態(tài)障礙物的邊界處還是存在一些毛刺。在工程上可以配合路沿、車道線、目標(biāo)框的結(jié)果來修正語義的邊緣信息并從矢量包絡(luò)或柵格圖中定義可行駛區(qū)域;數(shù)據(jù)的不平衡問題往往出在訓(xùn)練階段,通??蓮膿p失函數(shù)的設(shè)計以及數(shù)據(jù)的上下采樣來緩解此類現(xiàn)象。

4. 車道線檢測

車道線檢測包括對實線、虛線、單黃線、雙黃線檢測、匯入線等各種類型的檢測。功能要求上也逐漸從像素級的分割到抽象空間的判斷,如下圖所示:

車道線檢測難點:

車道線的細(xì)長形態(tài)結(jié)構(gòu),需要強(qiáng)大的高低層次特征融合,來同時獲取全局的空間結(jié)構(gòu)關(guān)系,和細(xì)節(jié)處的定位精度。

車道線的形態(tài)有很多不確定性,比如被遮擋,磨損,以及道路變化時本身的不連續(xù)性。需要算法針對這些情況有較強(qiáng)的推測能力。

車輛的偏離或換道過程會產(chǎn)生自車所在車道的切換,車道線也會發(fā)生左/右線的切換。一些提前給車道線賦值固定序號的方法,在換道過程中會產(chǎn)生歧義的情況。

車道線檢測方案:

其一,基于傳統(tǒng)的圖像處理方法,通過邊緣檢測濾波等方式分割出車道線區(qū)域,然后結(jié)合霍夫變換、隨機(jī)采樣一致性等算法進(jìn)行車道線檢測。這類算法需要人工手動去調(diào)濾波算子,根據(jù)算法所針對的街道場景特點手動調(diào)節(jié)參數(shù)。

其二,基于深度學(xué)習(xí)的方法,通過二值語義分割產(chǎn)生掩碼圖部分,再對掩碼圖的線進(jìn)行三次方程擬合。

5.交通標(biāo)識檢測

交通標(biāo)識檢測包括對交通紅綠燈、交通標(biāo)志牌等靜態(tài)目標(biāo)的檢測識別。如下圖所示:

交通標(biāo)識檢測難點:

小目標(biāo)問題,往往交通標(biāo)識目標(biāo)較??;

多樣性問題,不同地區(qū)紅綠燈形態(tài)各異;

場景復(fù)雜問題,路口處的信號燈安裝位置,加上臨時信號燈,算法應(yīng)該選擇哪個作為通行標(biāo)準(zhǔn);

交通標(biāo)識檢測方案:

雖然對于小目標(biāo)檢測、目標(biāo)多樣性問題,也可以采用類似道路目標(biāo)檢測中的修改神經(jīng)網(wǎng)絡(luò),堆疊各種Tricks增強(qiáng)特征提取和泛化能力,再用大量數(shù)據(jù)迭代來覆蓋各種形狀的信號燈。但是最有效直接的手段仍然是基于V2X的普及,通過發(fā)送的車端的準(zhǔn)確信號,不僅解決了傳感器對交通標(biāo)識感知的檢測誤差問題,同時也可以避免路口信號燈的選擇問題。

自動駕駛的發(fā)展,很大程度上不會是單車的智能,而是依托于智慧城市的建立,在車路協(xié)同的過程中各司其職做環(huán)境的感知。

模塊架構(gòu)

目前開源的感知框架Apollo和Autoware,不少研究人員或者中小公司的感知系統(tǒng)開發(fā)會借鑒其中的思想,所以在這里介紹一下Apollo感知系統(tǒng)的模塊組成。

相機(jī)輸入-->圖像的預(yù)處理-->神經(jīng)網(wǎng)絡(luò)-->多個分支(紅綠燈識別、車道線識別、2D物體識別轉(zhuǎn)3D)-->后處理-->輸出結(jié)果(輸出物體類型、距離、速度代表被檢測物的朝向)

即輸入攝像頭的數(shù)據(jù),以每幀信息為基礎(chǔ)進(jìn)行檢測、分類、分割等計算,最后利用多幀信息進(jìn)行多目標(biāo)跟蹤,輸出相關(guān)結(jié)果。整個感知流程圖如下:

上述核心環(huán)節(jié)仍是神經(jīng)網(wǎng)絡(luò)算法,它的精度、速度、硬件資源利用率都是需要衡量考慮的指標(biāo),哪一個環(huán)節(jié)做好都不容易,物體檢測最容易誤檢或漏檢、車道線檢測擬合方法較難、紅綠燈這類小物體檢測難度大,通行空間的邊界點要求高。

責(zé)任編輯:lq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2565

    文章

    52995

    瀏覽量

    767368
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4814

    瀏覽量

    103600
  • 自動駕駛
    +關(guān)注

    關(guān)注

    789

    文章

    14318

    瀏覽量

    170618

原文標(biāo)題:自動駕駛的視覺感知包括哪些內(nèi)容?

文章出處:【微信號:vision263com,微信公眾號:新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    SONY FCB-CR8530,如何重塑自動駕駛視覺感知格局?

    自動駕駛技術(shù)快速發(fā)展的當(dāng)下,車輛對周圍環(huán)境的精準(zhǔn)感知是確保安全與高效運(yùn)行的關(guān)鍵。凱茉銳電子SONY FCB-CR8530攝像機(jī)憑借其卓越性能,正逐漸成為自動駕駛領(lǐng)域視覺
    的頭像 發(fā)表于 06-25 17:54 ?178次閱讀

    視覺自動駕駛會有哪些安全問題?

    強(qiáng)調(diào)視覺系統(tǒng)的先進(jìn)性。純視覺自動駕駛是指在車輛自動駕駛系統(tǒng)中僅依賴攝像頭而不使用激光雷達(dá)或毫米波雷達(dá)等主動傳感器。特斯拉率先倡導(dǎo)這一路線,宣稱模擬人類
    的頭像 發(fā)表于 06-16 09:56 ?231次閱讀
    純<b class='flag-5'>視覺</b>的<b class='flag-5'>自動駕駛</b>會有哪些安全問題?

    視覺自動駕駛如何理解路邊畫報上的人?

    行業(yè)來說,其實是一個值得深思的問題。隨著自動駕駛技術(shù)下沉到消費(fèi)市場,基于純視覺自動駕駛系統(tǒng)就是依托于車載攝像頭來識別路況,如果遇到了類似海報上的人,尤其是遇到了與真人大小類似的人物海
    的頭像 發(fā)表于 05-19 09:16 ?214次閱讀

    新能源車軟件單元測試深度解析:自動駕駛系統(tǒng)視角

    。 ?自動駕駛軟件的特殊性? ? 感知層: ?激光雷達(dá)、攝像頭等傳感器數(shù)據(jù)處理算法的單元測試需覆蓋極端場景。例如,激光雷達(dá)點云濾波算法在雨雪天氣下的噪聲抑制能力需通過邊界測試驗證。某廠商曾在測試中遺漏
    發(fā)表于 05-12 15:59

    2024年自動駕駛行業(yè)熱點技術(shù)盤點

    感知輕地圖以及純視覺等。這些技術(shù)的出現(xiàn),也代表著自動駕駛正從概念走向現(xiàn)實,今天就給大家來盤點2024年自動駕駛行業(yè)出現(xiàn)的那些技術(shù)熱點! ?
    的頭像 發(fā)表于 01-14 10:48 ?614次閱讀

    馬斯克重申:純視覺自動駕駛的未來

    近日,特斯拉始終堅持其獨(dú)特的純視覺感知系統(tǒng)。這一系統(tǒng)摒棄了傳統(tǒng)的毫米波雷達(dá),完全依賴于攝像頭與先進(jìn)的人工神經(jīng)網(wǎng)絡(luò),以實現(xiàn)自動駕駛的功能。 特斯拉CEO埃隆·馬斯克近期再次就自動駕駛技術(shù)
    的頭像 發(fā)表于 12-04 14:09 ?839次閱讀

    標(biāo)貝科技:自動駕駛中的數(shù)據(jù)標(biāo)注類別分享

    自動駕駛訓(xùn)練模型的成熟和穩(wěn)定離不開感知技術(shù)的成熟和穩(wěn)定,訓(xùn)練自動駕駛感知模型需要使用大量準(zhǔn)確真實的數(shù)據(jù)。據(jù)英特爾計算,L3+級自動駕駛每輛汽
    的頭像 發(fā)表于 11-22 15:07 ?2007次閱讀
    標(biāo)貝科技:<b class='flag-5'>自動駕駛</b>中的數(shù)據(jù)標(biāo)注類別分享

    標(biāo)貝科技:自動駕駛中的數(shù)據(jù)標(biāo)注類別分享

    自動駕駛訓(xùn)練模型的成熟和穩(wěn)定離不開感知技術(shù)的成熟和穩(wěn)定,訓(xùn)練自動駕駛感知模型需要使用大量準(zhǔn)確真實的數(shù)據(jù)。據(jù)英特爾計算,L3+級自動駕駛每輛汽
    的頭像 發(fā)表于 11-22 14:58 ?3776次閱讀
    標(biāo)貝科技:<b class='flag-5'>自動駕駛</b>中的數(shù)據(jù)標(biāo)注類別分享

    自動駕駛HiL測試方案介紹#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發(fā)布于 :2024年10月12日 18:02:07

    激光雷達(dá)與純視覺方案,哪個才是自動駕駛最優(yōu)選?

    主要分為兩大類:激光雷達(dá)與視覺感知。激光雷達(dá)因其能夠提供精確的距離和形狀信息,在自動駕駛技術(shù)早期的開發(fā)中被廣泛應(yīng)用。然而,隨著計算機(jī)視覺技術(shù)的飛速進(jìn)步,基于攝像頭的純
    的頭像 發(fā)表于 09-29 10:47 ?1158次閱讀

    聊聊自動駕駛離不開的感知硬件

    自動駕駛飛速發(fā)展,繞不開感知、決策和控制決策的經(jīng)典框架,而感知作為自動駕駛汽車“感官”的重要組成部分,決定了自動駕駛系統(tǒng)對環(huán)境的理解和反應(yīng)能
    的頭像 發(fā)表于 08-23 10:18 ?1154次閱讀

    FPGA在自動駕駛領(lǐng)域有哪些優(yōu)勢?

    FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)在自動駕駛領(lǐng)域具有顯著的優(yōu)勢,這些優(yōu)勢使得FPGA成為自動駕駛技術(shù)中不可或缺的一部分。以下是FPGA在自動駕駛
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領(lǐng)域有哪些應(yīng)用?

    是FPGA在自動駕駛領(lǐng)域的主要應(yīng)用: 一、感知算法加速 圖像處理:自動駕駛中需要通過攝像頭獲取并識別道路信息和行駛環(huán)境,這涉及到大量的圖像處理任務(wù)。FPGA在處理圖像上的運(yùn)算速度快,可并行性強(qiáng),且功耗
    發(fā)表于 07-29 17:09

    自動駕駛識別技術(shù)有哪些

    自動駕駛的識別技術(shù)是自動駕駛系統(tǒng)中的重要組成部分,它使車輛能夠感知并理解周圍環(huán)境,從而做出智能決策。自動駕駛識別技術(shù)主要包括多種傳感器及其融合技術(shù),以及基于這些傳感器數(shù)據(jù)的處理和識別算
    的頭像 發(fā)表于 07-23 16:16 ?1493次閱讀

    自動駕駛的傳感器技術(shù)介紹

    自動駕駛的傳感器技術(shù)是自動駕駛系統(tǒng)的核心組成部分,它使車輛能夠感知并理解周圍環(huán)境,從而做出智能決策。以下是對自動駕駛傳感器技術(shù)的詳細(xì)介紹,內(nèi)
    的頭像 發(fā)表于 07-23 16:08 ?3229次閱讀