一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何在復(fù)雜天氣環(huán)境下進(jìn)行視覺自主導(dǎo)航

新機(jī)器視覺 ? 來源:CPNT Lab ? 作者:CPNT Lab ? 2022-12-01 10:13 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

01、背景

作為計(jì)算機(jī)視覺中的一項(xiàng)基礎(chǔ)任務(wù),目標(biāo)檢測受到了廣泛的關(guān)注。在惡劣的天氣下,尤其是在霧天環(huán)境下,大氣中存在很多渾濁介質(zhì)(如顆粒、水滴等),傳統(tǒng)相機(jī)可見光難以穿透顆粒介質(zhì),因此惡劣天氣下的數(shù)據(jù)非常罕見,現(xiàn)有的檢測架構(gòu)依賴于未失真的傳感器流,而惡劣天氣下傳感器會產(chǎn)生非對稱的失真,使得戶外場景圖像出現(xiàn)退化和降質(zhì),清晰度低和對比度低,細(xì)節(jié)特征模糊不清等特點(diǎn),對于在高質(zhì)量圖像下訓(xùn)練的目標(biāo)檢測模型,往往無法準(zhǔn)確的定位目標(biāo),是當(dāng)前目標(biāo)檢測任務(wù)中的一大挑戰(zhàn),同時(shí)也是當(dāng)前如何在復(fù)雜天氣環(huán)境下進(jìn)行視覺自主導(dǎo)航的一大挑戰(zhàn)。為解決這個(gè)問題,Bijelic提出了一個(gè)新的多模式數(shù)據(jù)集,該數(shù)據(jù)集是在北歐10,000 多公里的行駛中獲得的。此數(shù)據(jù)集是惡劣天氣下的第一個(gè)大型的多模式數(shù)據(jù)集,且具有10 萬個(gè)激光雷達(dá)、相機(jī)、雷達(dá)和門控NIR傳感器的標(biāo)簽。同時(shí)Bijelic提出了一種深層融合網(wǎng)絡(luò),可進(jìn)行穩(wěn)健的融合,而無需涵蓋所有非對稱失真的大量標(biāo)記訓(xùn)練數(shù)據(jù)。從提議級融合出發(fā),提出了一種由測量熵驅(qū)動的自適應(yīng)融合特征的單鏡頭模型。

02、數(shù)據(jù)集介紹

bc73c788-70b6-11ed-8abf-dac502259ad0.png

為了評估惡劣天氣中的目標(biāo)檢測,Bijelic進(jìn)行了實(shí)地測試,構(gòu)建了一個(gè)大型的汽車數(shù)據(jù)集,該數(shù)據(jù)集提供了用于多模式數(shù)據(jù)的2D 和3D 檢測邊界框,并對罕見惡劣天氣情況下的天氣,光照和場景類型進(jìn)行了精細(xì)分類。表中比較了提出的數(shù)據(jù)集和最近的大規(guī)模汽車數(shù)據(jù)集,例如Waymo,NuScenes,KITTI和BDD數(shù)據(jù)集。與NuScenes和BDD相比,該數(shù)據(jù)集不僅包含在晴朗天氣條件下的實(shí)驗(yàn)數(shù)據(jù),還包含在大雪,雨天和霧中的實(shí)驗(yàn)數(shù)據(jù)。

bcaef7a4-70b6-11ed-8abf-dac502259ad0.png

所有實(shí)驗(yàn)數(shù)據(jù)分別在德國,瑞典,丹麥和芬蘭獲得,在不同的天氣和光照條件下覆蓋了10,000km 的距離。以10Hz 的幀速率共收集了140 萬幀。每第100 幀都經(jīng)過手動標(biāo)記,以平衡場景類型的覆蓋范圍。生成的注釋包含5500個(gè)晴天,1000個(gè)濃霧,1 000個(gè)薄霧,4000個(gè)雪/雨。本數(shù)據(jù)集具體包含文件如下圖所示。

bcf98260-70b6-11ed-8abf-dac502259ad0.png

對于該數(shù)據(jù)集的使用,目前由于作者還未開源融合網(wǎng)絡(luò),暫時(shí)只能使用源數(shù)據(jù),但是也算為后續(xù)惡劣天氣下的多傳感器融合3D目標(biāo)檢測提供了真實(shí)環(huán)境下的數(shù)據(jù)集。若僅針對于純圖像2D目標(biāo)檢測或3D檢測來說,該數(shù)據(jù)集中可用于驗(yàn)證作用,或者以混合數(shù)據(jù)形式作為訓(xùn)練集,但是僅使用該數(shù)據(jù)集做為驗(yàn)證和訓(xùn)練可能不足以支撐網(wǎng)絡(luò)學(xué)習(xí)。正如下圖數(shù)據(jù)集具體標(biāo)簽所示,其標(biāo)簽主要包括五類,藍(lán)色為注釋標(biāo)簽,紅色為該標(biāo)簽所包括的類別。注意若使用該數(shù)據(jù)集為訓(xùn)練集,其他數(shù)據(jù)集為驗(yàn)證集要重新歸一標(biāo)簽,與其他數(shù)據(jù)集標(biāo)簽重合度較低,重新清洗數(shù)據(jù)也是使用該數(shù)據(jù)集的一個(gè)難點(diǎn)。

bd238722-70b6-11ed-8abf-dac502259ad0.png

03、自適應(yīng)多模式單次融合

1、網(wǎng)絡(luò)架構(gòu)

數(shù)據(jù)表示。相機(jī)分支使用常規(guī)的三平面RGB 輸入,而對于激光雷達(dá)和雷達(dá)分支,本文的方法與最近的鳥瞰(BeV)投影方案或原始點(diǎn)云表示不同。BeV 投影或點(diǎn)云輸入不允許進(jìn)行深度的早期融合,因?yàn)樵缙趫D層中的特征表示與相機(jī)特征天生不同。因此,現(xiàn)有的BeV 融合方法只能在建議匹配區(qū)域之后進(jìn)行提升空間中的特征融合,而不能提前。圖中可視化了本文提出的輸入數(shù)據(jù)編碼,該編碼有助于進(jìn)行深度多模態(tài)融合。深度,高度和脈沖強(qiáng)度作為激光雷達(dá)網(wǎng)絡(luò)的輸入,而不是僅使用樸素的深度輸入編碼。對于雷達(dá)網(wǎng)絡(luò),假設(shè)雷達(dá)在與圖像平面正交和與水平圖像尺寸平行的2D 平面中進(jìn)行掃描。因此,考慮沿垂直圖像軸雷達(dá)的不變性,并沿垂直軸復(fù)制掃描。使用單應(yīng)性映射將門控圖像轉(zhuǎn)換為RGB 相機(jī)的圖像平面。本文所提出的輸入編碼使用不同流之間的逐像素對應(yīng),可以實(shí)現(xiàn)與位置和強(qiáng)度相關(guān)的融合,用零值來編碼缺失的測量樣本。

特征提取。作為每個(gè)流中的特征提取堆棧,本文使用了改進(jìn)的VGG主干。將通道數(shù)量減少一半,并在conv4 層上切斷網(wǎng)絡(luò),使用conv4-10中的六個(gè)要素層作為SSD 檢測層的輸入。特征圖隨尺寸減小,實(shí)現(xiàn)了一個(gè)用于不同比例檢測的特征金字塔。如結(jié)構(gòu)圖所示,不同特征提取堆棧的激活進(jìn)行了交換。為了使融合更加可靠,為每個(gè)特征交換塊提供了傳感器熵。首先對熵進(jìn)行卷積,應(yīng)用Sigmoid與來自所有傳感器的級聯(lián)輸入特征相乘,最后級聯(lián)輸入熵。熵的折疊和Sigmoid的應(yīng)用在區(qū)間[0,1] 中生成一個(gè)乘法矩陣,這可以根據(jù)可用信息分別縮放每個(gè)傳感器的級聯(lián)特征。具有低熵的區(qū)域可以被衰減,而富熵的區(qū)域可以在特征提取中被放大。這樣能夠在特征提取堆棧中實(shí)現(xiàn)自適應(yīng)融合特征

bd53c4b4-70b6-11ed-8abf-dac502259ad0.png

2、實(shí)驗(yàn)

在惡劣天氣的實(shí)驗(yàn)測試數(shù)據(jù)上驗(yàn)證所提出的融合模型。將這種方法與現(xiàn)有的單傳感器輸入和融合的檢測器,以及域自適應(yīng)方法進(jìn)行比較。由于訓(xùn)練數(shù)據(jù)獲取存在天氣偏向,僅使用提出的數(shù)據(jù)集的晴朗天氣部分進(jìn)行訓(xùn)練,使用Bijelic提出新的多模式天氣數(shù)據(jù)集作為測試集來評估檢測性能。結(jié)果如圖所示。

bd7d9640-70b6-11ed-8abf-dac502259ad0.png

總體而言,由圖中可看到隨著霧密度的增加,特別是在嚴(yán)重失真的情況下,該文所提出的自適應(yīng)融合模型的性能優(yōu)于所有其他方法,與次佳的特征融合變體相比,它提高了9.69%的幅度。但是在有霧條件下,激光雷達(dá)的性能也同樣具有很大的局限性,在僅激光雷達(dá)情況下的檢測率,AP下降了45.38%。此外,它還對相機(jī)-激光雷達(dá)融合模型AVOD,Concat SSD 和Fusion SSD產(chǎn)生了重大影響。它使得學(xué)習(xí)到的冗余不再成立,這些方法甚至低于僅使用圖像的方法。

04、結(jié)論

所提出的數(shù)據(jù)集解決了自動駕駛中的一個(gè)關(guān)鍵問題:場景中的多傳感器融合和其中注釋數(shù)據(jù)稀少且由于自然的天氣偏向而難以獲取的圖像數(shù)據(jù)。為后續(xù)的研究者引入了一個(gè)新穎的惡劣天氣數(shù)據(jù)集,涵蓋了不同天氣情況下的相機(jī)、激光雷達(dá)、雷達(dá)、門控NIR 和FIR 傳感器數(shù)據(jù)。同時(shí)提出的一個(gè)實(shí)時(shí)的深度多模態(tài)融合網(wǎng)絡(luò)不同于提案層的融合,而是由測量熵驅(qū)動自適應(yīng)融合。

該方法一定程度上改進(jìn)惡劣天氣條件下智能自主駕駛車輛在戶外環(huán)境下進(jìn)行精確的視覺感知能力,同時(shí)也能為后續(xù)視覺導(dǎo)航在復(fù)雜天氣環(huán)境下進(jìn)行精確建圖提供高精度的目標(biāo)定位。

雖然該數(shù)據(jù)集提出一定程度上填補(bǔ)了多模態(tài)數(shù)據(jù)集的缺失,但是由于自然偏向的問題,惡劣天氣采集到的圖像還是較少,仍然不適用于網(wǎng)絡(luò)的訓(xùn)練,如何解決惡劣天氣條件下數(shù)據(jù)集稀少或者降低深度學(xué)習(xí)網(wǎng)絡(luò)對于數(shù)據(jù)樣本的依賴性仍亟待改進(jìn)。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2566

    文章

    53008

    瀏覽量

    767563
  • 計(jì)算機(jī)
    +關(guān)注

    關(guān)注

    19

    文章

    7663

    瀏覽量

    90825
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1224

    瀏覽量

    25453

原文標(biāo)題:基于多模態(tài)自適應(yīng)熵驅(qū)動融合的惡劣天氣自動駕駛視覺感知技術(shù)研究

文章出處:【微信號:vision263com,微信公眾號:新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    智能軟件+硬件解決方案克服實(shí)時(shí)立體視覺中的挑戰(zhàn)

    現(xiàn)出色,特別適用于工業(yè)機(jī)器人應(yīng)用。從料箱撿取到自主導(dǎo)航,立體視覺使得各種機(jī)器人應(yīng)用成為可能。然而,在實(shí)時(shí)應(yīng)用場景中部署立體視覺系統(tǒng)時(shí),常常面臨以下幾個(gè)挑戰(zhàn):圖像處理
    的頭像 發(fā)表于 05-16 17:04 ?215次閱讀
    智能軟件+硬件解決方案克服實(shí)時(shí)立體<b class='flag-5'>視覺</b>中的挑戰(zhàn)

    【「# ROS 2智能機(jī)器人開發(fā)實(shí)踐」閱讀體驗(yàn)】視覺實(shí)現(xiàn)的基礎(chǔ)算法的應(yīng)用

    閱讀心得體會:ROS2機(jī)器人視覺與地圖構(gòu)建技術(shù) 通過對本書第7章(ROS2視覺應(yīng)用)和第8章(ROS2地圖構(gòu)建)的學(xué)習(xí),我對機(jī)器人視覺感知和自主導(dǎo)航的核心技術(shù)有了更深入的理解。以下是我
    發(fā)表于 05-03 19:41

    【「# ROS 2智能機(jī)器人開發(fā)實(shí)踐」閱讀體驗(yàn)】+ROS2應(yīng)用案例

    這一部分內(nèi)容,我掌握了如何在ROS 2中實(shí)現(xiàn)SLAM,這對于提高機(jī)器人的自主導(dǎo)航能力具有重要意義。 其他內(nèi)容概述 除了二維碼識別和SLAM技術(shù),書中還介紹了其他視覺應(yīng)用和地圖構(gòu)建的內(nèi)容,如
    發(fā)表于 04-27 11:42

    【「# ROS 2智能機(jī)器人開發(fā)實(shí)踐」閱讀體驗(yàn)】+內(nèi)容初識

    、Gazebo仿真(含RGBD相機(jī)/激光雷達(dá)仿真)、實(shí)物機(jī)器人運(yùn)動控制,實(shí)現(xiàn)\"仿真→實(shí)物\"的無縫銜接 高階應(yīng)用篇(7-9章) 聚焦視覺SLAM、自主導(dǎo)航等前沿場景,提供完整項(xiàng)目鏈路(如
    發(fā)表于 04-27 11:24

    智慧路燈如何應(yīng)對極端天氣

    引言 在氣候變化的大背景,極端天氣愈發(fā)頻繁,如狂風(fēng)暴雨、高溫酷暑、暴雪嚴(yán)寒等。這些極端天氣對城市基礎(chǔ)設(shè)施構(gòu)成嚴(yán)峻挑戰(zhàn),叁仟智慧路燈作為智慧城市建設(shè)的關(guān)鍵一環(huán)也不例外。叁仟智慧路燈不僅要在正常
    的頭像 發(fā)表于 03-19 17:20 ?341次閱讀

    DLP6500想調(diào)用API進(jìn)行自主二次開發(fā),怎么構(gòu)建開發(fā)環(huán)境?

    請問一,我購置了DLP6500型號產(chǎn)品,想利用該產(chǎn)品進(jìn)行開發(fā),實(shí)現(xiàn)高速投影的功能。 但是我現(xiàn)在只找到了GUI界面,請問一,如果我想調(diào)用API進(jìn)行
    發(fā)表于 03-03 07:03

    何在惡劣環(huán)境選擇和應(yīng)用雷達(dá)傳感器

    作者:Kenton Williston 投稿人:DigiKey 北美編輯 在戶外和工業(yè)應(yīng)用以及其他惡劣環(huán)境中,超聲波傳感器等遙感技術(shù)可能會受到干擾。惡劣天氣、灰塵、碎屑和復(fù)雜的感測環(huán)境
    的頭像 發(fā)表于 01-26 22:00 ?665次閱讀
    如<b class='flag-5'>何在</b>惡劣<b class='flag-5'>環(huán)境</b><b class='flag-5'>下</b>選擇和應(yīng)用雷達(dá)傳感器

    機(jī)器人“大腦+小腦”范式:算力魔方賦能智能自主導(dǎo)航

    和實(shí)時(shí)調(diào)整。 這種分工明確的架構(gòu)不僅提高了機(jī)器人的自主性和適應(yīng)性,還為機(jī)器人在復(fù)雜環(huán)境中的應(yīng)用提供了更多可能。 一, 算力魔方 ? : 機(jī) 器人“大腦”的強(qiáng)大算力支撐 在“大腦+小腦”的架構(gòu)中,“大腦”的重要性不言而喻。
    的頭像 發(fā)表于 01-20 13:35 ?568次閱讀

    NaVILA:加州大學(xué)與英偉達(dá)聯(lián)合發(fā)布新型視覺語言模型

    日前,加州大學(xué)的研究人員攜手英偉達(dá),共同推出了一款創(chuàng)新的視覺語言模型——NaVILA。該模型在機(jī)器人導(dǎo)航領(lǐng)域展現(xiàn)出了獨(dú)特的應(yīng)用潛力,為智能機(jī)器人的自主導(dǎo)航提供了一種全新的解決方案。 視覺
    的頭像 發(fā)表于 12-13 10:51 ?686次閱讀

    Xsens Sirius-在嚴(yán)苛環(huán)境進(jìn)行3D慣性導(dǎo)航

    海洋深度還是部署海底基礎(chǔ)設(shè)施,依靠Xsens在水下世界的深處獲得最佳可靠性和導(dǎo)航精度。自主式水下機(jī)器人(AUV)在油氣鉆探和開采、海洋勘測和水生環(huán)境監(jiān)測等領(lǐng)域發(fā)揮
    的頭像 發(fā)表于 11-23 01:09 ?519次閱讀
    Xsens Sirius-在嚴(yán)苛<b class='flag-5'>環(huán)境</b>中<b class='flag-5'>進(jìn)行</b>3D慣性<b class='flag-5'>導(dǎo)航</b>

    復(fù)雜環(huán)境多無人智能車輛協(xié)同調(diào)控

    摘要: 該文對多無人智能車以領(lǐng)航-跟隨法在復(fù)雜環(huán)境運(yùn)動的編隊(duì)控制問題進(jìn)行了探討,通過采用閉環(huán)控制律設(shè)計(jì)了一種編隊(duì)控制器和編隊(duì)控制方案,該編隊(duì)控制器的優(yōu)點(diǎn)在于其主要考慮智能車之間的距離
    的頭像 發(fā)表于 11-16 10:12 ?1334次閱讀
    <b class='flag-5'>復(fù)雜</b><b class='flag-5'>環(huán)境</b><b class='flag-5'>下</b>多無人智能車輛協(xié)同調(diào)控

    Bumblebee X 立體相機(jī)提升工業(yè)自動化中的立體深度感知

    深度感知對倉庫機(jī)器人應(yīng)用至關(guān)重要,尤其是在自主導(dǎo)航、物品拾取與放置、庫存管理等方面。通過將深度感知與各種類型的3D數(shù)據(jù)(如體積數(shù)據(jù)、點(diǎn)云、紋理等)相結(jié)合,倉庫機(jī)器人可以在錯(cuò)綜復(fù)雜環(huán)境中實(shí)現(xiàn)自主
    的頭像 發(fā)表于 11-09 01:09 ?865次閱讀
    Bumblebee X 立體相機(jī)提升工業(yè)自動化中的立體深度感知

    agv叉車激光導(dǎo)航和二維碼導(dǎo)航有什么區(qū)別?適用什么場景?選哪種比較好?

    無人叉車激光導(dǎo)航和二維碼導(dǎo)航在多個(gè)方面存在顯著差異,以下是它們的主要區(qū)別: 一、原理不同 激光導(dǎo)航:利用激光雷達(dá)掃描地面環(huán)境,實(shí)時(shí)獲取機(jī)器人當(dāng)前位置和周圍
    的頭像 發(fā)表于 10-15 17:45 ?922次閱讀
    agv叉車激光<b class='flag-5'>導(dǎo)航</b>和二維碼<b class='flag-5'>導(dǎo)航</b>有什么區(qū)別?適用什么場景?選哪種比較好?

    SLAM:機(jī)器人如何在未知地形環(huán)境進(jìn)行導(dǎo)航

    的傳統(tǒng)導(dǎo)航方法需要預(yù)先準(zhǔn)備好的地圖,但在未知地區(qū),如果不穿越該區(qū)域,就不可能獲得這樣的地圖。這是機(jī)器人技術(shù)領(lǐng)域的一個(gè)典型難題,通常被稱為“雞和蛋”的問題。機(jī)器人如何在沒有地圖的情況下在未知環(huán)境
    的頭像 發(fā)表于 10-02 16:37 ?1528次閱讀

    一種完全分布式的點(diǎn)線協(xié)同視覺慣性導(dǎo)航系統(tǒng)

    在本文中,我們提出了一種完全分布式的點(diǎn)線協(xié)同視覺慣性導(dǎo)航系統(tǒng)。我們通過蒙特卡羅模擬和真實(shí)環(huán)境數(shù)據(jù)集,在稠密特征或稀疏特征環(huán)境將所提出的算法
    的頭像 發(fā)表于 09-30 14:45 ?901次閱讀
    一種完全分布式的點(diǎn)線協(xié)同<b class='flag-5'>視覺</b>慣性<b class='flag-5'>導(dǎo)航</b>系統(tǒng)