一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

從3D車道線到局部地圖,BEV視角求解「路在何方」| Nullmax進(jìn)化學(xué)

Nullmax紐勱 ? 來(lái)源:Nullmax紐勱 ? 2023-02-17 09:39 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在發(fā)達(dá)的現(xiàn)代公路交通體系中,「各行其道」是交通運(yùn)行的一項(xiàng)核心前提,車輛和行人按照劃分的道路區(qū)域規(guī)范通行,可以最大程度地保障交通的安全和效率。因此對(duì)自動(dòng)駕駛來(lái)說(shuō),從環(huán)境信息中求解出自己的道路區(qū)域是至關(guān)重要的感知任務(wù)。

在這方面,Nullmax曾分享過(guò)一些出色的研究,包括用于3D車道線檢測(cè)的CurveFormer,近日入選了國(guó)際機(jī)器人和自動(dòng)化頂級(jí)會(huì)議ICRA 2023,以及可用于局部地圖構(gòu)建的BevSegFormer,入選了計(jì)算機(jī)視覺(jué)領(lǐng)域知名會(huì)議WACV 2023。

這兩篇論文均是在BEV視角下,基于Transformer對(duì)自動(dòng)駕駛的「路在何方」問(wèn)題進(jìn)行了求解,不僅取得了極其出色的算法性能,還高效解決了實(shí)際量產(chǎn)應(yīng)用中的一些難點(diǎn)、痛點(diǎn),比如:更進(jìn)一步的車道檢測(cè)效果,更滿足下游需求的任務(wù)輸出;通過(guò)車端實(shí)時(shí)構(gòu)建局部地圖,將駕駛場(chǎng)景擴(kuò)展至任意道路。

作為BEV + Transformer技術(shù)架構(gòu)的部分研究,這些技術(shù)正與更多的拓展工作,一同應(yīng)用到Nullmax的多個(gè)量產(chǎn)項(xiàng)目中。

BEV感知與車道線檢測(cè)

在自動(dòng)駕駛感知中,實(shí)時(shí)檢測(cè)環(huán)境中的車道情況,乃至構(gòu)建一份要素更多的局部地圖,可以視為理解靜態(tài)場(chǎng)景的核心工作。有了車道信息,車輛便可以在車道內(nèi)和車道間進(jìn)行一系列操作,如巡航、跟車、變道等,從而實(shí)現(xiàn)連貫的智能駕駛。

當(dāng)中,感知系統(tǒng)需要提供自車坐標(biāo)系下的車道線參數(shù)曲線,以便于下游的規(guī)控模塊使用。因此一些比較領(lǐng)先的行業(yè)方案,是將車道線檢測(cè)的輸出設(shè)計(jì)為BEV視角下的2D或3D車道線參數(shù)曲線。

BEV的原意是鳥(niǎo)瞰圖視角,這種俯瞰全局的表征方式可以更好地融合不同傳感器輸入的數(shù)據(jù)信息,在空間、時(shí)間維度進(jìn)行統(tǒng)一的計(jì)算。其中,BEV視角一般可以設(shè)為相機(jī)坐標(biāo)系,通過(guò)車輛下線的標(biāo)定與自車坐標(biāo)系進(jìn)行便捷的轉(zhuǎn)換,所以BEV視角的車道線結(jié)果下游可以直接使用。

但是在行業(yè)內(nèi),更常見(jiàn)的是另一種方式:先在相機(jī)輸入的圖像上進(jìn)行感知計(jì)算,然后再經(jīng)過(guò)復(fù)雜的后處理將圖像空間的結(jié)果轉(zhuǎn)換到BEV視角下的3D空間。

2db18b48-ae5f-11ed-bfe3-dac502259ad0.png

當(dāng)中的不足在于,這個(gè)后處理的過(guò)程需要工程師編寫(xiě)大量代碼,同時(shí)也會(huì)消耗大量計(jì)算資源。而且面對(duì)千變?nèi)f化的真實(shí)世界,這種基于人工規(guī)則的后處理方式,也很難在各種情況下都獲得滿意的效果。

因此,包括車道線檢測(cè)在內(nèi)的很多感知任務(wù),將后處理部分設(shè)計(jì)為基于學(xué)習(xí)的模塊,讓整個(gè)算法以學(xué)習(xí)為主,這樣的話就可以重新定義任務(wù),甚至重構(gòu)整個(gè)自動(dòng)駕駛系統(tǒng)。

比如車道線檢測(cè)的任務(wù),就可以直接定義為:輸入圖像,輸出BEV視角的車道線參數(shù)曲線。

面向量產(chǎn)的3D車道線算法

在去年,Nullmax提出了基于Transformer的3D車道線檢測(cè)方法CurveFormer,取得了業(yè)界最佳(SOTA)的算法效果,論文在今年被國(guó)際機(jī)器人領(lǐng)域頂會(huì)ICRA錄用。

論文鏈接:https://arxiv.org/abs/2209.07989v1

這項(xiàng)算法可以直接輸出BEV視角的3D車道線參數(shù)曲線,而不是在圖像空間進(jìn)行輸出。當(dāng)中的技術(shù)亮點(diǎn)在于,無(wú)需顯式構(gòu)建BEV空間,直接從圖像特征求解BEV視角的3D車道線參數(shù)曲線,將計(jì)算量大大減少。

一般基于CNN和其他Transformer的方法,需要先構(gòu)建稠密的BEV空間(比如100*100大小的BEV grid)生成BEV特征圖,然后以此為基礎(chǔ)完成感知任務(wù)的輸出。

2dfb36a8-ae5f-11ed-bfe3-dac502259ad0.png

但在現(xiàn)實(shí)世界,很多感知對(duì)象稀疏分布在環(huán)境當(dāng)中。比如障礙物檢測(cè)時(shí),視野范圍內(nèi)的目標(biāo)通常只有幾個(gè);車道線檢測(cè)時(shí),視野范圍內(nèi)的車道線也只有幾根。這些感知對(duì)象的數(shù)量,遠(yuǎn)遠(yuǎn)小于BEV網(wǎng)格的數(shù)量,顯式構(gòu)建稠密BEV空間的做法不夠高效,產(chǎn)生大量多余計(jì)算。

Nullmax借鑒目標(biāo)檢測(cè)方面的一些思路,將車道線描述為稀疏的曲線query,利用deformable attention機(jī)制構(gòu)建符合車道線檢測(cè)的curve cross attention,完成BEV空間query和圖像特征之間的關(guān)聯(lián),并通過(guò)迭代更新的方式輸出3D車道線參數(shù),大大減少了整個(gè)過(guò)程的計(jì)算量。

2e331d20-ae5f-11ed-bfe3-dac502259ad0.png

在合成數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上,CurveFormer與3D-LaneNet、Gen-LaneNet、PersFormer等優(yōu)秀算法進(jìn)行了對(duì)比,實(shí)驗(yàn)數(shù)據(jù)顯示CurveFormer擁有非常全面的優(yōu)異性能,優(yōu)于其他算法。

因此在量產(chǎn)應(yīng)用中,CurveFormer也呈現(xiàn)出了巨大的落地優(yōu)勢(shì),不僅任務(wù)效果出眾,可以滿足復(fù)雜城市道路等場(chǎng)景下的車道線檢測(cè)要求,而且計(jì)算需求不大,可以部署到算力較低的量產(chǎn)計(jì)算平臺(tái)之上。

局部地圖與全場(chǎng)景駕駛

對(duì)于自動(dòng)駕駛來(lái)說(shuō),車道線檢測(cè)只是「尋路問(wèn)道」的一種形態(tài),如果更進(jìn)一步,在車端實(shí)時(shí)構(gòu)建局部地圖,那么自動(dòng)駕駛在技術(shù)和應(yīng)用上還有更多發(fā)揮的空間。

比如,通過(guò)常規(guī)導(dǎo)航地圖+高精度局部地圖,將駕駛場(chǎng)景擴(kuò)展至任意常規(guī)道路,擺脫對(duì)高精地圖的依賴。車輛基于導(dǎo)航地圖進(jìn)行全局的道路規(guī)劃,然后通過(guò)局部地圖進(jìn)行具體軌跡的規(guī)劃,這樣在沒(méi)有高精地圖的情況下,自動(dòng)駕駛功能也能正常啟用,完成任意場(chǎng)景下A點(diǎn)到B點(diǎn)的行駛。

再比如,基于局部地圖打造端到端的整體方案,也就是一些地方所說(shuō)的單棧式方案。近年來(lái),學(xué)習(xí)為主的規(guī)劃算法成為新的趨勢(shì),在這種算法設(shè)計(jì)下,局部地圖相比于車道線是一種更為直接的輸出形式,感知、規(guī)劃更便于融為一個(gè)整體網(wǎng)絡(luò)。

正是如此,局部地圖成為了近年來(lái)備受關(guān)注的一個(gè)技術(shù)熱點(diǎn)。視覺(jué)信號(hào)蘊(yùn)含著尤為豐富的環(huán)境信息,包括大量的語(yǔ)義、幾何信息,因此視覺(jué)建圖的思路早已在眾包地圖、泊車地圖等方面進(jìn)行了驗(yàn)證或應(yīng)用。在這方面,最常用的方法是視覺(jué)SLAM(同步定位與地圖構(gòu)建)。

如今,隨著B(niǎo)EV感知快速發(fā)展,BEV視角的語(yǔ)義分割、道路環(huán)境理解也成為了在線視覺(jué)建圖的一個(gè)優(yōu)先選項(xiàng)。它的優(yōu)勢(shì)在于可以很好地融合多個(gè)視角相機(jī)的圖像,提取出豐富的環(huán)境信息,整體效果更加魯棒。同時(shí),BEV視角的語(yǔ)義分割也更方便和其他BEV視角的感知任務(wù)、規(guī)劃任務(wù)整合,形成端到端的整體方案,進(jìn)行全局的優(yōu)化。

局部地圖和其他地圖相比,不僅關(guān)注地圖信息的高精度,還尤為看重車端的實(shí)時(shí)性,因此這也對(duì)算法提出了很高的要求。

行業(yè)頂尖的BEV語(yǔ)義分割

為了更好地滿足自動(dòng)駕駛上下游的需求,打造面向全場(chǎng)景的自動(dòng)駕駛功能,Nullmax的感知團(tuán)隊(duì)在去年提出了面向任意相機(jī)配置(單個(gè)或多個(gè))的BEV語(yǔ)義分割算法BEVSegFormer。

這一基于Transformer的BEV語(yǔ)義分割方法,同樣也取得了當(dāng)下業(yè)界最優(yōu)(SOTA)的算法效果,論文入選計(jì)算機(jī)視覺(jué)學(xué)術(shù)會(huì)議WACV 2023。BEVSegFormer相比于HDMapNet等優(yōu)秀算法,性能提升超過(guò)了10個(gè)百分點(diǎn)。

論文鏈接:https://arxiv.org/abs/2203.04050

2e84b93c-ae5f-11ed-bfe3-dac502259ad0.png

BEVSegFormer同樣擴(kuò)展deformable attention形成multi-camera cross attention,完成BEV空間的query和圖像特征之間的關(guān)聯(lián),從而實(shí)現(xiàn)了不依賴相機(jī)參數(shù),另一方面也可以大大節(jié)約計(jì)算量。

在實(shí)際的行車過(guò)程中,顛簸、加速、制動(dòng)、上下坡等情況都可能引起相機(jī)外參的變化,精準(zhǔn)的實(shí)時(shí)相機(jī)外參估計(jì)相對(duì)困難,不依賴相機(jī)的參數(shù),可以讓算法在這些情況下更加穩(wěn)定,魯棒性更強(qiáng)。

特別是,BEVSegFormer不依賴相機(jī)參數(shù)就可以將圖像特征轉(zhuǎn)成BEV特征,基于得到的BEV特征,又可以擴(kuò)展出多個(gè)其他任務(wù),比如3D目標(biāo)檢測(cè),包括將不同時(shí)刻的BEV特征緩存下來(lái),進(jìn)行時(shí)序上的融合。并且基于這一創(chuàng)新點(diǎn),Nullmax感知團(tuán)隊(duì)已經(jīng)完成了多項(xiàng)擴(kuò)展研究。

目前,Nullmax正在將BEVSegFormer應(yīng)用到量產(chǎn)項(xiàng)目中,實(shí)時(shí)構(gòu)建稠密的高精度局部地圖,幫助客戶拓展功能范圍,從而實(shí)現(xiàn)任意常規(guī)道路上的智能駕駛。

結(jié)語(yǔ)

當(dāng)前,Nullmax正在完成一套車端實(shí)時(shí)運(yùn)行BEV + Transformer技術(shù)架構(gòu),同時(shí)支持感知、規(guī)劃任務(wù),并能在高、中、低算力平臺(tái)上完成落地的自動(dòng)駕駛整體方案。通過(guò)BEV感知完成3D車道線檢測(cè)和局部地圖構(gòu)建,正是當(dāng)中的一部分工作。

預(yù)計(jì)在2023年,Nullmax打造的這套多相機(jī)BEV-AI方案就將完成交付。通過(guò)這些先進(jìn)的技術(shù),Nullmax希望能夠?yàn)槠胀ㄓ脩籼峁O致安全、舒適高效的智能駕駛體驗(yàn)。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    213

    文章

    29697

    瀏覽量

    212598
  • 自動(dòng)化
    +關(guān)注

    關(guān)注

    29

    文章

    5776

    瀏覽量

    84711
  • 智能駕駛
    +關(guān)注

    關(guān)注

    4

    文章

    2805

    瀏覽量

    49906
  • 自動(dòng)駕駛
    +關(guān)注

    關(guān)注

    788

    文章

    14302

    瀏覽量

    170464
  • LLM
    LLM
    +關(guān)注

    關(guān)注

    1

    文章

    325

    瀏覽量

    817

原文標(biāo)題:從3D車道線到局部地圖,BEV視角求解「路在何方」| Nullmax進(jìn)化學(xué)

文章出處:【微信號(hào):Nullmax,微信公眾號(hào):Nullmax紐勱】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    TechWiz LCD 3D應(yīng)用:局部液晶配向

    我們所說(shuō)的局部摩擦是指給液晶盒中不同區(qū)域(可自定義區(qū)域)進(jìn)行不同的液晶配向,所以也可以稱之為局部掩膜、局部配向等。TechWiz LCD 2D和TechWiz LCD
    發(fā)表于 01-03 08:58

    TechWiz LCD 3D應(yīng)用:局部液晶配向

    我們所說(shuō)的局部摩擦是指給液晶盒中不同區(qū)域(可自定義區(qū)域)進(jìn)行不同的液晶配向,所以也可以稱之為局部掩膜、局部配向等。TechWiz LCD 2D和TechWiz LCD
    發(fā)表于 02-08 08:52

    TechWiz LCD 3D應(yīng)用:局部液晶配向

    我們所說(shuō)的局部摩擦是指給液晶盒中不同區(qū)域(可自定義區(qū)域)進(jìn)行不同的液晶配向,所以也可以稱之為局部掩膜、局部配向等。TechWiz LCD 2D和TechWiz LCD
    發(fā)表于 06-16 08:46

    敢問(wèn)路在何方?

    上個(gè)月還在本論壇的Labview板塊摸索,這個(gè)月接到通知搞可控硅,一個(gè)完全陌生的東西,哎!敢問(wèn)路在何方
    發(fā)表于 08-22 09:46

    OpenStack重組敢問(wèn)未來(lái)路在何方?

    OpenStack重組,敢問(wèn)未來(lái)路在何方
    發(fā)表于 05-14 06:12

    基于圖像的車道檢測(cè)

    基于圖像的車道檢測(cè),點(diǎn)擊上方“3D視覺(jué)工坊”,選擇“星標(biāo)”干貨第一時(shí)間送達(dá)文章導(dǎo)讀本文是一篇從零開(kāi)始做車道檢測(cè)Demo的教學(xué)式文章,
    發(fā)表于 07-20 06:24

    基于局部姿態(tài)先驗(yàn)的深度圖像3D人體運(yùn)動(dòng)捕獲方法

    提出一種基于局部姿態(tài)先驗(yàn)的深度圖像中實(shí)時(shí)在線捕獲3D人體運(yùn)動(dòng)的方法,關(guān)鍵思路是根據(jù)捕獲的深度圖像中自動(dòng)提取具有語(yǔ)義信息的虛擬稀疏3D標(biāo)記
    發(fā)表于 01-03 14:33 ?0次下載

    Cadence推出Clarity 3D場(chǎng)求解

    Clarity 3D 場(chǎng)求解器技術(shù)解決了設(shè)計(jì)5G通信、汽車/ADAS、高性能計(jì)算和物聯(lián)網(wǎng)應(yīng)用系統(tǒng)時(shí)最復(fù)雜的電磁(EM)挑戰(zhàn)。
    的頭像 發(fā)表于 06-07 13:59 ?4411次閱讀

    高精地圖3D柵格地圖的應(yīng)用

    什么是3D柵格地圖
    的頭像 發(fā)表于 07-24 10:58 ?8660次閱讀

    3d地圖智慧城市實(shí)景的運(yùn)用是怎樣的

    3d地圖在智慧城市實(shí)景三維電子地圖3D建模,也適合用于園區(qū)三維地圖、公路三維地圖、工業(yè)三維
    的頭像 發(fā)表于 05-22 17:54 ?2649次閱讀

    3D打印發(fā)光的登月地圖

    電子發(fā)燒友網(wǎng)站提供《3D打印發(fā)光的登月地圖.zip》資料免費(fèi)下載
    發(fā)表于 11-04 10:26 ?0次下載
    <b class='flag-5'>3D</b>打印發(fā)光的登月<b class='flag-5'>地圖</b>

    汽車電子的lidar檢測(cè)車道原理分析

    相機(jī)的光軸基本與地面平行,相機(jī)2D車道成像和BEV視圖可以視為在兩個(gè)不同的視角車道
    發(fā)表于 02-07 09:33 ?961次閱讀

    Nullmax揭秘BEV-AI技術(shù)架構(gòu)加速量產(chǎn)方案演進(jìn)

    12月19日,Nullmax首席科學(xué)家成二康博士應(yīng)邀出席2023全球自動(dòng)駕駛峰會(huì)(GADS 2023),在自動(dòng)駕駛BEV感知技術(shù)論壇上發(fā)表《BEV-AI技術(shù)架構(gòu) – 量產(chǎn)方案演進(jìn)》主題報(bào)告,透過(guò)
    的頭像 發(fā)表于 12-22 14:46 ?1572次閱讀

    頂刊TPAMI最全綜述!深入自動(dòng)駕駛BEV感知的魔力!

    間信息。在Task下,' ODet '用于3D目標(biāo)檢測(cè),' LDet '用于3D車道檢測(cè),' MapSeg '用于
    的頭像 發(fā)表于 01-14 09:53 ?1818次閱讀
    頂刊TPAMI最全綜述!深入自動(dòng)駕駛<b class='flag-5'>BEV</b>感知的魔力!

    Nullmax提出多相機(jī)3D目標(biāo)檢測(cè)新方法QAF2D

    今天上午,計(jì)算機(jī)視覺(jué)領(lǐng)域頂會(huì)CVPR公布了最終的論文接收結(jié)果,Nullmax感知部門的3D目標(biāo)檢測(cè)研究《Enhancing 3D Object Detection with 2D De
    的頭像 發(fā)表于 02-27 16:38 ?1532次閱讀
    <b class='flag-5'>Nullmax</b>提出多相機(jī)<b class='flag-5'>3D</b>目標(biāo)檢測(cè)新方法QAF2<b class='flag-5'>D</b>