2021研電賽已經(jīng)告一段落啦 ~

小編為大家整理了獲獎(jiǎng)作品集，在每周一為大家分享獲獎(jiǎng)作品，記得來(lái)看連載喲 ~

全國(guó)三等獎(jiǎng)作品：基于EAIDK310的視覺(jué)導(dǎo)航自動(dòng)駕駛小車

團(tuán)隊(duì)介紹

參賽單位：上海應(yīng)用技術(shù)大學(xué)

參賽隊(duì)伍：EAIDK666

指導(dǎo)老師：蔣文萍 丁肇紅

參賽隊(duì)員：溫曉靜 孫亦劼 杜為棟

獲獎(jiǎng)情況："ARM"企業(yè)專項(xiàng)全國(guó)一等獎(jiǎng)，全國(guó)總決賽三等獎(jiǎng)，上海賽區(qū)三等獎(jiǎng)

作品背景

汽車行業(yè)已經(jīng)進(jìn)入了一個(gè)顛覆性的革新時(shí)代，這個(gè)時(shí)代里面，智能化是一個(gè)必然的趨勢(shì)。相對(duì)傳統(tǒng)的人工駕駛，自動(dòng)駕駛在安全，便捷，效率上有著巨大的優(yōu)勢(shì)。目前，我國(guó)已有自動(dòng)駕駛汽車正在投入試用，于規(guī)定道路上取得一定成果。一方面自動(dòng)駕駛的發(fā)展趨勢(shì)方興未艾，自動(dòng)駕駛技術(shù)成為當(dāng)前的主流研究方向。另一方面，中國(guó)在芯片電子領(lǐng)域在國(guó)際上處于被打壓的形勢(shì)下，本著挑戰(zhàn)自我熟悉國(guó)產(chǎn)芯片的原則選擇了該ARM中國(guó)企業(yè)命題，該賽題由安謀中國(guó)和OPEN AI LAB聯(lián)合設(shè)計(jì)，該自動(dòng)駕駛賽題圍繞具體應(yīng)用場(chǎng)景，結(jié)合傳感器、算法和指定控制設(shè)備，以達(dá)到搭建完整應(yīng)用產(chǎn)品。

技術(shù)難點(diǎn)與創(chuàng)新點(diǎn)

技術(shù)難點(diǎn)

軟件移植：由于EAIDK310不像樹(shù)莓派那樣是一款比較大眾的開(kāi)發(fā)板，其網(wǎng)上資料有限，如何完成已經(jīng)在其他開(kāi)發(fā)板的功能即軟件移植是第一大難點(diǎn)。

性能調(diào)優(yōu)：EAIDK310板載芯片是瑞芯微的RK3228H，EAIDK310參數(shù)見(jiàn)官網(wǎng)。作為一款入門(mén)級(jí)嵌入式AI處理器想要實(shí)現(xiàn)基于圖像識(shí)別的自動(dòng)駕駛還是有很大的性能瓶頸，因此性能調(diào)優(yōu)是第二大難點(diǎn)

使用門(mén)檻：由于該命題為企業(yè)命題，而非開(kāi)放命題，沒(méi)有任何實(shí)現(xiàn)準(zhǔn)備工作或者傳承，面對(duì)一塊陌生的開(kāi)發(fā)板陌生的系統(tǒng)陌生的芯片，在有限的時(shí)間內(nèi)將其跑通完成賽題指定任務(wù)是一個(gè)很大的門(mén)檻。

創(chuàng)新點(diǎn)

硬件上采用了雙攝像頭架構(gòu)：一個(gè)是用于采集車身在道路上位置的俯視安裝的攝像頭，其前瞻大約兩倍車身長(zhǎng)度，一個(gè)是用于采集行人交通標(biāo)識(shí)等路況信息的平時(shí)安裝的微廣角攝像頭。雙攝像頭的架構(gòu)極大提高了圖像采集和處理的效率，降低了軟件分割處理圖像的壓力。

軟件架構(gòu)：由于EAIDK310平臺(tái)綜合各方面因素，摒棄使用業(yè)界常用的ROS作為解決方案，而是使用了一個(gè)輕量級(jí)的數(shù)據(jù)緩存庫(kù)Redis和DSDL來(lái)實(shí)現(xiàn)和ROS類似的功能，使得程序耦合性降低，以較低的成本實(shí)現(xiàn)了一種跨進(jìn)程跨節(jié)點(diǎn)跨語(yǔ)言且較高性能的架構(gòu)。

算法優(yōu)化上關(guān)于圖像識(shí)別部分采用了Tengine邊緣推理框架進(jìn)行了性能調(diào)優(yōu)加速，使整個(gè)系統(tǒng)的實(shí)時(shí)性得以提高。

實(shí)用價(jià)值

得益于該作品在硬件和軟件架構(gòu)上的創(chuàng)新，提出了一套成本低效率高的嵌入式視覺(jué)導(dǎo)航框架，使得研究該技術(shù)的硬件成本門(mén)檻降低，不僅僅在自動(dòng)駕駛，該作品提出的基于Redis的軟件方案在嵌入式系統(tǒng)中都是一個(gè)不錯(cuò)值得復(fù)制借鑒的框架。此外該作品最后實(shí)驗(yàn)結(jié)果驗(yàn)證了Tengine在嵌入式平臺(tái)上優(yōu)異的表現(xiàn)，為嵌入式系統(tǒng)運(yùn)行AI推理優(yōu)化加速調(diào)優(yōu)提供了思路。

系統(tǒng)設(shè)計(jì)

系統(tǒng)架構(gòu)圖

本設(shè)計(jì)整體的系統(tǒng)構(gòu)如圖所示，從下至上依次有硬件層，驅(qū)動(dòng)層，數(shù)據(jù)交互層，數(shù)據(jù)處理層，控制算法層和應(yīng)用層。

硬件層是本設(shè)計(jì)最直觀的物理體現(xiàn)形式，主要包括電機(jī)、舵機(jī)、轉(zhuǎn)速傳感器IMU傳感器按鍵蜂鳴器等。

驅(qū)動(dòng)層是與硬件直接進(jìn)行交互使其運(yùn)行起來(lái)的的最底層軟件，包括驅(qū)動(dòng)電機(jī)舵機(jī)的PWM，獲取轉(zhuǎn)速傳感器的輸入捕捉，驅(qū)動(dòng)IMU的IIC總線，以及用于人機(jī)，機(jī)機(jī)交互的GPIO和UART。

數(shù)據(jù)交互層是連接底層與上層的關(guān)鍵一層，它是對(duì)驅(qū)動(dòng)層從數(shù)據(jù)流的角度進(jìn)一步的抽象和封裝，為上層應(yīng)用對(duì)底層硬件的訪問(wèn)控制提供了統(tǒng)一的接口和權(quán)限的控制。

數(shù)據(jù)濾波層是數(shù)據(jù)經(jīng)過(guò)的第一層處理，主要提供了對(duì)數(shù)據(jù)最基礎(chǔ)的數(shù)學(xué)運(yùn)算變換以及數(shù)字信號(hào)處理手段?；诘讓犹峁┑脑紨?shù)據(jù)或者處理過(guò)的數(shù)據(jù)，控制算法層將這些數(shù)據(jù)帶入到實(shí)際模型中完成對(duì)模型的控制。

應(yīng)用層是最上層的邏輯處理層，在這一層實(shí)現(xiàn)了最具體的功能，例如讓小車循跡行駛、以及小車自主行駛策略控制等均在應(yīng)用層完成。下面對(duì)本架構(gòu)從硬件和軟件的角度展開(kāi)闡述。

硬件架構(gòu)圖

上圖為本設(shè)計(jì)的系統(tǒng)總體硬件框架圖，硬件系統(tǒng)采用主控制器加輔助控制器的架構(gòu)。主控制器即EAIDK310開(kāi)發(fā)板板載RK3228H處理器，輔助處理器為STM32F405處理器。主控制器負(fù)責(zé)攝像頭數(shù)據(jù)采集處理，以及主要控制算法執(zhí)行。輔助處理器是一個(gè)32位單片機(jī)，主要負(fù)責(zé)電機(jī)驅(qū)動(dòng)，速度轉(zhuǎn)向控制，以及車身姿態(tài)解算。

特別地，在主處理側(cè)采用的是雙攝像頭方案，如下圖(a)所示，其中攝像頭1是用于采集車身在道路上位置，其安裝于車身后方高度約15cm的位置，安裝角度12到15度，安裝高度和安裝角度共同決定其前瞻大約兩倍車身長(zhǎng)度，攝像頭2采用微廣角攝像頭，用于采集小車前方行人交通標(biāo)識(shí)等實(shí)時(shí)路況信息，該攝像頭安裝于車頭，正視小車前方視野。雙攝像頭方案的視野示意圖如圖(b)所示，相比單攝像頭方案，雙攝像頭采集到的數(shù)據(jù)分別可以直接用于道路識(shí)別分割和交通標(biāo)識(shí)處理，從而減少了處理器對(duì)圖片的預(yù)處理工作。

軟件架構(gòu)

與硬件系統(tǒng)對(duì)應(yīng)地，軟件也分為兩部分，其架構(gòu)圖如圖所示，主要分為主處理器端和輔處理器端，在主處理器端，采用opencv進(jìn)行圖像采集以及基本處理，采用Tengine實(shí)現(xiàn)人工智能訓(xùn)練模型的推理計(jì)算。其數(shù)據(jù)處理及計(jì)算的所有結(jié)果均寫(xiě)入redis供其他程序(車控算法、數(shù)據(jù)協(xié)議、圖像識(shí)別等模塊)調(diào)用。車控驅(qū)動(dòng)是用python編寫(xiě)的一個(gè)與STM32單片機(jī)串口通信的節(jié)點(diǎn)，其通過(guò)實(shí)時(shí)讀取redis中來(lái)自上層應(yīng)用程序(車控算法)對(duì)小車的控制指令并隨即通過(guò)串口協(xié)議發(fā)送給輔處理器端指揮小車做出相應(yīng)動(dòng)作。

系統(tǒng)測(cè)試

最終小車的設(shè)計(jì)圖和整體圖如圖所示

交通標(biāo)識(shí)道具

數(shù)據(jù)集

賽道分割巡線

交通標(biāo)識(shí)識(shí)別

未來(lái)展望

基于作品中提出的Redis和DSDL實(shí)現(xiàn)的機(jī)器人框架基礎(chǔ)進(jìn)行進(jìn)一步的完善和補(bǔ)充，使其成為ROS的一個(gè)可替代選擇，特別是在低性能處理器上。

總結(jié)

經(jīng)過(guò)本次對(duì)EAIDK310的探索學(xué)習(xí)，以實(shí)際需求為應(yīng)用背景，實(shí)現(xiàn)了自動(dòng)駕駛基于雙攝像頭的自動(dòng)駕駛Demo。

針對(duì)最初的功能需求，分別對(duì)巡線，交通標(biāo)識(shí)識(shí)別進(jìn)行了測(cè)試。由于巡線采用的是基礎(chǔ)的機(jī)器視覺(jué)算法，對(duì)于背景復(fù)雜的路況的效果不是很理想，但是對(duì)于簡(jiǎn)單的賽道巡線效果非常好。

交通標(biāo)識(shí)識(shí)別采用的是機(jī)器學(xué)習(xí)算法，前期在測(cè)試過(guò)程中記錄了大量的訓(xùn)練數(shù)據(jù)供其訓(xùn)練，由于訓(xùn)練數(shù)據(jù)和實(shí)際驗(yàn)證場(chǎng)景相同，因此得到了較好的識(shí)別效果。

本次項(xiàng)目表明即使RK3228H處理器的性能限制不能跑大型AI模型算法，但得益于基于Redis的數(shù)據(jù)交互框架和Tengine邊緣推理計(jì)算框架，使得基礎(chǔ)嵌入式設(shè)備在AI項(xiàng)目中也可以發(fā)揮其作用，是一種低成本的解決方案。

參賽感悟

首先非常感謝安謀中國(guó)對(duì)我們團(tuán)隊(duì)作品的肯定，我們團(tuán)隊(duì)作品的獲獎(jiǎng)情況比較兩極分化，在橫向評(píng)比的上海賽區(qū)獲得三等獎(jiǎng)，在縱向評(píng)比的ARM企業(yè)命題獲得一等獎(jiǎng)，不出所料在同樣是橫向評(píng)比的全國(guó)賽區(qū)還是三等獎(jiǎng)，其實(shí)不管是三等獎(jiǎng)還是一等獎(jiǎng)我們團(tuán)隊(duì)都是可以接受的。

清晰記得我們?nèi)ド虾Ｙ悈^(qū)參加比賽時(shí)我們?nèi)タ雌渌麉①悎F(tuán)隊(duì)的作品海報(bào)時(shí)的震撼，我們的作品時(shí)如此的樸實(shí)無(wú)華，沒(méi)有看不懂的題目，沒(méi)有高大上的技術(shù)，也更沒(méi)有雄厚的資金支持，我們當(dāng)時(shí)的小車的攝像頭由于經(jīng)費(fèi)問(wèn)題還是用的十年前用來(lái)QQ視頻聊天的那種攝像頭。所以給我們?cè)u(píng)三等獎(jiǎng)我們也覺(jué)得我們確實(shí)不如其他團(tuán)隊(duì)的作品。

但是，企業(yè)賽題給我們?cè)u(píng)為一等獎(jiǎng)我們也覺(jué)得我們是值得這個(gè)分肯定，我們做的雖然沒(méi)有那么高大上，但所做工作緊靠賽題，沒(méi)有絲毫偏題，一步步走來(lái)，扎扎實(shí)實(shí)，一步一個(gè)腳印，遇到問(wèn)題逐個(gè)克服....

剛剛拿到EAIDK310開(kāi)發(fā)板時(shí)陷入了平均一天重裝兩次系統(tǒng)的困境，要不是因?yàn)檠b軟件裝的內(nèi)存不足了，要不是裝軟件裝的系統(tǒng)崩潰了，幾乎不能和這塊板子好好相處。后來(lái)總算學(xué)會(huì)了使用 rsync 備份系統(tǒng)以后這個(gè)情況才得以改善，但只是重裝系統(tǒng)變成了恢復(fù)系統(tǒng)，至少比之前進(jìn)步了，但此時(shí)離報(bào)名截止還有一個(gè)月了，然后又陷入了跟OpenCV死磕，跟ROS死磕，跟pygame死磕，跟Tengine死磕，跟rockchip死磕。。。。的困境，這塊板子太小眾了，好多軟件包都得自己編譯，而且性能不是很高，在別的平臺(tái)上跑通的在這里跑的很拉跨，直到最后我們拍板定下來(lái)放棄使用ROS放棄使用那么多依賴，一切自己重頭來(lái)并使用一塊STM32輔助處理器我們的工作才步入正軌，但話又說(shuō)回來(lái)站在巨人的肩膀上不是更好嗎，這時(shí)我們劍走偏鋒瞄準(zhǔn)了在互聯(lián)網(wǎng)領(lǐng)域如數(shù)家珍的Redis(做嵌入式的同學(xué)可能對(duì)這個(gè)不是很了解)，Redis和DSDL結(jié)合不就是一個(gè)輕量級(jí)的ROS框架嘛，說(shuō)干就干，看是研究Redis的源碼，研究DSDL的源碼，總算在報(bào)名截止前一周我們實(shí)現(xiàn)了基礎(chǔ)的框架模型，小車可以動(dòng)起來(lái)了，各個(gè)節(jié)點(diǎn)之間通訊打通了，這個(gè)時(shí)候我們才確定報(bào)名ARM賽題，給隊(duì)伍起了EAIDK666隊(duì)的隊(duì)名，申請(qǐng)了開(kāi)發(fā)板(之前那塊自掏腰包買的)圖像識(shí)別我們認(rèn)真學(xué)習(xí)了公開(kāi)課的視頻，對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)充并重新訓(xùn)練模型部署，此時(shí)馬上就要報(bào)名截止了，我們PPT還沒(méi)有做，視頻還沒(méi)有錄。。。。一直在和時(shí)間賽跑

就這樣我們?cè)鷮?shí)實(shí)一步一步走來(lái)一等獎(jiǎng)是對(duì)我們極大的肯定和鼓勵(lì)!

一定是對(duì)安謀中國(guó)的感激讓我堅(jiān)持到現(xiàn)在把這個(gè)分享寫(xiě)完，截止今天(2021年8月27日)我剛剛參加完暑假的最后一個(gè)比賽的決賽(集創(chuàng)賽)，我的暑假幾乎是在競(jìng)賽中度過(guò)的，這個(gè)比賽結(jié)果我已經(jīng)沒(méi)有任何期待了，因?yàn)榇藭r(shí)此刻我只想好好休息，我真的太累了，感謝安謀中國(guó)對(duì)我們作品的肯定。最后還是感謝安謀中國(guó)感謝我的導(dǎo)師!

由于作品中有些內(nèi)容正后續(xù)要寫(xiě)論文投稿所以寫(xiě)的不是很詳細(xì)，等論文投出去一定和大家分享，還有Redis和DSDL造出來(lái)的框架若各種條件都允許我們會(huì)將源碼公開(kāi)出來(lái)拋磚引玉。

原文標(biāo)題：【2021研電賽作品分享】第十八期 | 基于EAIDK310的視覺(jué)導(dǎo)航自動(dòng)駕駛小車

文章出處：【微信公眾號(hào)：安芯教育科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅