我國(guó)有超1700萬(wàn)視障人士，如何讓他們更安全、自主地出行？別擔(dān)心，智能瞳行來(lái)啦！這是一款“自帶外掛”的導(dǎo)航神器，集成了高精度視覺(jué)傳感和YOLO算法，實(shí)時(shí)識(shí)別障礙物、行人、交通標(biāo)志，并通過(guò)語(yǔ)音播報(bào)精準(zhǔn)指路，讓視障朋友走哪都心里有數(shù)。
智能瞳行不僅讓視障人士自由穿梭于大街小巷，還讓他們更好地感受世界的變化和精彩——昆明理工大學(xué)津橋?qū)W院：智能瞳行團(tuán)隊(duì)
一、核心功能：

• YOLO識(shí)別：像開(kāi)了透視一樣，精準(zhǔn)捕捉周?chē)h(huán)境信息。
• 語(yǔ)音導(dǎo)航：貼心播報(bào)，讓障礙物無(wú)所遁形，走路更安心。
• 智能反饋：個(gè)性化指引，輕松適應(yīng)各種場(chǎng)景，出行更自信！

二、特色與創(chuàng)新：
2.1.1 技術(shù)優(yōu)勢(shì)
a、YOLOv8：YOLOv8 作為最新一代目標(biāo)檢測(cè)算法，在實(shí)時(shí)性、準(zhǔn)確性和模型輕量化方面均表現(xiàn)出色。相比前代模型，YOLOv8 在保持高檢測(cè)精度的同時(shí)，顯著提升了推理速度，適用于智能瞳行設(shè)備等對(duì)實(shí)時(shí)性要求較高的應(yīng)用場(chǎng)景。此外，其優(yōu)化后的模型結(jié)構(gòu)使其更輕量化，更適合嵌入式設(shè)備和移動(dòng)端部署。同時(shí)，YOLOv8 支持端到端訓(xùn)練和部署，降低了開(kāi)發(fā)和應(yīng)用成本，并具備較強(qiáng)的靈活性和可擴(kuò)展性，可根據(jù)不同應(yīng)用需求進(jìn)行優(yōu)化。
b、YOLOv8 與其他 YOLO 模型對(duì)比：相較于 YOLOv5、YOLOv6 和 YOLOv7，YOLOv8 在相近的參數(shù)量下提供了更高的吞吐量和檢測(cè)性能，在目標(biāo)檢測(cè)、實(shí)例分割和圖像分類等任務(wù)上均表現(xiàn)更優(yōu)。Ultralytics 在 YOLOv8 的設(shè)計(jì)中進(jìn)一步優(yōu)化了模型結(jié)構(gòu)，使其在精度、速度和計(jì)算效率之間達(dá)到了更優(yōu)的平衡，為智能瞳行設(shè)備提供了更可靠的視覺(jué)感知能力。
c、ROS2：ROS2 作為 ROS 的新一代架構(gòu)，針對(duì)通信機(jī)制、同步策略、工具鏈及安全性等方面進(jìn)行了全面優(yōu)化。相較于 ROS1，ROS2 采用了去中心化的 DDS（Data Distribution Service）通信機(jī)制，提高了數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性和可擴(kuò)展性，能夠更好地適應(yīng)復(fù)雜的機(jī)器人系統(tǒng)需求。同時(shí)，ROS2 引入了更靈活的節(jié)點(diǎn)管理方式、改進(jìn)的同步執(zhí)行模型，并支持多種編程語(yǔ)言，提升了開(kāi)發(fā)效率。此外，ROS2 進(jìn)一步優(yōu)化了性能，降低了系統(tǒng)延遲，提高了吞吐能力，并增強(qiáng)了安全特性，使其在高可靠性應(yīng)用場(chǎng)景中更加適用。
綜合而言，智能瞳行設(shè)備結(jié)合 YOLOv8 先進(jìn)的目標(biāo)檢測(cè)能力與 ROS2 高效穩(wěn)定的通信架構(gòu)，實(shí)現(xiàn)了高精度、低延遲的數(shù)據(jù)處理與環(huán)境感知，為智能化應(yīng)用提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。
2.1.2輕量小巧
智能瞳行團(tuán)隊(duì)通過(guò)市場(chǎng)調(diào)研，發(fā)現(xiàn)目前市場(chǎng)上有一類科技助盲的機(jī)械犬，但是體型較為龐大，外出攜帶極其不方便。
智能瞳行設(shè)備，采用3D打印技術(shù)，外殼進(jìn)行輕量化設(shè)計(jì)，整體重量?jī)H為1.7KG，佩戴更為方便，小巧，便于攜帶。

2.2創(chuàng)新點(diǎn)
在YOLOv8原模型上，團(tuán)隊(duì)技術(shù)成員還引入了神經(jīng)網(wǎng)絡(luò)算法- EfficientNetV2，通過(guò)引入漸進(jìn)式學(xué)習(xí)策略、自適反正則強(qiáng)度調(diào)整，提升YOLOv8的檢測(cè)效果。通過(guò)引入NA5技術(shù)去搜索MBConv和Fused-MBConv的最佳組合大幅提高了訓(xùn)練速度，減小模型大小。提高了YOLOv8的檢測(cè)效率。
（1）首先是一個(gè) 1×1 卷積用于升維，其輸出 channel 是輸入 channel 的 n 倍。
（2）緊接著通過(guò)一個(gè) DW 卷積。
（3）然后通過(guò)一個(gè) SE 模塊，使用注意力機(jī)制調(diào)整特征矩陣。
（4）之后再通過(guò) 1×1 卷積進(jìn)行降維。注意這里只有 BN，沒(méi)有 swish 激活函數(shù)（其實(shí)就是對(duì)應(yīng)線性激活函數(shù)）。
（5）最后跟一個(gè)dropout層
三、硬件和軟件
3.1硬件介紹
A基于YOLO模型的智能瞳行設(shè)備設(shè)計(jì)使用了 地瓜機(jī)器人RDK X3機(jī)器人開(kāi)發(fā)者套件（下文統(tǒng)稱RDK X3），搭載了旭日3智能計(jì)算芯片，具有5TOPs端側(cè)推理算力，兼容樹(shù)莓派4B、CM4接口，方便開(kāi)發(fā)者快速集成。結(jié)合地瓜機(jī)器人的高性能AI工具鏈與機(jī)器人開(kāi)發(fā)平臺(tái)，助力智能瞳行設(shè)備快速落地解決方案。

B、M260C環(huán)形六麥語(yǔ)音模塊
M260C 環(huán)形麥克風(fēng)陣列由 6 個(gè)麥克風(fēng)環(huán)形排列組成，遠(yuǎn)場(chǎng)拾音實(shí)驗(yàn)室環(huán)境 下可達(dá) 10m，喚醒角度的分辨率為 1°，可進(jìn)行 360°全方位聲源定位。
智能瞳行設(shè)備采用該語(yǔ)音模塊，實(shí)現(xiàn)人機(jī)交互，通過(guò)特定的語(yǔ)音指令，喚醒語(yǔ)音助手，通過(guò)特定語(yǔ)音，操作智能瞳行設(shè)備完成相應(yīng)操作。


C、N10P激光雷達(dá)
N10 Plus系列激光雷達(dá)采用 TOF(time of flight)方案，能夠?qū)χ車(chē)?60°環(huán)境進(jìn)行二維掃描探測(cè)。該系列激光雷達(dá)內(nèi)部使用無(wú)線供電和光通訊，測(cè)量重頻為5.4KHz。采用 TOF(time of flight)測(cè)距原理，通過(guò)測(cè)量調(diào)制激光的發(fā)射、返回時(shí)間差來(lái)測(cè)量物體與傳感器的相對(duì)距離。激光發(fā)射器發(fā)出調(diào)制脈沖激光，內(nèi)部定時(shí)器開(kāi)始從t1時(shí)刻計(jì)算時(shí)間，當(dāng)激光照射到目標(biāo)物體后，部分能量返回，當(dāng)雷達(dá)接收到返回的激光信號(hào)時(shí)，在t2時(shí)刻停止內(nèi)部定時(shí)器計(jì)時(shí)，光速C，激光雷達(dá)到達(dá)物體的距離D為：D=C*(t2-t1)/2
經(jīng)過(guò)N10 Plus系列激光雷達(dá)內(nèi)嵌的信號(hào)處理單元的實(shí)時(shí)解算得到探測(cè)物體的距離值，結(jié)合高精度自適應(yīng)角度測(cè)量模塊輸出的角度信息，可以得到量程內(nèi)周?chē)?360°環(huán)境的二維平面信息。


D. Gemini-Datasheet深度相機(jī)
智能瞳行設(shè)備采用激光N10P雷達(dá)和深度相機(jī)，通過(guò)激光雷達(dá)建立二維障礙物模型，深度相機(jī)建立三維空間模型，兩個(gè)技術(shù)相結(jié)合，構(gòu)建一個(gè)實(shí)時(shí)的周?chē)h(huán)境模型。

e. N100N慣導(dǎo)模塊
N100N慣導(dǎo)模塊是具有一個(gè)強(qiáng)大的 Sigma-Point 卡爾曼濾波器 (SPKF)，以及一套高性能算法，高達(dá) 1000Hz 的傳感器采樣頻率和圓錐和劃船運(yùn)動(dòng)補(bǔ)償，有較強(qiáng)的抗磁干擾能力。內(nèi)部算法提供高精度的位置，速度和姿態(tài)估計(jì)連同在10hz和200hz之間的補(bǔ)償慣性測(cè)量，可方便的接入外部視覺(jué)、雷達(dá)等速度、位置、航向輔助設(shè)備進(jìn)行組合導(dǎo)航。
智能瞳行運(yùn)用此慣導(dǎo)模塊，判斷視障人士行走路線以及行走方位是否發(fā)生偏移，以及結(jié)合北斗定位模塊，實(shí)現(xiàn)導(dǎo)航。


f. G60 GPS北斗雙定位模塊
G60 模塊是基于 ATGM336H-5N 的高性能 BDS/GNSS 定位導(dǎo)航模塊。模塊支持多種衛(wèi)星導(dǎo)航系統(tǒng)，包括中國(guó)的北斗二號(hào)和北斗三號(hào)全部衛(wèi)星，美國(guó)的 GPS，俄羅斯的 GLONASS，日本的 QZSS，可以同時(shí)接收以上衛(wèi)星導(dǎo)航系統(tǒng)的衛(wèi)星信號(hào)，支持 A-GNSS 輔助定位，并且實(shí)現(xiàn)聯(lián)合定位、導(dǎo)航與授時(shí)，模塊具有高靈敏度、低功耗、低成本等優(yōu)勢(shì)，適用于車(chē)載導(dǎo)航、手持定位、可穿戴設(shè)備。
智能瞳行設(shè)備應(yīng)用北斗高精度定位，精準(zhǔn)定位視障人士的位置，以及對(duì)接收到的指令進(jìn)行定位導(dǎo)航
3.2軟件介紹
基于YOLO模型的智能瞳行設(shè)備設(shè)計(jì)一個(gè)實(shí)時(shí)檢測(cè)系統(tǒng)，YOLO系列作為非常重要且具有影響力的目標(biāo)檢測(cè)算法常常被使用。YOLO v8作為YOLO系列的最新版本，相比過(guò)去有了很多明顯的研究進(jìn)展。YOLO v8在精度方面進(jìn)行了進(jìn)一步的提升。它采用了更深、更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，可以更好地捕捉目標(biāo)的細(xì)節(jié)和特征。此外，還引入了一些新的技術(shù)和算法，例如更強(qiáng)大的骨干網(wǎng)絡(luò)和更有效的多尺度特征融合方法，從而進(jìn)一步提高了目標(biāo)檢測(cè)的精度。YOLO v8不僅在提高精度方面有了很大的進(jìn)展，還依然保持了YOLO系列一貫的特點(diǎn)，即快速的檢測(cè)速度。仍然通過(guò)單次前向傳播的方式進(jìn)行目標(biāo)檢測(cè)，避免了復(fù)雜的區(qū)域生成和候選框篩選過(guò)程。YOLO v8相比于過(guò)去YOLO系列具有更高的檢測(cè)精度、更快的檢測(cè)速度、更好的適應(yīng)性和通用性，以及更強(qiáng)大的預(yù)測(cè)能力。這些優(yōu)勢(shì)和特點(diǎn)使得YOLO v8成為目標(biāo)檢測(cè)領(lǐng)域的一種重要算法，并在各種實(shí)際應(yīng)用場(chǎng)景中發(fā)揮著重要作用。同時(shí)，使用pycharm為系統(tǒng)提供了軟件支持，同時(shí)python3.11和python-opencv的開(kāi)放碼源和可拓展的特性大大提高了本系統(tǒng)的開(kāi)發(fā)的可操作性，是該系統(tǒng)的開(kāi)咋在軟件方面具有可能性。
3.3系統(tǒng)實(shí)現(xiàn)原理
a.數(shù)據(jù)采集：通過(guò)深度相機(jī)的攝像頭實(shí)時(shí)捕獲前方環(huán)境的視頻流數(shù)據(jù)。
b.圖像預(yù)處理階段：收集到的原始視頻流數(shù)據(jù)經(jīng)過(guò)灰度處理、幀讀取等一系列預(yù)處理操作，輸入至YOLO模型。
c.實(shí)時(shí)目標(biāo)檢測(cè)：YOLO模型基于訓(xùn)練好的權(quán)重參數(shù)，在單個(gè)圖像幀中一次性預(yù)測(cè)出所有類別的物體邊界框和相應(yīng)的置信度得分。
d.slam建圖與深度相機(jī)3D建圖：通過(guò)激光雷達(dá)與深度相機(jī)結(jié)合的視覺(jué)模型實(shí)時(shí)構(gòu)建3D立體圖，完成路徑規(guī)劃和障礙物規(guī)劃避障。
e.目標(biāo)識(shí)別分類：模型輸出的邊界框和置信度得分經(jīng)過(guò)后處理步驟，篩選出置信度閾值以上的障礙物、行人、交通標(biāo)志等目標(biāo)，并對(duì)其進(jìn)行精確分類。
f.播報(bào)信息生成：根據(jù)激光雷達(dá)和深度相機(jī)計(jì)算視障人士和障礙物之間的距離，并生成播報(bào)信息。
g.反饋：將識(shí)別出的環(huán)境信息轉(zhuǎn)化為易于理解的聲音指令，通過(guò)語(yǔ)音播報(bào)模塊反饋給視障人士。
h.人機(jī)交互：視障人士可以通過(guò)語(yǔ)音喚醒智能語(yǔ)音助手，讓其播報(bào)周?chē)惺裁?，以及?dǎo)航到想要去的目的地。
i.用戶響應(yīng)：用戶根據(jù)接收到的反饋調(diào)整自己的行走路徑或動(dòng)作，智能瞳行設(shè)備系統(tǒng)根據(jù)用戶行為和環(huán)境變化動(dòng)態(tài)更新檢測(cè)結(jié)果和導(dǎo)航建議。
j.通過(guò)連貫的操作流程，基于YOLO模型的設(shè)計(jì)能夠?qū)崟r(shí)幫助視障人士了解周?chē)h(huán)境情況，從而實(shí)現(xiàn)安全、自主的移動(dòng)。



第四章 系統(tǒng)實(shí)現(xiàn)
4.1 感知層技術(shù)

• M260C環(huán)形六麥語(yǔ)音模塊：六麥克風(fēng)環(huán)形陣列，10m遠(yuǎn)場(chǎng)拾音，360°聲源定位。通過(guò)固定波束拾取特定方向的聲音，用于語(yǔ)音交互，轉(zhuǎn)換指令數(shù)據(jù)至控制層。
• N10P激光雷達(dá)：基于TOF測(cè)距原理，360°環(huán)境掃描，實(shí)時(shí)輸出障礙物信息至控制層。
• Gemini深度相機(jī)：采用3D結(jié)構(gòu)光技術(shù)，獲取深度與彩色圖像，結(jié)合YOLOv8模型進(jìn)行目標(biāo)識(shí)別，并與激光雷達(dá)數(shù)據(jù)融合，提供障礙物方位及距離信息。
• N100N慣導(dǎo)模塊：具備高精度慣性測(cè)量，結(jié)合北斗定位，判斷行走路徑與方位偏移，輔助導(dǎo)航。
• G60 GPS北斗雙定位模塊：支持多星座聯(lián)合定位，精準(zhǔn)獲取用戶位置，實(shí)現(xiàn)高精度導(dǎo)航。

4.2 傳輸層技術(shù)

• USB：主數(shù)據(jù)傳輸方式，連接各感知模塊，將語(yǔ)音、雷達(dá)、視頻流等數(shù)據(jù)傳輸至控制層。
• TTL：用于激光雷達(dá)與語(yǔ)音模塊數(shù)據(jù)傳輸，經(jīng)串口轉(zhuǎn)換為USB信號(hào)。
• WiFi：設(shè)備與PC端共享局域網(wǎng)，便于遠(yuǎn)程調(diào)試。
• 北斗CDMA：實(shí)現(xiàn)多用戶在同一頻段通信，獲取位置信息并傳輸至控制層。
• DDS（數(shù)據(jù)分發(fā)服務(wù)）：基于ROS2的通信協(xié)議，支持分布式數(shù)據(jù)傳輸，提高數(shù)據(jù)實(shí)時(shí)性與靈活性。

4.3 控制層技術(shù)
智能瞳行設(shè)備以地瓜機(jī)器人RDK X3機(jī)器人開(kāi)發(fā)者套件作為整個(gè)系統(tǒng)架構(gòu)的主控制層之一，具有5TOPs端側(cè)推理算力，在此基礎(chǔ)上安裝了Ubuntu20.04系統(tǒng)，同時(shí)搭配了ROS2-humble版本，感知層負(fù)責(zé)接受各種來(lái)源的數(shù)據(jù)。而傳輸層通過(guò)ttl，USB傳輸給控制層，控制層通過(guò)內(nèi)置程序、算法，計(jì)算出周?chē)h(huán)境情況，規(guī)劃處一條安全、可靠的路徑，分析出播報(bào)內(nèi)容，例如正前方道路平坦，可以直行的播報(bào)內(nèi)容，通過(guò)傳輸層，傳輸給另一控制層- M260C環(huán)形六麥語(yǔ)音播報(bào)模塊播報(bào)出相應(yīng)語(yǔ)音指令，指引視障人士安全出行，讓視障人士擁有第六感。
4.4軟件開(kāi)發(fā)技術(shù)
ROS2-humble版本的應(yīng)用, ROS1的通信機(jī)制基于TCPROS實(shí)現(xiàn)，這意味著所有節(jié)點(diǎn)（即機(jī)器人系統(tǒng)中的各個(gè)組件）之間的通信都需要經(jīng)過(guò)一個(gè)中心節(jié)點(diǎn)——Ros Master。一旦Ros Master出現(xiàn)故障，整個(gè)系統(tǒng)的通信都會(huì)受到影響。相比之下，ROS2的通信機(jī)制則采用了更為先進(jìn)的DDS（Data Distribution Service）技術(shù)。DDS是一種發(fā)布/訂閱模型的消息傳遞中間件，它支持節(jié)點(diǎn)之間的去中心化通信，有效提高了系統(tǒng)的可靠性和穩(wěn)定性。智能瞳行設(shè)備的感知層中語(yǔ)音模塊接收的語(yǔ)音指令，激光雷達(dá)距離、角度等數(shù)據(jù)、深度相機(jī)視頻流數(shù)據(jù)利用 DDS 發(fā)布對(duì)應(yīng)節(jié)點(diǎn)，然后通過(guò)程序獲取節(jié)點(diǎn)中的有用數(shù)據(jù)，并傳輸給控制層程序處理，確保了數(shù)據(jù)的高效流轉(zhuǎn)和系統(tǒng)的穩(wěn)定運(yùn)行。
Python 語(yǔ)言語(yǔ)法簡(jiǎn)潔，易于學(xué)習(xí)和理解，適用于快速開(kāi)發(fā)原型和數(shù)據(jù)處理任務(wù)，如圖為處理激光雷達(dá)數(shù)據(jù)的部分代碼。

智能瞳行設(shè)備各模塊底層驅(qū)動(dòng)都由C和C++來(lái)完成，如圖為激光雷達(dá)底層驅(qū)動(dòng)部分代碼。

Pycharm 是一款優(yōu)秀的 Python 開(kāi)發(fā)集成環(huán)境（IDE），提供了代碼編輯、調(diào)試、項(xiàng)目管理等一系列功能，大大提高了開(kāi)發(fā)效率，智能瞳行設(shè)備程序通過(guò)該軟件進(jìn)行的代碼編寫(xiě)、調(diào)試。
4.5數(shù)據(jù)挖掘和可視化應(yīng)用
數(shù)據(jù)讀?。?br />1.初始化 DDS 環(huán)境：創(chuàng)建參與者（Participant），建立與 DDS 域的連接。
2.查找主題：使用主題名稱來(lái)查找感興趣的數(shù)據(jù)主題。
3.創(chuàng)建訂閱者（Subscriber）：用于接收數(shù)據(jù)。
4.創(chuàng)建數(shù)據(jù)讀取器（DataReader）：與找到的主題關(guān)聯(lián)，準(zhǔn)備讀取數(shù)據(jù)。
5.處理接收到的數(shù)據(jù)：通過(guò)回調(diào)函數(shù)或主動(dòng)讀取的方式獲取數(shù)據(jù)，并進(jìn)行相應(yīng)的處理。
6.設(shè)備通過(guò)接收節(jié)點(diǎn)數(shù)據(jù)，通過(guò)程序處理，激光雷達(dá)為例，如圖，通過(guò)訂閱激光雷達(dá)腹部的話題lslidar_driver_node，以及其中的節(jié)點(diǎn)/sacn,就能夠讀取其中的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行處理，就能獲取到距離，以及角度信息。
Python中Matplotlib的使用：
通過(guò)獲取節(jié)點(diǎn)中的數(shù)據(jù)，通過(guò)numpy庫(kù)對(duì)數(shù)據(jù)進(jìn)行相應(yīng)處理，轉(zhuǎn)換為可視化圖形數(shù)據(jù)，通過(guò)內(nèi)置函數(shù)進(jìn)行動(dòng)畫(huà)處理，實(shí)現(xiàn)實(shí)時(shí)的動(dòng)畫(huà)數(shù)據(jù)。
以獲取激光雷達(dá)數(shù)據(jù)為例，通過(guò)獲取節(jié)點(diǎn)中激光雷達(dá)數(shù)據(jù)的處理，將數(shù)據(jù)處理為圖形數(shù)據(jù)，實(shí)時(shí)的顯示在圖形頁(yè)面上，方便對(duì)數(shù)據(jù)進(jìn)行處理與判斷。
Rviz2是ROS2中常用的可視化工具，通過(guò)訂閱各模塊發(fā)布的節(jié)點(diǎn)數(shù)據(jù)來(lái)實(shí)現(xiàn)圖形可視化，為開(kāi)發(fā)者提供了直觀的方式來(lái)理解和調(diào)試系統(tǒng)。智能瞳行設(shè)備通過(guò)Rviz2 可訂閱這些節(jié)點(diǎn)，將激光雷達(dá)數(shù)據(jù)以點(diǎn)云的形式展示，攝像頭數(shù)據(jù)以圖像的形式呈現(xiàn)，北斗、GPS數(shù)據(jù)則以地圖上的位置標(biāo)記顯示。