一直以來，技術(shù)都有能力為人們的生活帶來巨大改變，而對于視障人士來說，這種改變可能是革命性的。多年來，輔助應(yīng)用程序的數(shù)量明顯增加。除了深受歡迎的 Windows 電腦屏幕閱讀器 JAWS 和幫助用戶瀏覽手機(jī)和平板電腦的軟件之外，還有一些音頻描述應(yīng)用程序，利用智能設(shè)備攝像頭來閱讀實(shí)物文件和識別周圍環(huán)境中的物品。

制作者兼開發(fā)者 Md. Khairul Alam 試圖創(chuàng)造一種廉價(jià)的可穿戴導(dǎo)航工具，解放用戶的雙手，并描述人們從自己眼睛的角度看到的東西。它以一副眼鏡為基礎(chǔ)，使用一個(gè)小型攝像頭傳感器收集視覺信息，然后發(fā)送到 Raspberry Pi 1 Model B 進(jìn)行解讀。用戶可以聽到關(guān)于所見事物的語音描述。

毋庸置疑，這個(gè)項(xiàng)目將對全世界數(shù)十萬人產(chǎn)生積極影響?！叭蚣s有 22 億人沒有視力，其中 90% 來自低收入國家?！坝斜匾獮橛幸曈X障礙的人提供低成本的解決方案，讓他們能夠靈活地輕松導(dǎo)航，在進(jìn)行研究后，我意識到邊緣計(jì)算機(jī)視覺可以成為解決這一問題的潛在答案"。

尖端技術(shù)

邊緣計(jì)算機(jī)視覺具有潛在的變革性。它從邊緣設(shè)備（如攝像頭）收集視覺數(shù)據(jù)，然后在本地進(jìn)行處理，而不是發(fā)送到云端。由于信息是在靠近數(shù)據(jù)源的地方處理的，因此可以快速、實(shí)時(shí)地作出反應(yīng)，減少延遲。當(dāng)用戶視力受損，需要快速感知環(huán)境時(shí)，這一點(diǎn)尤為重要。

連接相當(dāng)簡單：將 Xiao ESP32S3 Sense 模塊插入樹莓派（Raspberry Pi）。

在他的項(xiàng)目中，Khairul 選擇使用 Xiao ESP32S3 Sense 模塊，該模塊除了一個(gè)攝像頭傳感器和一個(gè)數(shù)字麥克風(fēng)外，還集成了 Xtensa EPS32-S3R8 SoC 處理器、8MB 閃存和一個(gè) microSD 卡插槽。該模塊被安裝在一副眼鏡的中央，并通過 USB-C 連接線與 Raspberry Pi 計(jì)算機(jī)相連，然后將一副耳機(jī)插入 Raspberry Pi 的音頻輸出端口。有了這些連接，Khairul 就可以專心研究項(xiàng)目的軟件了。

可以想象，機(jī)器學(xué)習(xí)是這個(gè)項(xiàng)目不可或缺的一部分；它需要準(zhǔn)確地檢測和識別物體。Khairul 使用 Edge Impulse Studio 來訓(xùn)練他的物體檢測模型。這個(gè)工具非常適合建立數(shù)據(jù)集，在這種情況下，需要從頭開始創(chuàng)建一個(gè)數(shù)據(jù)集?！八嬖V我們："當(dāng)我開始做這個(gè)項(xiàng)目時(shí)，我沒有找到任何現(xiàn)成的數(shù)據(jù)集用于這個(gè)特定用途?！柏S富的數(shù)據(jù)集對于獲得良好的精確度非常重要，因此我制作了一個(gè)簡單的數(shù)據(jù)集用于實(shí)驗(yàn)?zāi)康?。

為了幫助測試這款設(shè)備，Khairul 一直在使用一款廉價(jià)的 USB-C 便攜式揚(yáng)聲器

物體檢測

Khairul 最初專注于六個(gè)物體，上傳了 188 張圖片來幫助識別椅子、桌子、床和臉盆。他能拍攝到的物體圖像越多，準(zhǔn)確度就越高，但這也帶來了一些挑戰(zhàn)?！八忉屨f："對于這類工作，我需要一個(gè)獨(dú)特而豐富的數(shù)據(jù)集來獲得良好的結(jié)果，這是最困難的工作。事實(shí)上，他仍在努力創(chuàng)建一個(gè)更大的數(shù)據(jù)集，這些工作需要大量時(shí)間；但在將模型上傳到 Xiao ESP32S3 Sense 后，它已經(jīng)開始產(chǎn)生一些積極的結(jié)果。

當(dāng)檢測到一個(gè)物體時(shí)，模塊會返回該物體的名稱和位置?！癒hairul說："在檢測和識別物體后，Raspberry Pi就會公布其名稱--Raspberry Pi內(nèi)置音頻支持，而Python有許多文本到語音庫。該項(xiàng)目使用了一個(gè)名為 “Festival ”的免費(fèi)軟件包，它是由英國語音技術(shù)研究中心編寫的。它能將文本轉(zhuǎn)換成語音，然后用戶就能聽到。

在實(shí)際應(yīng)用中，我們需要一個(gè)更整潔的解決方案，包括一個(gè)防水盒。

為了方便起見，所有這些目前都由一個(gè)小型可充電鋰離子電池供電，該電池由一根長線連接，可以放在用戶的口袋里。“功耗是另一個(gè)重要的考慮因素，“卡伊魯爾指出，”因?yàn)樗且粋€(gè)便攜式設(shè)備，所以需要非常省電。由于 “第三只眼 ”是為佩戴而設(shè)計(jì)的，因此還需要有合適的感覺?！巴庑纬叽缡且粋€(gè)相當(dāng)重要的因素--項(xiàng)目應(yīng)該盡可能緊湊，"Khairul 補(bǔ)充道。

展望未來

第三只眼 "仍處于概念驗(yàn)證階段，改進(jìn)措施已經(jīng)確定。Khairul 知道，Xiao ESP32S3 Sense 最終將無法滿足他對該項(xiàng)目的雄心壯志，因?yàn)樗鼘⒃谖磥聿粩鄶U(kuò)展，而且隨著更大的機(jī)器學(xué)習(xí)模型被證明是必要的，Raspberry Pi 可能會承擔(dān)更多的工作量。

“老實(shí)說，ESP32S3 Sense 模塊的能力不足以應(yīng)對大型模型。我只是將它用于小型模型的實(shí)驗(yàn)?zāi)康?，Raspberry Pi 可以是一個(gè)很好的替代品，"他說?！拔蚁嘈牛瑸榱双@得更好的性能，我們可以使用 Raspberry Pi 進(jìn)行推理和文本到語音的轉(zhuǎn)換。我計(jì)劃將來在 Raspberry Pi 計(jì)算機(jī)內(nèi)完全實(shí)現(xiàn)該系統(tǒng)?！?/p>

其他潛在的未來調(diào)整也在不斷增加?！拔蚁爰尤胍恍┛刂瓢粹o，這樣用戶就可以根據(jù)需要增大和減小音量，并將音頻靜音，"Khairul 透露?！吧疃葦z像頭還能為用戶提供物體距離的重要信息。通過在 Hackster 上分享該項(xiàng)目，我們希望 Raspberry Pi 社區(qū)也能協(xié)助推進(jìn)該項(xiàng)目。“他說："這樣的項(xiàng)目潛力巨大。