巖石的探測和識別在地質勘探中是非常重要的環(huán)節(jié)。那些曾經冒險探險的地質學家們不畏艱辛，深入山林探索未知的地區(qū)，收集巖石樣本進行分析，為我們更好地認識地球的內部構造作出了巨大的貢獻。然而傳統(tǒng)的檢測算法過分依賴于復雜的特征工程和地質學專業(yè)知識，無法滿足現代檢測的要求。近年來，基于深度學習的算法在目標檢測、圖像處理和識別等方面取得了重大突破，因此，基于深度學習理論的巖石分類檢測系統(tǒng)的研發(fā)是必要的。另一方面，使用傳統(tǒng)檢測方法也會導致檢測儀器不夠小巧和便捷，有較強的環(huán)境局限性，于是，來自湖北工程學院數學與統(tǒng)計學院的學生團隊，在導師張?zhí)旆驳膸ьI下，決定設計一款適合野外作業(yè)的便攜式巖石分類檢測系統(tǒng)。

張?zhí)旆怖蠋熀退膶W生團隊

首先，這個系統(tǒng)必須具備高度的便攜性和穩(wěn)定性，以適應地質領域的工作性質，同時實現離線檢測功能，解決環(huán)境局限性問題，使野外作業(yè)人員在通訊信號差的地方依靠離線知識庫實現快速、準確的檢測。同時，該系統(tǒng)還會具有自動識別巖石種類的能力，讓非專業(yè)人員也可以使用，輔助專業(yè)人員可以更為準確地做出判定。

有要求，就有挑戰(zhàn)

團隊面臨的問題集中在：一，野外作業(yè)環(huán)境限制了攜帶設備的體積與重量，在電池供電的條件下更是限制了相關硬件的性能。需保證受限硬件條件下，兼顧巖石分類系統(tǒng)的性能與精度；二，在野外通訊條件受限的環(huán)境下，需要動態(tài)更新便攜設備中的算法、模型，以提高野外作業(yè)的靈活性與適應性。

“我們參加了幾次由NVIDIA 開發(fā)者社區(qū)舉辦的Sky Hackathon大賽后，發(fā)現 NVIDIA 提供的Jetson Nano比賽平臺很符合我們的要求，而且NVIDIA TAO工具套件可以幫助我們較快地完成軟件上的開發(fā)?！睆?zhí)旆怖蠋煴硎尽?/p>

搭建原型機

團隊很快搭建出了原型方案。此裝置擬實現的功能與所具特色：一是便攜，采用 10.1 寸（265×170）的可觸摸電容顯示屏，方便野外作業(yè)人員攜帶和操作，減少了外設和負重；二是離線檢測，以 Jetson Nano 高性能低功耗嵌入式設備為載體實現離線檢測；三是自動識別巖石種類，在后方實驗室訓練完成的模型可由 NVIDIA TAO 工具套件動態(tài)部署到 Jetson Nano 邊緣設備，使其能夠不斷更新自動識別巖石的算法。

圖一 原型機實現功能的總體流程

為了滿足“小型-便攜”這一基本設計需求，團隊成員經過多次修改，最終確定了原型機的硬件設計，即將 NVIDIA Jetson Nano、顯示器驅動板、電源和圖像傳感器進行集成，利用 3D 打印機，制作出了原型產品。

圖二 原型機的正面

模型訓練與部署

巖石分類檢測系統(tǒng)基于 EffinicentV2 模型，團隊使用了 NVIDIA TAO 工具套件中的模型訓練工具來訓練 EfficientV2 模型，并使用模型轉換工具將訓練好的模型轉換為TensorRT格式，以便于在 Jetson Nano 邊緣設備上部署和加速推理。此外，團隊還使用了 NVIDIA TAO 工具套件中的數據增強工具來增強數據集，以提高模型的魯棒性和泛化能力。通過不斷調整參數和數據集，最后的推理評價為：總體正確率達到 94.36%。

模型訓練完成，部署在配置微型攝像頭的 NVIDIA Jetson Nano 上，使用可觸摸屏幕與其連接。系統(tǒng)通過攝像頭獲取需要分析的圖像數據，獲取后將其輸送到系統(tǒng)內部，用戶通過 UI 界面與巖石分類模型進行交互，數據被傳輸給巖石分類模型，模型使用圖像處理與識別技術進行識別與分析，最后以圖表形式顯示巖石分類結果。

圖三 原型機的系統(tǒng)啟動展示

圖四 原型機的系統(tǒng)分析結果展示

“NVIDIA Jetson Nano 靈活的軟件和完整的框架支持，以及較高的內存容量和統(tǒng)一的內存子系統(tǒng)，使其能夠同時運行各種不同的網絡，達到全高清分辨率，可以讓學生們在短時間內嘗試各種 AI 模型，并且完成一個 AI 原型產品，高效地鍛煉了學生們的 AI 場景落地能力?！睆?zhí)旆怖蠋熢u價說：“在 AI 技術不斷發(fā)展的時代背景下，能讓學生們迎頭趕上技術發(fā)展的大趨勢是很重要的！”

張?zhí)旆怖蠋熣f：“對于那些正在使用 NVIDIA Jetson 系列嵌入式 AI 產品進行開發(fā)的開發(fā)者們，我想給出的建議是要善于利用 NVIDIA 提供的開發(fā)工具和 SDK，例如 NVIDIA TAO 工具套件，NVIDIADeepStream，NVIDIA NeMo等，以便根據不同的應用領域，更加高效地進行模型訓練、推理和優(yōu)化。另外，還要密切關注新的 AI 技術和應用趨勢，及時掌握最新的開發(fā)技能和經驗，不斷完善和優(yōu)化自己的 AI 應用方案，為實現更高效、更智能的應用奠定堅實的基礎。希望這些建議對 Jetson 嵌入式 AI 產品開發(fā)者有所幫助，能夠更好地發(fā)揮 Jetson 系列產品的潛力，開發(fā)出更為出色的 AI 應用?！?/p>

*本文中圖片均由湖北工程學院數學與統(tǒng)計學院張?zhí)旆怖蠋焾F隊提供，如果您有任何疑問或需要使用本文中圖片，請聯系該團隊。