安富利手勢(shì)識(shí)別平臺(tái)又進(jìn)化了，在樹莓派上，安富利實(shí)現(xiàn)了攝像頭和毫米波雷達(dá)融合的手勢(shì)識(shí)別方案。攝像頭負(fù)責(zé)識(shí)別靜態(tài)手勢(shì)，攝像頭讀取的圖像，經(jīng)過openCV和機(jī)器學(xué)習(xí)分類器后，完成手勢(shì)識(shí)別，最后輸出1,2,3,4 等結(jié)果。后期借助于TensorFlow架構(gòu)將Hand Tracking GPU整合進(jìn)融合平臺(tái)。毫米波雷達(dá)負(fù)責(zé)動(dòng)態(tài)手勢(shì)的識(shí)別， 相對(duì)于攝像頭，毫米波雷達(dá)可以更好的保護(hù)客戶隱私，而且算法簡(jiǎn)單不需要GPU以及神經(jīng)網(wǎng)絡(luò)的支持，因此反應(yīng)更快功耗更低。目前安富利借助于英飛凌BGT60TR13芯片，實(shí)現(xiàn)了揮手，旋轉(zhuǎn)手勢(shì)以及揉搓手指等6種手勢(shì)識(shí)別。關(guān)于毫米波雷達(dá)的手勢(shì)控制具體內(nèi)容和演示視頻可參考往期文章《利用毫米波完成精細(xì)化手勢(shì)識(shí)別》。

硬件平臺(tái)

攝像頭負(fù)責(zé)采集圖像，在樹莓派上借助于Python開發(fā)環(huán)境，實(shí)現(xiàn)了手勢(shì)提取和識(shí)別。利用攝像頭完成手勢(shì)識(shí)別，目前有很多架構(gòu)和開源代碼可以參考，目前比較火熱甚至被玩壞的 Hand Tracking GPU，這款應(yīng)用基于TensorFlow 目前已經(jīng)開源，小伙伴們可以盡情的玩起來(lái)了。

英飛凌60GHz雷達(dá)處理芯片BGT60TR13，5GHz的掃頻帶寬，在FMCW工作模式中，可以實(shí)現(xiàn)3cm的距離分辨率，可以識(shí)別精細(xì)的手勢(shì)。安富利目前的手勢(shì)識(shí)別算法運(yùn)行在60GHz的毫米波雷達(dá)平臺(tái)上，掃頻帶寬為3GHz，目前已經(jīng)實(shí)現(xiàn)旋轉(zhuǎn)，左右揮手，上下?lián)]手以及揉搓手指等手勢(shì)識(shí)別。樹莓派作為中央處理器，接收來(lái)自攝像頭和毫米波雷達(dá)的傳感器數(shù)據(jù)，并完成手勢(shì)識(shí)別并顯示在顯示屏上，方案如圖 1所示。

圖 1安富利手勢(shì)識(shí)別平臺(tái)

軟件流程 安富利北京實(shí)驗(yàn)室目前已經(jīng)完成一整套代碼開發(fā)，方便客戶做二次開發(fā)。具體功能如圖 2所示，在毫米波雷達(dá)方向上信號(hào)流為2-D FFT變換， 基于硬件加速的峰值搜索，恒虛警算法篩選潛在目標(biāo)，基于相差比較方法計(jì)算角度波達(dá)方向角，以及在SDK環(huán)境下的手勢(shì)分類識(shí)別，最后將手勢(shì)識(shí)別結(jié)果顯示在GUI上。在攝像頭方向上，借助于openCV完成攝像頭采集，輪廓提取并借助于scikit-learn庫(kù)函數(shù)中的SVC分類器完成手勢(shì)分類。

圖 2 軟件功能框圖

演示效果截圖

在截圖中，第一排顯示的是基于攝像頭的手勢(shì)識(shí)別，簡(jiǎn)單演示了識(shí)別1,2,3,4,5。第二排，主要是演示了基于毫米波雷達(dá)的手勢(shì)識(shí)別，能夠識(shí)別左揮手，右揮手，順時(shí)針旋轉(zhuǎn)手勢(shì)，逆時(shí)針旋轉(zhuǎn)手勢(shì)。以及包括揉搓手指的微多普勒手勢(shì)，包括接近雷達(dá)和遠(yuǎn)離雷達(dá)。