人工智能正在占據(jù)越來(lái)越多的應(yīng)用和生活場(chǎng)景，例如圖像檢測(cè)和分類，翻譯和推薦系統(tǒng)等等。基于機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用數(shù)量龐大且還在不斷增長(zhǎng)。采用Enclustra(瑞蘇盈科)結(jié)合FPGA和ARM處理器的核心板模塊，在離線和邊緣使用AI前所未有的容易。

VISUAL & AI

2021年4月，受與非網(wǎng)之邀，Enclustra前往慕尼黑上海電子展參加直播間的Demo Show。Enclustra以“基于FPGA的AI，機(jī)器視覺，運(yùn)動(dòng)控制”為主題，開場(chǎng)時(shí)展示了機(jī)械手和人互動(dòng)玩石頭剪刀布的demo并邀請(qǐng)現(xiàn)場(chǎng)的朋友體驗(yàn)。

VISUAL & AI

FPGA低延時(shí)、低功耗的特性在這個(gè)demo中體現(xiàn)出了優(yōu)勢(shì)。搭載SyntharaIP核的神經(jīng)網(wǎng)絡(luò)運(yùn)行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模塊(SoM based on XCZU15EG)和水星Mercury+ PE1底板，分析攝像頭采集的流媒體數(shù)據(jù)。手勢(shì)是被實(shí)時(shí)檢測(cè)的，每張圖片的推理只需要8~9 ms，靈敏度超過(guò)100 fps。常見的攝像頭為30或者60 fps，所以瓶頸在于攝像頭的幀率。機(jī)械手伺服電機(jī)根據(jù)游戲規(guī)則做出反應(yīng)。

VISUAL & AI

值得一提的是這個(gè)demo實(shí)現(xiàn)了在單個(gè)設(shè)備中處理各種傳感器和信號(hào)：圖像處理、神經(jīng)網(wǎng)絡(luò)推理、機(jī)械手都在一個(gè)FPGA中被控制。

VISUAL & AI

玩家手勢(shì)的圖片被分為5類：石頭，剪刀，布，非法手勢(shì)，無(wú)手勢(shì)。為了讓神經(jīng)網(wǎng)絡(luò)能對(duì)圖片進(jìn)行精準(zhǔn)的分類，Enclustra從幾位玩家錄制的視頻中采集了多樣化的圖片：不同的玩家，男/女玩家，不同飾品（手表，腕帶，長(zhǎng)袖…），不同亮度，左/右手玩家，不同的移動(dòng)速度，不同的距離，等等。在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)了近一萬(wàn)張圖片后，具備了快速打敗新玩家的能力。

ABOUT US

瑞蘇盈科(Enclustra)是FPGA領(lǐng)域全球一流的公司之一， 2004年成立于瑞士并成為Xilinx官方合作伙伴，同時(shí)是Intel FPGA金牌方案商、Microchip官方方案商，提供FPGA核心板/開發(fā)板、FPGA IP核、全棧設(shè)計(jì)服務(wù)，目前有來(lái)自29個(gè)國(guó)家的員工在全球70+國(guó)家服務(wù)1600+客戶。2019年正式進(jìn)入中國(guó)市場(chǎng)，成立全資子公司瑞蘇盈科（深圳）科技有限公司，成立之初便建立本土工程師團(tuán)隊(duì)，為中國(guó)客戶帶來(lái)更好的本土化支持與服務(wù)。