多模態(tài)傳感信號AI處理為智算中心和邊緣智能開啟感知智能的新篇章

全球領(lǐng)先的邊緣AI和智能音頻專家XMOS宣布：公司已推出端側(cè)多模態(tài)AI傳感器融合接口（AI Sensor Hub），該接口利用XMOS的xcore軟件定義系統(tǒng)級芯片（SoC）上靈活的接口和高效的算力，在邊緣對來自不同接口的包括音頻、圖像、視覺和其他多種傳感器輸出的多模態(tài)信號進(jìn)行融合以及AI計(jì)算，既可支持本地設(shè)備獨(dú)立地對各種傳感器信號進(jìn)行AI推理計(jì)算，也可作為智算系統(tǒng)的輸入前端并執(zhí)行相應(yīng)的功能。該方案可立即實(shí)施的應(yīng)用包括大模型、云服務(wù)和專用網(wǎng)絡(luò)及系統(tǒng)的智能接入，以及智能視頻門鈴、視頻監(jiān)控設(shè)備、多模態(tài)傳感器集中器、車牌識別等邊緣智能設(shè)備。

與那些裝備精良、耗費(fèi)靡多的云服務(wù)和計(jì)算機(jī)系統(tǒng)不同，XMOS利用其集AI、DSP、控制和I/O于一體的xcore軟件定義SoC，結(jié)合諸如深度神經(jīng)網(wǎng)絡(luò)（DNN）等模型，可以超小型化和低功耗的單芯片就實(shí)現(xiàn)了這些多種傳感信號的多模態(tài)AI處理。XMOS的多模態(tài)技術(shù)已經(jīng)取得了突破性進(jìn)展，合作伙伴通過使用xcore這樣的嵌入式SoC不僅運(yùn)行了DNN模型，還開發(fā)了實(shí)現(xiàn)人臉檢測、特征提取、身份驗(yàn)證、安防報(bào)警、車牌識別和圖像分類等功能的系統(tǒng)解決方案，而且還根據(jù)平臺需求開發(fā)了實(shí)時(shí)數(shù)據(jù)預(yù)處理智能前端。

xcore.ai之所以能夠在各種AI應(yīng)用中成為一種可以提供低延遲和高度確定性的AI功能的處理器，得益于獨(dú)特的多線程微架構(gòu)。每個 xcore.ai 具有 16 個邏輯內(nèi)核，分屬兩個多線程處理器功能塊，而每個功能塊配備 512kB 的 SRAM 和一個提供整數(shù)和浮點(diǎn) ALU 的矢量單元。強(qiáng)大的處理器間通信基礎(chǔ)設(shè)施為每個集成處理器和多個 xcore.ai SoC 之間提供高速通信，不僅可以實(shí)現(xiàn)最終的可擴(kuò)展性，而且還實(shí)現(xiàn)了并行多線程、多核矩陣計(jì)算。

系統(tǒng)架構(gòu)

XMOS解決方案的優(yōu)勢

可以無需聯(lián)網(wǎng)，持續(xù)工作，始終可用

無需外部存儲，完成實(shí)時(shí)圖像等信號的處理

絕對保護(hù)隱私，可設(shè)置為離線解決方案，不將數(shù)據(jù)傳遞到云端

邊緣AI提供低延遲響應(yīng)

將所有代碼和模式的大小縮減到僅有0.6MB

XMOS xcore.ai處理器如何支持邊緣AI?

可開發(fā)和訓(xùn)練你自己的模型

使用XMOS的“AI工具”進(jìn)行轉(zhuǎn)換

生成最優(yōu)化的、矢量化的xcore代碼

可同時(shí)運(yùn)行多個模型

用C或C++語言定義您自己的應(yīng)用程序

對于AI芯片的開發(fā)來說，友好的開發(fā)環(huán)境極為重要。為了幫助設(shè)計(jì)師更好地開發(fā)各種邊緣AI應(yīng)用，XMOS把所有計(jì)算資源及其調(diào)度管理都放在同一個易用和強(qiáng)大的開發(fā)環(huán)境中。這為開發(fā)人員提供了完善的技術(shù)支持、工具支持和其他支持。XMOS提供完善的開發(fā)工具鏈與豐富的軟件庫，如免版稅的軟件、強(qiáng)大的XTC開發(fā)工具套件，以及專門設(shè)計(jì)的評估平臺。通過使用這些工具，顯著降低了開發(fā)難度，幫助工程師快速將產(chǎn)品概念轉(zhuǎn)化為實(shí)際應(yīng)用，并縮短了產(chǎn)品上市時(shí)間。

“XMOS的多模態(tài)AI模型處理功能可在最具挑戰(zhàn)性的應(yīng)用場景中，實(shí)現(xiàn)實(shí)時(shí)的、持續(xù)工作的AI應(yīng)用，同時(shí)保護(hù)個人數(shù)據(jù)和隱私，” XMOS亞太區(qū)市場和銷售負(fù)責(zé)人牟濤說道。“當(dāng)然，該方案也可以根據(jù)需要，靈活地作為大模型、云和網(wǎng)絡(luò)的智能輸入接口，對傳感信號進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換提供給下一級平臺處理，或者進(jìn)行本地AI處理后只將關(guān)鍵信息提供給平臺。同時(shí)，XMOS提供的集成開發(fā)環(huán)境和第三方軟件可以很方便地開發(fā)出商用的邊緣AI解決方案”

與XMOS面對面交流

第23屆廣州國際專業(yè)燈光、音響展覽會（以下簡稱“廣州展”）將于5月27 – 30日在中國進(jìn)出口商品交易會展館A、B、D區(qū)盛大啟幕！XMOS作為全球領(lǐng)先的數(shù)字音頻及多媒體AI處理芯片及解決方案提供商，將攜其分銷商曉龍國際、威健實(shí)業(yè)和瑞致科技，以及增值分銷及設(shè)計(jì)公司飛騰云和其它方案公司共同參加本屆廣州展，屆時(shí)將展出先進(jìn)音頻接口、AI降噪及空間音頻、DSP音效、Hi-Fi解碼器參考設(shè)計(jì)和麥克風(fēng)陣列參考設(shè)計(jì)等技術(shù)和方案。歡迎蒞臨XMOS展位：5.2A66。

如希望了解XMOS全球領(lǐng)先的音頻解決方案、邊緣計(jì)算解決方案、軟件定義SoC及其在其他垂直行業(yè)的應(yīng)用，或與我們合作共同開發(fā)面向全球的創(chuàng)新性產(chǎn)品，以及預(yù)約在廣州展期間的見面交流，請發(fā)送郵件到：ThomasMu@xmos.com

關(guān)于XMOS

作為一家匠心獨(dú)到的半導(dǎo)體科技企業(yè)，XMOS一直站在智能物聯(lián)網(wǎng)技術(shù)的前沿，致力于滿足市場對靈活計(jì)算不斷演進(jìn)的需求。XMOS開發(fā)和提供了集AI、控制、DSP和IO于一顆芯片的平臺化SoC，讓各行各業(yè)的客戶能夠僅用軟件編程的方式，自己就能定義和實(shí)現(xiàn)高性能、高確定性和智能化的軟件定義SoC，使客戶和伙伴的工程師能夠充分地發(fā)揮其創(chuàng)造性，同時(shí)其解決方案還能夠更完美地適用于各種場景，包括消費(fèi)電子、工業(yè)和汽車等重要支柱性領(lǐng)域。

審核編輯 黃宇