Kinara公司發(fā)布首款Ara-2邊緣AI處理器，該產(chǎn)品可為邊緣服務器及個人電腦提供性能優(yōu)越、性價比高且節(jié)能的推理支持，適用范圍廣泛，如視頻分析、大規(guī)模語言模型（LLM）和其他各類AI模型。

針對AI模型發(fā)展趨勢所適用的Transformer架構(gòu)模型，Ara-2同樣表現(xiàn)出色。配備有多種新穎特性，性能穩(wěn)定且高達初代Ara-1處理器的5至8倍以上，兼具高速應答和高吞吐量特質(zhì)。其獨特的片上存儲器設計以及極高的片外帶寬可大大降低性能延遲。

雖然生成式AI應用日趨盛行，但大部分應用仍依賴GPU在數(shù)據(jù)中心運行，存在著延遲高、成本大、隱私泄漏等諸多風險。為了解決此類問題，Ara-2處理器支持生成式AI模型所需要的大量參數(shù)，有效減少了向邊緣遷移的難度。同時，Ara-2的計算引擎和相應的軟件開發(fā)包（SDK）特別設計支持高精度量化、可動態(tài)調(diào)整的主機運行時以及對FP32的直接支持，不僅可無縫指導用戶從昂貴的GPU轉(zhuǎn)移到各種AI模型，也保證了計算效能的最大化利用。

“隨著Ara-2處理器的推出，我們能夠更為全面地滿足不同用戶對性能與成本的需求。之前，適用于智能相機或擁有2至8路視頻流的邊緣AI設備的Ara-1就已深受好評；如今，升級版的Ara-2則更適應于處理承擔16至32路甚至更多視頻流輸入的邊緣服務器或是筆記本電腦，同樣對于高端相機也能輕松應對?！盞inara首席執(zhí)行官Ravi Annavajjhala表示。他進一步補充，“憑借其卓越的計算引擎，Ara-2能夠快速處理高分辨率圖像，準確度大幅提升，進而實現(xiàn)更理想的對象檢測、識別和跟蹤效果。此外，以場景式AI為例，Ara-2在運行Stable Diffusion時僅需10秒即可生產(chǎn)一幅圖像，而在處理LLaMA-7B模型時，其速度最快可達每秒生產(chǎn)數(shù)十個token?！?/p>

今年10月份，Ampere宣布接納Kinara加入其人工智能平臺聯(lián)盟。此舉旨在降低系統(tǒng)復雜程度，推動人工智能領(lǐng)域的協(xié)同合作與創(chuàng)新，以提供總體性能超越GPU、具有更高功耗和成本效益的全新范式。Ampere的首席布道師Sean Varley對此表示贊賞，認為“Kinara的Ara-2性能強大，功能豐富，這無疑是朝著實現(xiàn)比現(xiàn)階段基于GPU的AI解決方案更為優(yōu)秀的道路上邁進了堅實的一步。”

除此之外，Ara-2邊緣AI處理器還兼容安全啟動、加密內(nèi)存訪問和安全主機接口等多項安全技術(shù)，為企業(yè)AI部署提供最強防護措施。Kinara還提供全方位的SDK支持，包括模型編譯工具、計算單元調(diào)度程序、靈活的量化選項以及對PyTorch和TFLite預量化模型的可靠支持、可進行多芯片負載均衡的系統(tǒng)以及動態(tài)調(diào)整的主機。

目前，Ara-2已可采取多種形態(tài)呈現(xiàn)，包括獨立設備、USB模塊、M.2模塊以及具有多顆Ara-2處理器的PCIe卡等。據(jù)了解，Kinara將在即將到來的CES展會上為大家呈獻Ara-2的精彩現(xiàn)場演示。