Arm 與騰訊攜手合作，成功將 Arm KleidiAI 軟件庫集成到騰訊自研的 Angel 機(jī)器學(xué)習(xí)框架。

借助 KleidiAI 解鎖卓越性能、能效和可移植性，騰訊混元大模型能夠?qū)崿F(xiàn)更快、更高效的 AI 性能，顯著提升應(yīng)用功能和用戶體驗(yàn)，并加速未來 CPU 架構(gòu)的創(chuàng)新與集成。

在 Arm Tech Symposia 深圳年度技術(shù)盛會(huì)上，Arm 宣布與騰訊合作，成功將 Arm KleidiAI 技術(shù)融入騰訊混元自研的 Angel 機(jī)器學(xué)習(xí)框架。這一合作旨在提高移動(dòng)端人工智能 (AI) 服務(wù)的推理性能和效率，為用戶提供卓越的端側(cè) AI 體驗(yàn)。此項(xiàng)技術(shù)成果首先落地騰訊旗下的多款應(yīng)用，預(yù)計(jì)將惠及騰訊的龐大的用戶群體，為他們帶來更優(yōu)質(zhì)的使用體驗(yàn)。

Angel 機(jī)器學(xué)習(xí)框架的作用

Angel 機(jī)器學(xué)習(xí)框架支持騰訊混元大模型 (LLM)，該通用 AI 模型擁有萬億參數(shù)，并在超過 7 萬億個(gè)詞元 (token) 的語料庫中進(jìn)行訓(xùn)練。混元大模型以其強(qiáng)大的中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力，而廣受贊譽(yù)。該模型已部署于騰訊旗下包括企業(yè)微信、QQ 瀏覽器和和搜狗輸入法在內(nèi)的 700 款應(yīng)用中。

與此同時(shí)，為了滿足不斷增長的市場需求，并順應(yīng)行業(yè)發(fā)展趨勢，騰訊混元大模型推出了更小的參數(shù)規(guī)模版本，包括 7B、3B、2B 和 1B 版本，并已部署在智能手機(jī)、Windows on Arm PC 等消費(fèi)類設(shè)備上。騰訊混元大模型所具備的靈活性使其 AI 功能可以在各種設(shè)備上取得，同時(shí)提供了一致的性能和用戶體驗(yàn)。

AI 性能的顯著提升

Arm Kleidi 集成了最新的開發(fā)者賦能技術(shù)和軟件庫，如 Arm KleidiAI。Arm 致力于將 KleidiAI 直接集成到主流的框架中，讓開發(fā)者能夠自動(dòng)獲取最佳性能，以加速運(yùn)行于 Arm Cortex-A 和 Neoverse CPU 上的 AI 工作負(fù)載。KleidiAI 的集成可幫助開發(fā)者加速開發(fā)進(jìn)程，解鎖 AI 性能，并在廣泛應(yīng)用的 Arm CPU 提供對未來功能的前向兼容，從而在端側(cè)實(shí)現(xiàn)出色的 AI 體驗(yàn)。

KleidiAI 軟件庫的另一個(gè)優(yōu)勢是它們直接嵌入到框架中，而非僅限于特定硬件。這意味著它們帶來的性能加速優(yōu)勢可以無縫遷移至不同的生態(tài)系統(tǒng)。這種可移植性使騰訊團(tuán)隊(duì)能夠在包括 Android 和 Windows 在內(nèi)的所有主流操作系統(tǒng)上測試 KleidiAI。因此，將 KleidiAI 集成至混元 Angel AI 框架中將能為跨操作系統(tǒng)的不同基于 Arm 的設(shè)備帶來顯著的性能提升。

具體來說，混元大模型的預(yù)填充部分加速了 100%，而解碼器的速度提高了 10%。這些性能改善有助于實(shí)現(xiàn)更快、更高效的 AI 操作。

Arm 終端事業(yè)部產(chǎn)品管理副總裁 James McNiven 表示：在 AI 時(shí)代，為了最大化把握并拓展 AI 機(jī)遇，開發(fā)者需要最迅捷的 AI 部署方法及最適配其特定工作負(fù)載的最優(yōu)性能。Arm KleidiAI 與騰訊 Angel 機(jī)器學(xué)習(xí)框架的集成彰顯了賦能 AI 性能向前邁出了重要一步，與此同時(shí)提供優(yōu)秀的能效表現(xiàn)，雙方將發(fā)揮各自的優(yōu)勢，為騰訊眾多應(yīng)用場景提供卓越的 AI 體驗(yàn)。

騰訊機(jī)器學(xué)習(xí)平臺(tái)部總經(jīng)理，騰訊混元大模型負(fù)責(zé)人王迪表示：Angel 機(jī)器學(xué)習(xí)框架是我們大模型的技術(shù)基礎(chǔ)之一，騰訊混元已經(jīng)構(gòu)建起了全鏈路的大模型矩陣和應(yīng)用平臺(tái)。同時(shí)，騰訊混元不斷完善部署生態(tài)。我們期待通過集成 Arm KleidiAI 來加速 AI 大模型的創(chuàng)新，支持更多的混元產(chǎn)品矩陣，包括 FP16 加速和稀疏加速，為用戶帶來更加豐富和高效的端側(cè) AI 服務(wù)。