當(dāng)前，以生成式AI為代表的新一代人工智能技術(shù)持續(xù)火熱，大模型推理場(chǎng)景向端側(cè)加速遷移，在深度變革人機(jī)交互界面的同時(shí)，也為手機(jī)、PC等消費(fèi)電子產(chǎn)業(yè)注入源源動(dòng)能。然而，生成式AI對(duì)硬件的快速賦能背后，也對(duì)算力、存儲(chǔ)等方面提出了新的需求。這些新的需求，也為芯片廠商、終端廠商以及應(yīng)用開(kāi)發(fā)者帶來(lái)了新的挑戰(zhàn)與新的機(jī)遇。

我們應(yīng)該如何應(yīng)對(duì)這些挑戰(zhàn)？如何把握生成式AI帶來(lái)的機(jī)遇呢？產(chǎn)業(yè)各界已經(jīng)聯(lián)手給出了答案。

近日，國(guó)內(nèi)領(lǐng)先的通用計(jì)算CPU設(shè)計(jì)公司此芯科技正式推出了其首款專(zhuān)為AI PC打造的異構(gòu)高能效芯片產(chǎn)品——“此芯P1”。據(jù)了解，這款芯片不僅異構(gòu)集成了Armv9 CPU核心與Arm Immortalis GPU，還搭載了安謀科技“周易”NPU等自研業(yè)務(wù)產(chǎn)品，能夠提供高效能的異構(gòu)算力資源、系統(tǒng)級(jí)的安全保障以及技術(shù)生態(tài)支持，將更好地滿足生成式AI在PC等端側(cè)場(chǎng)景的應(yīng)用需求。

除AI PC以外，AI手機(jī)同樣熱度高漲，三星、華為、小米、vivo、OPPO、榮耀等各大手機(jī)廠商也都在積極探索與端側(cè)AI的深度融合，力求為用戶(hù)帶來(lái)更加智能化的新體驗(yàn)。

如此看來(lái)，推動(dòng)端側(cè)AI快速落地，需要更多類(lèi)似的創(chuàng)新應(yīng)用方案，而其中的底層技術(shù)革新更是關(guān)鍵所在。

眾所周知，AI大模型從生產(chǎn)到應(yīng)用主要包括“訓(xùn)練”和“推理”兩個(gè)步驟。其訓(xùn)練和推理過(guò)程需要占用大量的計(jì)算資源和存儲(chǔ)空間，通常部署在云計(jì)算平臺(tái)上。而當(dāng)用戶(hù)調(diào)用智能對(duì)話助手等AI大模型時(shí)，必須聯(lián)網(wǎng)接入。但云端大模型不僅算力成本高昂，而且在實(shí)時(shí)性、數(shù)據(jù)隱私安全等方面也面臨著諸多挑戰(zhàn)。

在此背景下，端側(cè)大模型順勢(shì)而生。其核心是將AI大模型直接部署到終端設(shè)備，讓這些設(shè)備擁有“本地智能”，無(wú)需依賴(lài)網(wǎng)絡(luò)連接，即可自行完成數(shù)據(jù)處理和智能決策。

在新一輪端側(cè)大模型熱潮中，以下兩大趨勢(shì)正逐步顯現(xiàn)：

首先是大模型逐漸小型化，通過(guò)將大模型的參數(shù)規(guī)模進(jìn)行有效壓縮，以適配終端設(shè)備的軟硬件性能范圍。目前，大模型廠商新品往往包含大、中、小等不同參數(shù)量級(jí)，其最小的模型參數(shù)多在百億以下。這背后的原因主要是出于對(duì)計(jì)算成本、功耗和性能等因素的綜合考量，尤其是在端側(cè)部署大模型時(shí)，百億參數(shù)級(jí)大模型能夠更好地匹配現(xiàn)階段的大眾級(jí)終端設(shè)備。

第二個(gè)趨勢(shì)是終端廠商正加速端側(cè)大模型“裝機(jī)”。以PC和手機(jī)為例，自去年以來(lái)，頭部PC廠商相繼推出了內(nèi)置本地大模型的AI PC新品，國(guó)內(nèi)主流手機(jī)廠商也已經(jīng)在其旗艦產(chǎn)品中成功部署70億參數(shù)規(guī)模的大模型，AI PC和AI手機(jī)隨即進(jìn)入了應(yīng)用爆發(fā)期。除此之外，端側(cè)大模型也已擴(kuò)展到智能汽車(chē)以及具身智能機(jī)器人、AR/VR等IoT設(shè)備領(lǐng)域。

綜上所述，模型公司與終端硬件公司正相向而行，共同推動(dòng)端側(cè)大模型的場(chǎng)景化落地，讓更多普通消費(fèi)者也能輕松享用到大模型帶來(lái)的智能體驗(yàn)。而大模型與終端產(chǎn)品二者間的交匯點(diǎn)，正是邊緣端設(shè)備的計(jì)算基礎(chǔ)——芯片。

其中，CPU作為最為核心的計(jì)算“大腦”，在端側(cè)推理過(guò)程中發(fā)揮著不容小覷的作用。

CPU作為智能終端的運(yùn)算及控制中樞，其性能直接關(guān)系到端側(cè)設(shè)備的響應(yīng)速度、處理能力、能效、用戶(hù)體驗(yàn)和安全性等，是衡量終端性能的關(guān)鍵指標(biāo)。生成式AI興起后，隨著大模型小型化和推理任務(wù)向端側(cè)遷移，CPU始終穩(wěn)居終端硬件的核心地位，能夠出色勝任本地AI推理，為海量設(shè)備提供強(qiáng)有力的計(jì)算支持。具體來(lái)看：

首先，AI處理始于CPU。早期智能手機(jī)上的AI功能大多基于自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)（CV）等技術(shù)，如文字轉(zhuǎn)寫(xiě)、人臉識(shí)別、相冊(cè)分類(lèi)、美顏濾鏡等細(xì)分功能。此類(lèi)AI工作負(fù)載或是全權(quán)交由CPU處理，或是結(jié)合其他協(xié)處理器共同支持。

其次，AI處理爆發(fā)于CPU。CPU的通用性使其能夠快速響應(yīng)端側(cè)大模型在不同場(chǎng)景的落地需求。例如面對(duì)入門(mén)級(jí)智能手機(jī)、汽車(chē)智能座艙、AIoT設(shè)備等應(yīng)用場(chǎng)景，CPU可高效處理參數(shù)規(guī)模在數(shù)十億級(jí)別的小型計(jì)算任務(wù)。而在PC和旗艦智能手機(jī)等更高階的應(yīng)用場(chǎng)景，所需處理的計(jì)算任務(wù)則相對(duì)復(fù)雜且龐大，即便配備了AI專(zhuān)用加速器，CPU依舊是不可或缺的計(jì)算基石，且能獨(dú)立承擔(dān)處理百億參數(shù)級(jí)別的更大規(guī)模計(jì)算任務(wù)。

Arm CPU憑借其在低功耗、高能效上的顯著優(yōu)勢(shì)，被廣泛應(yīng)用于各類(lèi)消費(fèi)電子設(shè)備。得益于Arm CPU的AI計(jì)算能力，目前全世界約99%的智能手機(jī)都具備在端側(cè)處理大模型所需的技術(shù)，包括NEON擴(kuò)展架構(gòu)、SVE可擴(kuò)展向量擴(kuò)展技術(shù)、SME可擴(kuò)展矩陣擴(kuò)展技術(shù)等關(guān)鍵Arm架構(gòu)功能。以當(dāng)今的安卓平臺(tái)來(lái)看，第三方應(yīng)用中有70%的AI運(yùn)行在Arm CPU上。除手機(jī)外，基于Arm CPU的PC市場(chǎng)規(guī)模也在迅速增長(zhǎng)。

面向下一代AI終端設(shè)備，全新Arm終端計(jì)算子系統(tǒng)（CSS）應(yīng)運(yùn)而生，這是迄今為止運(yùn)行速度最快的Arm計(jì)算平臺(tái)，不僅在計(jì)算和圖形性能上實(shí)現(xiàn)30%以上的提升，而且AI推理速度提高了59%，適用于更廣泛的AI、機(jī)器學(xué)習(xí)（ML）和計(jì)算視覺(jué)工作負(fù)載。同步推出的還有Arm Kleidi軟件開(kāi)發(fā)平臺(tái)，能夠幫助開(kāi)發(fā)者快速獲得開(kāi)發(fā)生成式AI應(yīng)用所需的性能、工具和軟件庫(kù)。

Arm終端CSS和Arm KleidiAI等新一代終端計(jì)算技術(shù)將進(jìn)一步加速AI終端普及。預(yù)計(jì)2025年底，基于Arm架構(gòu)的AI設(shè)備有望突破1000億臺(tái)。

與此同時(shí)，隨著端側(cè)推理需求的日漸高漲，生成式AI用例將在更多元化的應(yīng)用場(chǎng)景中“遍地開(kāi)花”，然而計(jì)算任務(wù)復(fù)雜度和數(shù)據(jù)量也隨之激增，將對(duì)未來(lái)AI終端硬件提出更高的要求。由此，兼具通用性和專(zhuān)用性的異構(gòu)計(jì)算解決方案已是大勢(shì)所趨，它能夠有機(jī)融合CPU、GPU、NPU等不同處理器，以滿足端側(cè)大模型部署的多樣化計(jì)算需求。

其中，NPU全稱(chēng)Neural Processing Unit（神經(jīng)網(wǎng)絡(luò)處理單元），專(zhuān)門(mén)針對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)與優(yōu)化，能更加高效地運(yùn)行Transformer架構(gòu)的AI模型。隨著AI手機(jī)、AI PC概念的普及，NPU的重要性也日益凸顯，它可以在視頻、圖像、系統(tǒng)管理等各類(lèi)場(chǎng)景中發(fā)揮出色的AI加速能力，解決日益增長(zhǎng)的終端推理需求。

安謀科技早在成立之初既已布局AI賽道，本土自研的“周易”NPU目前已迭代了Z系列和X系列的多款產(chǎn)品，廣泛應(yīng)用于中高端安防、智能家居、移動(dòng)設(shè)備、物聯(lián)網(wǎng)、智能座艙、ADAS、邊緣服務(wù)器等市場(chǎng)。

開(kāi)篇提到的“此芯P1”則采用了基于第三代“周易”架構(gòu)設(shè)計(jì)的NPU。通過(guò)對(duì)低功耗與高算力的針對(duì)性?xún)?yōu)化，“周易”NPU不僅能夠勝任長(zhǎng)時(shí)間、高負(fù)載的任務(wù)處理，還支持多核多Cluster的算力擴(kuò)展。在“周易”NPU的設(shè)計(jì)上，安謀科技從性能、精度、帶寬、調(diào)度管理、算子支持等多個(gè)維度，對(duì)各類(lèi)圖像、視頻AI模型算法進(jìn)行了深度優(yōu)化，并且完成了對(duì)主流大模型的適配，進(jìn)一步強(qiáng)化其在面對(duì)高性能AI計(jì)算需求時(shí)的表現(xiàn)。

面對(duì)端側(cè)生成式AI的高速發(fā)展和算力需求的不斷攀升，CPU無(wú)疑是為終端設(shè)備提供了得以接入AI功能的廣泛計(jì)算基礎(chǔ)，而異構(gòu)計(jì)算與NPU則為多模態(tài)大模型等新興AI應(yīng)用在端側(cè)落地打開(kāi)了新的想象空間。但無(wú)論設(shè)備和應(yīng)用如何演進(jìn)，算力始終是支撐端側(cè)AI發(fā)展的基石，也是引領(lǐng)終端AI創(chuàng)新的核心引擎。

審核編輯 黃宇