生成式AI的變革已悄然降臨。面對生成式AI的多元化用例需求和復(fù)雜的計算需求，我們亟待擁有專為AI打造的新型計算架構(gòu)。為此，需要具備新型神經(jīng)網(wǎng)絡(luò)處理器（NPU）和中央處理器 （CPU）/圖形處理器（GPU）等多核處理器的整合能力。通過配備專用的NPU并合理運用各類處理器資源，異構(gòu)計算可以帶來更出色的性能、更高的能效及持續(xù)耐久的電池壽命。

處理器的選擇就像工具箱里尋找恰當(dāng)工具，它會極大程度地提升生成式AI體驗。

異構(gòu)計算的重要性不可忽視。根據(jù)生成式AI的獨特需求和計算負擔(dān)，需要配備不同的處理器，如專注于AI工作負載的定制設(shè)計的NPU、CPU和GPU。每種處理器都有其獨特的優(yōu)點：CPU擅長有序操作和實時響應(yīng)；GPU擅長并行數(shù)據(jù)流處理；NPU則專長于標(biāo)量、向量和張量數(shù)學(xué)運算，成為核心AI工作負載的首選。這種異構(gòu)計算策略有助于實現(xiàn)最佳的應(yīng)用性能、能效和電池壽命，從而締造出精美的生成式AI用戶體驗。

截至目前，專為NPU精心研制的NPU技術(shù)正隨著AI應(yīng)用場景和模型的演變而不斷升級。

到底什么才是神經(jīng)網(wǎng)絡(luò)處理器NPU呢？NPU的使命便是以低功耗的方式加速AI推論，因此其架構(gòu)亦需隨著新的AI算法、模型和應(yīng)用選擇而有所升級調(diào)整。其主要任務(wù)是處理包含了標(biāo)量、向量和張量數(shù)學(xué)在內(nèi)的神經(jīng)網(wǎng)絡(luò)層計算以及非線性激活函數(shù)。一款優(yōu)質(zhì)的NPU需能精確處理相關(guān)AI工作負載，以便在目前的AI產(chǎn)業(yè)趨勢下保持競爭力。

高通公司的第三代人工智能引擎（AI Engine）包含了先進的麻省理工學(xué)院授權(quán)的Kumu深度學(xué)習(xí)軟件、Hexagon NPU，以及Vulcan向量處理引擎。

在AI行業(yè)，高通對異構(gòu)計算的研究與投入堪稱翹楚。其領(lǐng)先的驍龍850移動計算平臺采用了全新的高通Hexagon 690 NPU，匯聚 AI Engine和Adreno 640/630 GPU的強大處理能力，實現(xiàn)了AI性能的大幅躍升。此外，這套AI Engine還囊括了先進的Vulkan向量處理引擎以及更為全面的高通傳感器中樞和內(nèi)存子系統(tǒng)等芯端部件。這些部件在終端側(cè)共同協(xié)作，為用戶提供極速有效的AI應(yīng)用執(zhí)行環(huán)境。

實踐證明，采用驍龍850移動計算平臺的設(shè)備在AI基準(zhǔn)測評和實際生成式AI應(yīng)用方面均表現(xiàn)出色，碩果累累。

為了更好地賦能開發(fā)者，高通推出了自家的AI軟件棧（ Qualcomm AI Stack）。利用這個工具包，開發(fā)者只需要編寫一次代碼，就能任意地點進行應(yīng)用開發(fā)和適應(yīng)性擴容。

通過將技術(shù)領(lǐng)導(dǎo)力、定制芯片設(shè)計、全棧AI優(yōu)化和生態(tài)系統(tǒng)賦能充分結(jié)合，高通技術(shù)公司在推動終端側(cè)生成式AI開發(fā)和應(yīng)用方面獨樹一幟。高通技術(shù)公司正在賦能終端側(cè)生成式AI的規(guī)模化擴展。