電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）大模型在端側(cè)部署是指將大型神經(jīng)網(wǎng)絡(luò)模型部署在移動(dòng)終端設(shè)備上，使這些設(shè)備能夠直接運(yùn)行這些模型，從而執(zhí)行各種人工智能任務(wù)，如圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等。隨著大模型小型化、場(chǎng)景化需求的增加，推理逐步從云端擴(kuò)展向端側(cè)。這種趨勢(shì)在PC和手機(jī)等終端產(chǎn)品上尤為明顯。

大模型在端側(cè)部署加速

大模型在端側(cè)部署的過(guò)程通常包括幾個(gè)階段，首先是模型訓(xùn)練階段，在這個(gè)階段，使用大量的標(biāo)注數(shù)據(jù)訓(xùn)練出對(duì)應(yīng)的模型文件。訓(xùn)練時(shí)需要考慮模型的大小和計(jì)算量，以便適應(yīng)端側(cè)設(shè)備的硬件條件。

接著是模型壓縮，為了降低模型在端側(cè)設(shè)備上的存儲(chǔ)和運(yùn)行壓力，通常需要對(duì)模型進(jìn)行壓縮。這可以通過(guò)剪枝、量化等手段來(lái)實(shí)現(xiàn)，以減小模型的大小和降低計(jì)算復(fù)雜度。

再就是模型部署，在這個(gè)階段，將壓縮后的模型部署到端側(cè)設(shè)備上。這包括將模型文件傳輸?shù)皆O(shè)備上，在設(shè)備上安裝必要的推理引擎和運(yùn)行時(shí)環(huán)境等步驟。

最后，在模型部署完成后，端側(cè)設(shè)備就可以使用這些模型進(jìn)行推理計(jì)算了。這通常包括加載模型、輸入數(shù)據(jù)預(yù)處理、模型計(jì)算、結(jié)果輸出等步驟。

在大模型端側(cè)部署過(guò)程中，需要考慮一些技術(shù)挑戰(zhàn)和限制。例如，端側(cè)設(shè)備的硬件條件通常比云端服務(wù)器要差很多，因此需要在模型設(shè)計(jì)和壓縮階段充分考慮這些因素。此外，端側(cè)設(shè)備的網(wǎng)絡(luò)帶寬和延遲也可能對(duì)模型推理的實(shí)時(shí)性和準(zhǔn)確性產(chǎn)生影響。

為了克服這些挑戰(zhàn)和限制，一些技術(shù)工具和平臺(tái)被開發(fā)出來(lái)，如MLflow、Ray Serve、Kubeflow、Seldon Core、BentoML和ONNX Runtime等。這些工具可以幫助用戶更方便地構(gòu)建、部署和管理機(jī)器學(xué)習(xí)模型，從而提高模型在端側(cè)設(shè)備上的性能和可用性。

現(xiàn)如今，大模型在端側(cè)的部署正在加速。在PC領(lǐng)域，繼英特爾推出首個(gè)AI PC處理器后，聯(lián)想集團(tuán)、惠普、宏碁等廠商相繼發(fā)布多款A(yù)I PC新品。據(jù)報(bào)道，已有超過(guò)10款筆記本可以本地運(yùn)行AI大模型，并且還有一批新品將陸續(xù)上市。

在手機(jī)領(lǐng)域，從2023年下半年開始，小米、OPPO、vivo等手機(jī)廠商紛紛在新系統(tǒng)中增加大模型能力。到2024年1月，中國(guó)手機(jī)市場(chǎng)Top5中，除蘋果之外，已經(jīng)全數(shù)發(fā)布自有端側(cè)大模型產(chǎn)品。

大模型在端側(cè)部署的優(yōu)勢(shì)也日益凸顯。一方面，端側(cè)部署可以降低數(shù)據(jù)傳輸延遲和帶寬限制，提高實(shí)時(shí)性和響應(yīng)速度。另一方面，端側(cè)部署可以更好地保護(hù)用戶隱私和數(shù)據(jù)安全，因?yàn)閿?shù)據(jù)可以在本地進(jìn)行處理，而無(wú)需傳輸?shù)皆贫恕?br />
國(guó)內(nèi)外廠商推出支持大模型端側(cè)部署芯片

大模型要在端側(cè)部署離不開芯片的支持，英特爾、高通、聯(lián)發(fā)科等都推出了針對(duì)大模型在PC、手機(jī)等移動(dòng)端部署所需的芯片。英特爾推出了首款基于Intel 4制程的酷睿Ultra系列處理器第一代產(chǎn)品Meteor Lake，這款處理器首次在客戶端CPU中采用了Chiplet（芯粒）設(shè)計(jì)和自家的Foveros先進(jìn)封裝技術(shù)，集成了NPU（神經(jīng)網(wǎng)絡(luò)處理單元），可以本地運(yùn)行200億參數(shù)大模型，無(wú)需聯(lián)網(wǎng)即可秒級(jí)生成高質(zhì)量多模態(tài)數(shù)據(jù)。

高通發(fā)布的第三代驍龍8移動(dòng)平臺(tái)，是其首個(gè)專為生成式AI打造的移動(dòng)平臺(tái)。該平臺(tái)支持在終端側(cè)運(yùn)行100億參數(shù)的模型，并面向70億參數(shù)大預(yù)言模型每秒生成高達(dá)20個(gè)token，且能夠在終端側(cè)通過(guò)Stable Diffusion生成圖片。

此外，高通還推出了AI Hub，這是一個(gè)為開發(fā)者提供的AI模型庫(kù)，包括傳統(tǒng)AI模型和生成式AI模型，能夠支持在驍龍和高通平臺(tái)上進(jìn)行部署。這個(gè)模型庫(kù)支持超過(guò)75個(gè)AI模型，如Whisper、ControlNet、Stable Diffusion和Baichuan-7B等，開發(fā)者可以輕松地獲取這些模型并將其集成到應(yīng)用程序中。

聯(lián)發(fā)科與阿里云展開深度合作，在天璣9300和天璣8300移動(dòng)平臺(tái)上實(shí)現(xiàn)了通義千問大模型的端側(cè)部署。聯(lián)發(fā)科的天璣系列移動(dòng)芯片，如天璣9300和天璣8300，都是高性能、高能效的移動(dòng)計(jì)算平臺(tái)。這些芯片不僅具有強(qiáng)大的處理能力，還支持先進(jìn)的5G技術(shù)和生成式AI技術(shù)，為端側(cè)大模型部署提供了堅(jiān)實(shí)的基礎(chǔ)。

另外，國(guó)內(nèi)的愛芯元智、芯動(dòng)力科技等公司也針對(duì)大模型在端側(cè)的部署優(yōu)化產(chǎn)品。愛芯元智的AX650N芯片在大模型端側(cè)部署方面就展現(xiàn)出了顯著的優(yōu)勢(shì)。

具體來(lái)說(shuō)，AX650N在部署Swin Transformer這類大型視覺模型時(shí)，能夠保持高精度和高效率。由于大部分端側(cè)AI芯片在架構(gòu)上對(duì)于MHA（Multi-Head Attention）結(jié)構(gòu)沒有過(guò)多優(yōu)化，因此部署大型模型時(shí)往往需要進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的修改，這可能導(dǎo)致精度下降和重訓(xùn)的麻煩。然而，AX650N通過(guò)其獨(dú)特的架構(gòu)和優(yōu)化，能夠直接支持原版Swin Transformer的部署，從測(cè)試板到demo復(fù)現(xiàn)只需要5分鐘，私有模型在私有環(huán)境中運(yùn)行也僅需1小時(shí)。

此外，AX650N還具備32路視頻解碼/視頻結(jié)構(gòu)化處理、被動(dòng)散熱、支持低延時(shí)編解碼、HDMI輸出和USB 3.0等特性，這些特性使得它非常適合用于各種視覺感知和邊緣計(jì)算的應(yīng)用場(chǎng)景。在大模型端側(cè)部署方面，AX650N不僅提供了強(qiáng)大的計(jì)算能力，還通過(guò)其易部署和低功耗的特點(diǎn)，為實(shí)際應(yīng)用落地提供了更多的可能性。

芯動(dòng)力科技是一家清華系的AI芯片創(chuàng)企，他們面向大模型推出了AzureBlade L系列M.2加速卡。這款加速卡具有強(qiáng)大的性能，能夠順利運(yùn)行大模型系統(tǒng)，并且其大小僅為80mm（長(zhǎng)）x22mm（寬），非常適合在PC等端側(cè)設(shè)備上部署。

AzureBlade L系列M.2加速卡已經(jīng)實(shí)現(xiàn)了與Llama 2、Stable Diffusion等模型的適配，成為助推大模型在端側(cè)設(shè)備上部署的加速器。這種具備體積小、性能強(qiáng)，且有通用接口的M.2加速卡，能夠突破端側(cè)設(shè)備有限的計(jì)算和存儲(chǔ)能力，為大模型在端側(cè)的落地提供了機(jī)會(huì)。

寫在最后

大模型在端側(cè)部署是一個(gè)復(fù)雜的過(guò)程，需要考慮多種因素和技術(shù)挑戰(zhàn)。但是通過(guò)合理的模型設(shè)計(jì)、壓縮和優(yōu)化以及使用適當(dāng)?shù)墓ぞ吆推脚_(tái)，就可以讓端側(cè)設(shè)備具備更強(qiáng)的人工智能能力。如今，在產(chǎn)業(yè)鏈各環(huán)節(jié)的努力下，大模型在端側(cè)部署的現(xiàn)狀呈現(xiàn)出加速的趨勢(shì)，預(yù)計(jì)，未來(lái)隨著技術(shù)的不斷進(jìn)步和優(yōu)化，大模型在端側(cè)部署的應(yīng)用將會(huì)越來(lái)越廣泛。