過(guò)去十年里，人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 經(jīng)歷了重大變革——卷積神經(jīng)網(wǎng)絡(luò) (CNN) 和循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 正在向Transformer和生成式人工智能 (GenAI) 過(guò)渡。這一變革背后，是產(chǎn)業(yè)對(duì)高效、準(zhǔn)確、具有上下文能力、能夠處理復(fù)雜任務(wù)的模型的迫切需求。

最初，AI和ML模型嚴(yán)重依賴數(shù)字信號(hào)處理器 (DSP) 來(lái)執(zhí)行音頻、文本、語(yǔ)音和視覺(jué)處理等任務(wù)。這些模型雖然有效，但在準(zhǔn)確性和可擴(kuò)展性方面存在局限性。神經(jīng)網(wǎng)絡(luò)的引入，尤其是CNN，顯著提高了模型準(zhǔn)確率。例如，作為開(kāi)創(chuàng)性的CNN，AlexNet在圖像識(shí)別方面實(shí)現(xiàn)了65%準(zhǔn)確率，超過(guò)了DSP的50%準(zhǔn)確率。

下一個(gè)行業(yè)里程碑是Transformer的發(fā)展。2017 年，谷歌在其論文《Attention is All You Need》中提出了Transformer概念，帶來(lái)一種更高效的順序數(shù)據(jù)處理方式，徹底改變了AI模型的發(fā)展。不同于CNN以局部方式處理數(shù)據(jù)，Transformer使用注意力機(jī)制來(lái)評(píng)估輸入數(shù)據(jù)中不同部分的權(quán)重。這使得Transformer能夠捕捉數(shù)據(jù)中的復(fù)雜關(guān)系和依賴關(guān)系，從而在自然語(yǔ)言處理 (NLP) 和圖像識(shí)別等任務(wù)中表現(xiàn)出色。

Transformer推動(dòng)了GenAI的興起。GenAI利用Transformer模型根據(jù)學(xué)習(xí)到的模式生成新數(shù)據(jù)，例如文本、圖像甚至音樂(lè)。Transformer理解和生成復(fù)雜數(shù)據(jù)的能力使其成為ChatGPT和DALL-E等熱門(mén)AI應(yīng)用的基礎(chǔ)，這些模型已展示出非凡的能力，如生成連貫的文本和根據(jù)文本描述創(chuàng)建圖像，彰顯了GenAI的潛力。

圖 1：Transformer正在取代機(jī)器視覺(jué)和RNN/CNN，使GenAI實(shí)現(xiàn)更高的準(zhǔn)確性

邊緣設(shè)備部署GenAI的優(yōu)勢(shì)

在邊緣設(shè)備上部署GenAI具有諸多優(yōu)勢(shì)，特別是在實(shí)時(shí)處理、隱私和安全至關(guān)重要的應(yīng)用中。比如，智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和自動(dòng)駕駛汽車(chē)等邊緣設(shè)備都可以受益于GenAI。

在邊緣設(shè)備上部署GenAI可滿足對(duì)低延遲處理的需求。自動(dòng)駕駛、實(shí)時(shí)翻譯和語(yǔ)音助手等應(yīng)用需要即時(shí)響應(yīng)，而云端處理帶來(lái)的延遲可能會(huì)阻礙這一點(diǎn)。通過(guò)在邊緣設(shè)備上直接運(yùn)行GenAI模型，可以最大限度地減少延遲，從而確保更快、更可靠的性能。

隱私和安全也是重要的考慮因素。將敏感數(shù)據(jù)發(fā)送到云端進(jìn)行處理會(huì)帶來(lái)數(shù)據(jù)泄露和未經(jīng)授權(quán)訪問(wèn)的風(fēng)險(xiǎn)。通過(guò)在設(shè)備上本地處理數(shù)據(jù)，邊緣GenAI可以增強(qiáng)隱私并減少潛在的安全漏洞。這在醫(yī)療保健等應(yīng)用中尤為重要，比如患者數(shù)據(jù)必須得到極其謹(jǐn)慎的處理。

連接受限也在推動(dòng)邊緣GenAI的發(fā)展。在互聯(lián)網(wǎng)接入不可靠的偏遠(yuǎn)地區(qū)或無(wú)服務(wù)地區(qū)，配備GenAI的邊緣設(shè)備可以在沒(méi)有云連接的情況下獨(dú)立運(yùn)行，以確保持續(xù)的功能。這對(duì)于災(zāi)難響應(yīng)等應(yīng)用至關(guān)重要，因?yàn)樵谶@些場(chǎng)景中，通信基礎(chǔ)設(shè)施可能無(wú)法使用。

邊緣設(shè)備部署GenAI的挑戰(zhàn)

在邊緣設(shè)備上部署GenAI有諸多益處，但也帶來(lái)了一系列挑戰(zhàn)，包括計(jì)算復(fù)雜性、數(shù)據(jù)要求、帶寬限制、功耗和硬件限制等，需要加以解決以確保模型有效實(shí)施和運(yùn)行。

先來(lái)看GenAI模型的計(jì)算復(fù)雜性。作為GenAI模型的基礎(chǔ)，Transformer由于注意力機(jī)制和廣泛的矩陣乘法而需要進(jìn)行密集計(jì)算，也就需要大量的計(jì)算資源和內(nèi)存，可能會(huì)給邊緣設(shè)備上有限的資源造成壓力。此外，邊緣設(shè)備通常需要執(zhí)行實(shí)時(shí)處理，尤其是在自動(dòng)駕駛或?qū)崟r(shí)翻譯等應(yīng)用中，GenAI模型的高計(jì)算需求，使得在邊緣設(shè)備上實(shí)現(xiàn)必要的速度和響應(yīng)頗具挑戰(zhàn)。

表1：GenAI模型（包括大型語(yǔ)言模型 (LLM) 和圖像生成器）參數(shù)明顯大于CNN

?

數(shù)據(jù)需求也是一個(gè)重大挑戰(zhàn)。訓(xùn)練GenAI模型需要大量數(shù)據(jù)，例如GPT-4模型是在數(shù)TB的數(shù)據(jù)上進(jìn)行訓(xùn)練的，對(duì)于存儲(chǔ)和內(nèi)存容量有限的邊緣設(shè)備來(lái)說(shuō)，處理和存儲(chǔ)這些數(shù)據(jù)是不切實(shí)際的。即使在推理過(guò)程中，GenAI模型也可能需要大量數(shù)據(jù)才能生成準(zhǔn)確且相關(guān)的輸出。由于存儲(chǔ)限制，在邊緣設(shè)備上管理和處理這些數(shù)據(jù)有很大的挑戰(zhàn)。

帶寬限制進(jìn)一步增加了在邊緣設(shè)備上部署GenAI的難度。邊緣設(shè)備通常使用低功耗內(nèi)存接口，如低功耗雙倍數(shù)據(jù)速率 (LPDDR) ，與數(shù)據(jù)中心使用的高帶寬內(nèi)存（HBM）相比，其提供的帶寬較低，可能會(huì)限制邊緣設(shè)備的數(shù)據(jù)處理能力，從而影響GenAI模型的性能。在內(nèi)存和處理單元之間高效地傳輸數(shù)據(jù)對(duì)于發(fā)揮GenAI模型性能至關(guān)重要，有限的帶寬可能會(huì)導(dǎo)致處理速度變慢和效率降低。

功耗是另一個(gè)關(guān)鍵問(wèn)題。由于計(jì)算需求高，GenAI模型可能會(huì)產(chǎn)生較大的功耗，對(duì)于邊緣設(shè)備來(lái)說(shuō)這是一個(gè)關(guān)鍵問(wèn)題，特別是那些依賴電池供電的設(shè)備，如智能手機(jī)、物聯(lián)網(wǎng)設(shè)備和自動(dòng)駕駛汽車(chē)。高功耗還會(huì)增加散熱，需要有效的熱管理解決方案。在緊湊的邊緣設(shè)備中管理散熱也具有挑戰(zhàn)性，并可能影響其使用壽命和性能。

硬件限制也是挑戰(zhàn)之一。與數(shù)據(jù)中心服務(wù)器相比，邊緣設(shè)備的處理能力通常有限。選擇能夠在保持能效和性能的同時(shí)，滿足GenAI需求的合適處理器至關(guān)重要。邊緣設(shè)備的內(nèi)存和存儲(chǔ)容量有限，可能會(huì)限制可部署的GenAI模型的大小和復(fù)雜性。這就需要開(kāi)發(fā)優(yōu)化的模型，使其能夠在這些限制內(nèi)運(yùn)行而不會(huì)影響性能。

模型優(yōu)化可以幫助解決這些挑戰(zhàn)。模型量化（降低模型參數(shù)的精度）和剪枝（去除冗余參數(shù)）等技術(shù)可以幫助降低GenAI模型的計(jì)算和內(nèi)存需求。但是，這些技術(shù)需要謹(jǐn)慎應(yīng)用，以保持模型的準(zhǔn)確性和功能。開(kāi)發(fā)專(zhuān)門(mén)針對(duì)邊緣部署優(yōu)化的模型有助于解決其中一些挑戰(zhàn)，涉及創(chuàng)建輕量級(jí)的GenAI模型，這些模型可以在邊緣設(shè)備上高效運(yùn)行而不會(huì)犧牲性能。

軟件和工具鏈支持也很關(guān)鍵。在邊緣設(shè)備上有效地部署GenAI需要強(qiáng)大的軟件工具和框架來(lái)支持模型優(yōu)化、部署和管理，還需確保軟件資源與邊緣硬件的兼容性，并提供高效的開(kāi)發(fā)流程。對(duì)于實(shí)時(shí)應(yīng)用來(lái)說(shuō)，優(yōu)化推理過(guò)程需減少延遲并提高效率，涉及對(duì)模型進(jìn)行微調(diào)，并利用硬件加速器來(lái)實(shí)現(xiàn)最佳性能。

還必須解決安全和隱私問(wèn)題——確保在邊緣設(shè)備上處理的數(shù)據(jù)的安全性至關(guān)重要，強(qiáng)大的加密和安全的數(shù)據(jù)處理實(shí)踐有助于保護(hù)敏感信息。在邊緣設(shè)備本地處理數(shù)據(jù)，可以盡量減少將敏感數(shù)據(jù)傳輸?shù)皆贫?，?lái)幫助解決隱私問(wèn)題。但是，也要確保GenAI模型本身不會(huì)意外泄露敏感信息。

通過(guò)仔細(xì)選擇硬件、優(yōu)化模型以及利用先進(jìn)的軟件工具來(lái)應(yīng)對(duì)這些挑戰(zhàn)，在邊緣設(shè)備上部署GenAI變得更加可行和有效，使廣泛的應(yīng)用能夠從GenAI的能力中受益，同時(shí)保持邊緣計(jì)算的優(yōu)勢(shì)。

邊緣設(shè)備部署GenAI的處理器選擇

如上所述，選擇合適的嵌入式處理器有助于克服邊緣部署GenAI的挑戰(zhàn)，必須在計(jì)算能力、能源效率和負(fù)載靈活性之間取得平衡。

GPU和CPU具有靈活性和可編程性，因此適用于各種AI應(yīng)用。但是，它們可能不是最節(jié)能的選擇。特別是會(huì)消耗大量電力的GPU，對(duì)電池供電的設(shè)備來(lái)說(shuō)并不理想。ASIC 提供了針對(duì)特定任務(wù)優(yōu)化的解決方案，具有高效率和高性能。然而，其缺乏靈活性，使其很難適配不斷發(fā)展的AI模型和工作負(fù)載。

神經(jīng)處理單元 (NPU) 在靈活性和效率之間取得了平衡。包括新思科技ARC NPX NPU IP在內(nèi)的NPU專(zhuān)為AI工作負(fù)載而設(shè)計(jì)，為矩陣乘法和張量運(yùn)算等任務(wù)提供優(yōu)化的性能，以及可編程且低功耗的解決方案，使其適用于邊緣設(shè)備。

圖 2：邊緣AI/ML的 CPU、GPU、NPU和ASIC比較，NPU提供最高效的處理能力以及可編程性和易用性。

例如，在NPU上運(yùn)行Stable Diffusion這樣的GenAI模型，功耗僅為2瓦，而在GPU上運(yùn)行則需要200瓦，功耗顯著降低。NPU還支持混合精度算法和內(nèi)存帶寬優(yōu)化等高級(jí)功能，能夠更好地滿足GenAI模型的計(jì)算需求。

結(jié)論

向Transformer和GenAI的轉(zhuǎn)變代表了AI和ML領(lǐng)域的重大進(jìn)步。這些模型提供了卓越的性能和多功能性，支持從自然語(yǔ)言處理到圖像生成等廣泛的應(yīng)用。在邊緣設(shè)備上部署GenAI可以釋放無(wú)限可能，提供低延遲、安全且可靠的AI能力。

然而，要充分發(fā)揮邊緣GenAI的潛力，必須解決計(jì)算復(fù)雜性、數(shù)據(jù)需求、帶寬限制和功耗等挑戰(zhàn)。選擇合適的處理器（如NPU）可以提供一個(gè)平衡的解決方案，為邊緣應(yīng)用提供必要的性能和效率。

隨著AI技術(shù)的不斷發(fā)展，邊緣設(shè)備集成GenAI將在推動(dòng)創(chuàng)新和擴(kuò)大智能技術(shù)覆蓋范圍方面發(fā)揮關(guān)鍵作用。通過(guò)應(yīng)對(duì)這些挑戰(zhàn)并利用先進(jìn)處理器的優(yōu)勢(shì)，我們可以讓AI無(wú)縫融入日常生活。