當(dāng)前，AI大模型正逐步從云端遷移至邊緣，甚至深入至日常生活中的手機、個人電腦（PC）、汽車等終端。在這場變革中，端側(cè)智能正逐漸嶄露頭角，預(yù)示著未來的智能設(shè)備將能夠更實時、高效地理解和服務(wù)用戶。在E維智庫舉辦的第12屆中國硬科技產(chǎn)業(yè)鏈創(chuàng)新趨勢峰會暨百家媒體論壇上，安謀科技的產(chǎn)品總監(jiān)鮑敏祺深入剖析了端側(cè)AI應(yīng)用的廣闊前景，并強調(diào)了神經(jīng)處理單元（NPU）在這一領(lǐng)域中的關(guān)鍵作用。

關(guān)于端側(cè)大模型，鮑敏祺指出，AIGC大模型帶來的算力提升為端側(cè)AI帶來了新的發(fā)展機遇。這些大模型已經(jīng)在手機上實現(xiàn)了應(yīng)用，如圖片理解、關(guān)鍵信息提取等，顯著提升了用戶體驗。例如，Apple Intelligence等大模型雖然尚未對國內(nèi)用戶開放，但已經(jīng)引起了廣泛的關(guān)注和測評。這些應(yīng)用不僅提高了使用效率，還逐漸融入了人們的日常生活。

然而，鮑敏祺也提到，端側(cè)AI的算力是否會像云端一樣持續(xù)膨脹仍是一個未知數(shù)。由于存儲帶寬的限制以及用戶體驗對實時性的高要求，大模型必須在用戶能接受的時間內(nèi)（通常是2秒以內(nèi)）給出反饋。因此，在當(dāng)前帶寬條件下，部署大模型需要權(quán)衡帶寬制約與用戶體驗。

目前，眾多國內(nèi)外廠商已從商業(yè)化角度推出了大模型，并達成共識，認(rèn)為AI NPU是未來消費類產(chǎn)品的重點投入方向。頭部終端廠商如OPPO、VIVO、小米、榮耀、華為等也都有相應(yīng)的解決方案。這些方案并非僅依賴端側(cè)大模型，而是與云端相輔相成，共同提升用戶體驗。端側(cè)的優(yōu)勢在于時效性和數(shù)據(jù)本地安全性，而云端則具備更強的理解和計算能力。

在評估端側(cè)大模型時，語言類模型或文生圖常被用作參考。但鮑敏祺認(rèn)為，語言類模型并非端側(cè)應(yīng)用的終點。隨著技術(shù)的發(fā)展，圖片、音頻、視頻等多模態(tài)輸入將成為常態(tài)。這些輸入需要經(jīng)過壓縮和Tokenizer處理，轉(zhuǎn)換成模型能理解的Token。而大型語言模型（LLM）的基本原理并未改變，只是輸入和輸出過程增加了編碼和解碼步驟。

另一個挑戰(zhàn)在于，上下文長度的增長對模型性能提出了更高要求。衡量語言模型的指標(biāo)包括每秒處理的Token數(shù)和首次響應(yīng)時間（TTFT）。隨著上下文長度的增加，首次延遲也會線性增長。因此，在端側(cè)容量和帶寬有限的情況下，需要優(yōu)化算法以提升算力效率。

一個明顯的趨勢是，AI的應(yīng)用將越來越廣泛，涉及多模態(tài)場景。隨著AI的發(fā)展，人們可能會更多地與智能體進行交互。這些智能體不僅能理解和執(zhí)行任務(wù)，還能通過強化學(xué)習(xí)不斷優(yōu)化自己的行為。

在多模態(tài)場景下，AI的應(yīng)用將不再局限于傳統(tǒng)設(shè)備。從手持設(shè)備到邊緣計算、PC、汽車，再到云端，AI將無處不在。然而，不同場景對AI算力的需求各不相同。手持設(shè)備由于功耗和芯片面積的限制，通常只能支持較小規(guī)模的模型。而在邊緣計算、PC、汽車等端，模型體量可能更大。在云端，由于有充足的資源和帶寬，模型體量可以更大，從而接受各種知識并進行持續(xù)迭代。

AI的賦能不僅限于傳統(tǒng)設(shè)備，它還能為以前看似市場前景有限的終端設(shè)備帶來新的生命力。例如，通過賦予可穿戴設(shè)備簡單的語音控制和視覺拍照功能，這些設(shè)備可能會變得非常受歡迎。這種多模態(tài)的輸入和直接使用的功能使得這些設(shè)備在競爭激烈的市場中脫穎而出。

然而，端側(cè)AI也面臨著諸多挑戰(zhàn)。首先是成本、功耗和生態(tài)系統(tǒng)的問題。存儲介質(zhì)的帶寬和成本是制約端側(cè)AI發(fā)展的關(guān)鍵因素之一。盡管存儲技術(shù)不斷進步，但端側(cè)設(shè)備仍然無法像云端那樣擁有TB級別的帶寬。此外，端側(cè)設(shè)備的芯片面積和計算資源也非常有限。

第二個挑戰(zhàn)是功耗問題。在AI應(yīng)用中，數(shù)據(jù)的搬運是功耗的主要來源之一。對于大模型來說，由于顯存占用大，無法像卷積神經(jīng)網(wǎng)絡(luò)（CNN）那樣通過高復(fù)用度來提高能效。因此，如何降低數(shù)據(jù)搬運的功耗成為了一個亟待解決的問題。

此外，軟件和工具的優(yōu)化也是一大挑戰(zhàn)。AI模型需要不斷迭代優(yōu)化才能滿足用戶需求。然而，當(dāng)前的軟件和工具在支持大模型優(yōu)化方面還存在不足。

針對這些挑戰(zhàn)，安謀科技推出的“周易”NPU采取了一系列應(yīng)對策略。首先，它在保留CNN能力的同時，增強了對Transformer大模型的支持。通過優(yōu)化微架構(gòu)和計算能力，提升了Transformer的運算效率。其次，“周易”NPU注重數(shù)據(jù)本地化，通過混合精度量化和無損壓縮來減少數(shù)據(jù)搬運和提升有效帶寬。此外，它還針對大模型進行了總線帶寬的擴展以滿足解碼等場景對帶寬的高需求。

為了進一步提升能效，“周易”NPU還采用了數(shù)據(jù)并行、模型并行、負(fù)載均衡和Tiling等技術(shù)。同時，它也支持異構(gòu)策略，可以獨立執(zhí)行AI任務(wù)，并根據(jù)需求自由裁剪。在端側(cè)應(yīng)用中，“周易”NPU還采用了電源門控和低功耗策略以降低不必要的功耗。

通過這些創(chuàng)新技術(shù)，“周易”NPU有效應(yīng)對了端側(cè)AI面臨的挑戰(zhàn)，為多模態(tài)場景下的AI應(yīng)用提供了強有力的支持。針對不同應(yīng)用場景，如智能汽車、手機PC、AIOT等，安謀科技也制定了差異化的策略。

在智能汽車領(lǐng)域，安謀科技關(guān)注智艙一體等趨勢，提供了全面的IP解決方案。這包括用于渲染顯示的GPU、用于處理攝像頭數(shù)據(jù)的前級處理器以及用于安全相關(guān)功能的安全處理器（SPU）。特別值得一提的是，“周易”NPU具備20到320TOPS的可擴展性，以滿足不同場景下的算力需求。例如，在汽車信息娛樂系統(tǒng)（IVI）場景中，算力要求相對較低；而在高級駕駛輔助系統(tǒng)（ADAS）場景中，由于需要執(zhí)行多任務(wù)特別是CNN場景下的任務(wù)，算力需求則顯著提升?！爸芤住盢PU的靈活性使其能夠適應(yīng)各種汽車場景并實現(xiàn)完整端到端的解決方案。

對于AI加速卡場景，安謀科技關(guān)注輸入與輸出的高效處理特別是圖像和視頻數(shù)據(jù)的輸入與AI計算的輸出。加速卡具備HOST AP交互能力并強調(diào)安全性如JPEG解碼能力和根據(jù)實際需求定制的NPU。根據(jù)應(yīng)用場景的不同如NVMe存儲形式、車載或手機等TDP功耗和算力需求也會有所差異。能效比是一個重要考慮因素例如在5瓦TDP功耗下有效算力可達25TOPS左右。整個解決方案多樣不僅針對語言模型還著眼于未來多模態(tài)模型的需求。

在AIOT場景中算力需求相對較低但受到AIOT設(shè)備面積和功耗的限制。然而對安全性的要求卻更高包括固件和安全性的強化。與服務(wù)器或板卡等密封形式不同AIOT場景對安全性的需求進一步提升。安謀科技的“周易”NPU能夠在此類場景中提供20TOPS到320TOPS的算力裁減主要用于聲音和圖象的檢測?？紤]到端側(cè)可能放置較低精度的模型以保證量化效果整個解決方案在保障安全的同時也通過一定算力的內(nèi)容對語音類場景進行AI加速。

隨著技術(shù)的不斷進步和創(chuàng)新，未來的智能設(shè)備將更加智能、高效和便捷。NPU也將在這一過程中發(fā)揮更加重要的作用。據(jù)悉安謀科技的下一代“周易”NPU在生態(tài)上已廣泛部署了Wenxin、Llama、GPT等模型，并在端側(cè)覆蓋了平板電腦（PAD）、PC、手機（Mobile）等各類場景。對于智能汽車領(lǐng)域無論是IVI還是ADAS場景都能根據(jù)實際算力需求和模型提供針對性的解決方案最高可達320TOPS的算力。