2023年3月28日，安謀科技（中國）有限公司正式發(fā)布自研新一代人工智能處理器“周易”X2 NPU。周易NPU是安謀的一個IP系列，此前發(fā)布的“周易”X1 NPU產品主要是基于的V1、V2架構，更多是用在AIoT領域，此次發(fā)布的“周易”X2 NPU是安謀科技第一款基于V3架構的NPU，算力有大幅提升，能夠支持int4/int8/int12/int16/int32，fp16/bf16/fp32多精度融合計算，計算效率與計算密度也得到了顯著提升。還針對車載、邊緣計算等應用場景進行了專門優(yōu)化，為新興領域不斷迭代的計算需求提供更為完善的解決方案。

“周易”X2 NPU性能全面升級

“周易”X2 NPU作為新一代人工智能處理器，采用第三代“周易”架構，支持多核Cluster，最高可達320TOPS子系統(tǒng)。

安謀科技產品總監(jiān)楊磊介紹，相比于“周易”X1和“周易”Z系列都是單核NPU的解決方案，“周易”X2有一個集群（Cluster）的概念，擁有多個NPU的核，算力得到成倍的提升。Cluster內部有總線的互聯(lián)，用于數(shù)據(jù)的溝通和維護，也有內部的存儲系統(tǒng)，協(xié)調不同核間的數(shù)據(jù)通信。同時還支持多個Cluster，整個算力可以成倍提升。通過多核構成Cluster，多個Cluster構成一個子系統(tǒng)的方案來完成大算力的產品形態(tài)的交付。

“周易”X2 NPU主要功能升級

楊磊進一步分析，這里面有一個很核心的功能，就是任務調度器Task Scheduling Manager，簡稱為TSM，它可以同時調度多個Cluster的多個核心。舉例來說，當車有10個攝像頭，有10路數(shù)據(jù)進來，可以每一路都跑一個檢測的算法，它可以當成是10個任務，假設只有4個核心，通過調度器發(fā)現(xiàn)哪個核是空閑的，就可以把任務立刻調度給那個核心做計算，因此它完全是動態(tài)、實時的調度的解決方案。實時的硬件任務管理使得“周易”X2 NPU可實現(xiàn)最高千萬次/秒的任務調度，將各個計算單元的效能發(fā)揮到最佳。

一般來說，數(shù)據(jù)要從片外的存儲設備中來讀取，這個傳輸通道在物理上有限制，其次通道速度越快整個方案的成本也會越高，而i-Tiling的技術方案節(jié)省帶寬需求，進一步提升計算效率，從而大幅降低系統(tǒng)的成本。同時，還增加了無損權重壓縮技術，進一步節(jié)省帶寬。以汽車應用上處理一個4K分辨率的單路圖像為例，去噪聲計算需要40GB帶寬，基于i-Tiling技術，能夠大幅壓縮帶寬。它是把一個很大的圖片拆成若干個小塊，這樣每一個tile就變得很小，而memory緩存在芯片內部，不需要把數(shù)據(jù)放到外部設備做讀寫操作，從而節(jié)省對外部帶寬的需求。

此前，“周易”Z系列，包括“周易”X1的處理都是基于定點的方案，也就是int8整型方案來做的NPU，它的好處是兼顧了計算性能和密度和芯片成本。在汽車領域對于計算的精度要求更高，“周易”X2 NPU支持混合精度計算，支持int4/int8/int12/int16/int32，fp16/bf16/fp32多精度融合計算，既可以是定點的計算、整型的數(shù)據(jù)計算，也支持浮點的16bit或者是32bit的計算，計算效率與計算密度得到顯著提升。
“周易”X2 NPU優(yōu)化了Transformer性能。如今汽車領域大量地采用Transformer結構，Transformer是一個在汽車領域很常見的AI模型，有基于圖像、基于分割檢測的模型。

此外，在低功耗領域做了很多的技術升級，在7nm工藝節(jié)點上做到10TOP/W的能效。面向手機、平板電腦、PC等市場可以提供30T算力，這個算力基本上可以對標現(xiàn)在業(yè)界旗艦手機的NPU的解決方案。針對手持設備做了專門的優(yōu)化，比如說拍照的AI去噪聲，視頻超分辨率、插幀等。總之整個“周易”X2產品有大量的技術升級，滿足面向汽車以及手持設備的產品的需求。

在靈活性方面，“周易”X2 NPU在支持自定義算子、滿足各種模型部署需求的基礎上，還面向各類應用場景提供定制化AI解決方案，以進一步滿足客戶在智能駕駛、手機影像AI處理、人機交互等場景中的差異化需求。
為幫助開發(fā)者更方便、快速地進行算法移植和調試，“周易”X2 NPU還提供了一套完善的人工智能軟件平臺，可以更好地滿足開發(fā)者對性能調優(yōu)、系統(tǒng)部署的需求。目前，“周易”X2 NPU已面向客戶正式交付，并且今年會有多款搭載“周易”X2 NPU的芯片產品面世。

V3架構突破，與完整的“周易” Compass軟件平臺

安謀科技NPU研發(fā)高級總監(jiān)孫錦鴻Ryan解析，在“周易”X2 NPU中，一個核分成兩個大的計算部件，一個是可編程的、靈活的單元，采用VLIW結構，它是通用向量處理單元。另外，我們還專門為Tensor處理做了不同種類算子加速單元，跟靈活單元有機結合成為一個可擴展性的核結構。擴展性層面，在一個Cluster里擴展，通過高帶寬的內部NoC，以及一些Debug單元、電源管理單元、內部memory構成一個計算Cluster，再通過Task Scheduling Manager，將計算任務調度到合適的核，或者合適的Cluster里?！爸芤住奔軜嬆茏龅礁咝蹵I固定運算和靈活編程要求的有效平衡。



孫錦鴻表示，對比起“周易”v1、v2架構，v3架構更強調并行性和可擴展性。整個“周易”NPU的設計核心思想在指令、數(shù)據(jù)處理單元的同構計算里做到了最大并行。在整個v3架構的指令集中，安謀科技定義了超過1000個專門針對不同場景的指令，這些指令也是基于VLIW結構，由長指令和短指令構成，并且可以支持64bit和128bit的指令包，做到統(tǒng)一的指令集組合。



孫錦鴻分析，在運算單元里，需要很多AI固定功能的加速，我們提供了高效的4K MAC矩陣，適用于CNN、RNN、Transformer等結構。其次提供了很多可重置的結構單元，以適配很多新算子，因為很多AI功能背后的模型或算子更新是日新月異，這些可重置的結構單元就給我們的NPU提供了很多的可擴展性和適應性。
靈活單元層面，我們就做了很多針對AI標量、矢量的指令，這些指令都可以通過OpenCL實現(xiàn)很好的編程體驗。每個基礎單元可以做到1024bit/cycle的數(shù)據(jù)處理，它的數(shù)據(jù)帶寬可以根據(jù)1024bit做到較為有效的拓展。也加入支持矩陣浮點運算。

“周易”NPU不僅提供硬件NPU IP，還提供一整套完整的“周易” Compass軟件平臺，這個平臺中包括模型編譯器、調試器，不僅可以分析和判斷運行中是否有一些異常和錯誤，還可以調試性能。



孫錦鴻表示，基于V3架構，安謀科技開發(fā)了很多底層軟件、中間部件，包括runtime、IDE、simulator等等都整合到“周易” Compass軟件平臺里。也開發(fā)了很多高效能的NN算子，供客戶直接調用。還開發(fā)了專門的NN compiler，整合i-Tiling的技術。此外，提供一個友好的OpenCL的Compiler，通過單次編程就可以把這么多運算單元整合起來。在頂層上，我們也有統(tǒng)一的Parser對接到各種神經網絡框架。此外，還有一個核心部件是量化部件，可以把各種浮點的原始模型量化到合適精度，給NPU最高效的運行。我們也定義了一套名為Compass IR的公開標準接口，將IR直接對接到上層神經網絡或底層硬件。并且這一部分設計已經實現(xiàn)了開源。


“周易” Compass軟件平臺現(xiàn)在已經支持了上百種AI算子或者是AI層，支持上百種AI模型，希望通過這樣一套“周易” Compass軟件平臺來支持全部的軟件模型，因為整個“周易”NPU具有完全可編程性，客戶可以開發(fā)新的算子?！坝绕涫窃谄囶I域，無論是模型、數(shù)據(jù)，對客戶來講都是核心資產，它的算法中就采用了很多自定義算子，也就是非標準算子，這些算子都能體現(xiàn)出車廠、自動駕駛廠商的特有技術或方案。這種情況下，我們就可以支持這些客戶進行自定義算子的部署。”孫錦鴻說道。


同時，“周易” Compass軟件平臺不單可以把NPU的性能充分發(fā)揮出來，還結合通用的Arm CPU處理器，GPU IP單元，以及ISP、VPU、SPU等提供一套完整的異構計算解決方案。目前支持TVM以及Arm NN兩套異構計算平臺，能夠將SoC芯片中的CPU、GPU、NPU IP的性能協(xié)同發(fā)揮出來。

解決NPU碎片化問題，“周易”NPU軟件開源計劃

從AI訓練和推理的生態(tài)來看，“周易”NPU主要做推理，沒有涉足訓練的部分。安謀科技產品總監(jiān)楊磊分享了一個數(shù)據(jù)，安謀科技統(tǒng)計了過去一年里國內的60個用到NPU的芯片項目。發(fā)現(xiàn)其中大概55%的項目用的都是自研NPU，但是每一家都不一樣。剩下的部分主要是基于IP的解決方案，過去1年大概有8個項目用了安謀科技“周易”NPU的方案，雖然“周易”NPU占的比例從整個餅圖來看不高，但在IP領域仍然是最多的。這就說明整個硬件的平臺是極其碎片化的。



硬件碎片化所帶來的弊端就是每一家硬件都有自己的軟件工具鏈，對應的可能就有40種工具鏈。這對應用開發(fā)來講是極其復雜或者是痛苦的。怎樣能在推理側使生態(tài)更加友好，尤其是對于軟件開發(fā)者、應用開發(fā)者更加友好，可以讓他們更加方便、快捷地做應用的開發(fā)和部署，是安謀科技一直在深入思考的問題。

隨著“周易”X2 NPU的推出，安謀科技正式發(fā)布“周易”NPU軟件開源計劃，并更新了生態(tài)伙伴計劃的最新進展。作為立足全球生態(tài)、深耕本土創(chuàng)新的重要舉措，安謀科技一方面通過開放源碼的形式，攜手更多開發(fā)者以及合作伙伴共建國內NPU產業(yè)生態(tài)；另一方面，通過戰(zhàn)略合作、產品技術支持、項目協(xié)作等形式與合作伙伴共建上下游產業(yè)生態(tài)，共同推動各領域軟硬件、工具鏈、行業(yè)標準以及社區(qū)聯(lián)盟等生態(tài)環(huán)節(jié)的發(fā)展。

在“周易”NPU軟件開源計劃下，安謀科技已率先對外開放NPU中間表示層規(guī)范、模型解析器、模型優(yōu)化器、驅動等，并向相關合作伙伴提供“周易”Compass軟件平臺，包括軟件模擬器、調試器、C編譯器等在內的多種軟件工具。在滿足合作伙伴更自主、更靈活的算法移植需求的同時，進一步提升了軟件開發(fā)效率，避免重復造輪。據(jù)悉，上述只是“周易”NPU軟件開源計劃的第一步，安謀科技后續(xù)還將逐步開放更多資源，如模型量化、算子實現(xiàn)等源代碼。

“周易”NPU軟件部署

截至目前，憑借完整的工具鏈及技術服務，“周易”NPU軟件開源計劃已經有第一批合作伙伴率先加入，其中不乏來自AIoT、智能汽車、智能操作系統(tǒng)等領域的明星企業(yè)。

小結：

安謀科技一直積極推進自研IP的研發(fā)。安謀科技執(zhí)行副總裁、產品研發(fā)負責人劉澍 William Liu表示，以NPU研發(fā)團隊來看，經過5年的努力從零開始建立，目前在北京、上海、深圳吸引和培養(yǎng)眾多工程師，整個團隊擁有超過130位工程師從事開發(fā)包含硬件和軟件的NPU全棧研發(fā)。我們可以看到，如今安謀科技已經做了多款NPU產品，已發(fā)展到第三代架構，此次大算力“周易”X2 NPU的推出可謂恰逢其時，趕上AIoT、智能終端和汽車大發(fā)展的浪潮。