Performance, Power, Area（PPA）是半導(dǎo)體行業(yè)中常用的衡量標準。這三個指標對開發(fā)的所有電子產(chǎn)品都產(chǎn)生了巨大的影響。影響的程度當然取決于具體的電子產(chǎn)品以及目標終端市場和應(yīng)用。因此，PPA權(quán)衡決策由產(chǎn)品公司在為各自的終端產(chǎn)品選擇各種芯片（以及ASIC的IP）時做出。

另一個重要的考慮因素是在不需要重新設(shè)計的情況下確保產(chǎn)品的壽命。換句話說，就是讓自己的產(chǎn)品適應(yīng)不斷變化的市場和產(chǎn)品需求。雖然產(chǎn)品公司在重新設(shè)計之前會采用輔助方法來延長產(chǎn)品的使用壽命，但直接提供future proofing的解決方案是首選的方法。例如，在需求快速變化的市場積極增長時期，FPGA在面向未來的通信基礎(chǔ)設(shè)施產(chǎn)品中發(fā)揮了關(guān)鍵作用。當然，替代路徑可能比FPGA路徑提供更好的PPA收益。但是FPGA路徑通過避免重新設(shè)計幫助產(chǎn)品公司節(jié)省了大量的時間和金錢，并確保他們能夠保持或增長他們的市場份額。

還有一個考慮因素是，開發(fā)產(chǎn)品的路徑可以提供方便和速度。這直接轉(zhuǎn)化為上市時間，進而轉(zhuǎn)化為市場份額和盈利能力。最后，客戶可以輕松地在產(chǎn)品上開發(fā)應(yīng)用軟件。

市場情況

人工智能（AI）驅(qū)動的、支持機器學習（ML）的產(chǎn)品和應(yīng)用正在快速增長，并帶來巨大的市場增長機會。新的ML模型正在快速引入，現(xiàn)有的模型也在增強。市場機會范圍從數(shù)據(jù)中心到邊緣人工智能產(chǎn)品和應(yīng)用。許多針對這些市場的產(chǎn)品無法在PPA和產(chǎn)品/應(yīng)用程序開發(fā)的易用性之間進行權(quán)衡。

如果有一種方法可以提供PPA優(yōu)化、future proofing、便于產(chǎn)品和應(yīng)用程序開發(fā)，所有這些都集中到一個產(chǎn)品中會怎么樣呢？它是一個統(tǒng)一的體系結(jié)構(gòu)，簡化SoC硬件設(shè)計和編程的混合處理器IP?？梢越鉀QML推理、預(yù)處理和后處理的一體化問題。

新型混合SoC處理器

最近，Quadric宣布了第一個通用神經(jīng)處理器（GPNPU）系列，這是一種半導(dǎo)體知識產(chǎn)權(quán)（IP）產(chǎn)品，融合了神經(jīng)處理加速器和數(shù)字信號處理器（DSP）。IP使用一個統(tǒng)一的體系結(jié)構(gòu)，解決ML性能特征和DSP功能，具有完全的C++可編程性。本文將從一個典型的支持ML的SoC架構(gòu)的組件、其局限性、Quadric產(chǎn)品、優(yōu)點和可用性等方面展開介紹。

典型的支持ML的SoC架構(gòu)的組件

支持ML架構(gòu)的關(guān)鍵組件包括神經(jīng)處理單元（NPU）、數(shù)字信號處理（DSP）單元和實時中央處理單元（CPU）。NPU用于運行當今最流行的ML網(wǎng)絡(luò)的圖形層，并且在已知的推理工作負載上表現(xiàn)非常好。DSP用于有效地執(zhí)行語音和圖像處理，并涉及復(fù)雜的數(shù)學運算。實時CPU用于協(xié)調(diào)NPU、DSP和存儲ML模型權(quán)重的內(nèi)存之間的ML工作負載。通常，只有CPU可直接供軟件開發(fā)人員用于代碼開發(fā)。NPU和DSP只能通過預(yù)定義的應(yīng)用程序編程接口（API）訪問。

典型架構(gòu)的局限性

如上所述，典型的加速器NPU不是完全可編程的處理器。雖然它們非常高效地運行已知的圖形層，但它們不能隨著ML模型的發(fā)展而運行新的層。如果需要通過API不可用的ML操作符，則需要將其添加到CPU上，因為知道它的性能會很差。該架構(gòu)不適合新ML模型和ML操作符的future proofing。充其量，可以通過在實時CPU上實現(xiàn)新的ML操作符來呈現(xiàn)性能較低的解決方案。

另一個限制是，程序員必須在NPU、DSP和實時CPU上劃分代碼，然后調(diào)整交互以滿足期望的性能目標。典型的架構(gòu)還可能導(dǎo)致在NPU核和CPU核之間拆分矩陣操作。由于需要在內(nèi)核之間交換大數(shù)據(jù)塊，因此此操作會導(dǎo)致推斷延遲和功耗問題。

來自不同IP供應(yīng)商的多個IP核迫使開發(fā)者依賴于多個設(shè)計和生產(chǎn)力工具鏈。必須使用多個工具鏈通常會延長開發(fā)時間，并使調(diào)試具有挑戰(zhàn)性。

Quadric方法的好處

Quadric的Chimera GPNPU家族為ML推理和相關(guān)的傳統(tǒng)C++圖像、視頻、雷達和其他信號處理創(chuàng)建了統(tǒng)一的單核體系結(jié)構(gòu)。這允許將神經(jīng)網(wǎng)絡(luò)和C++代碼合并到單個軟件代碼流中。內(nèi)存帶寬通過單一的統(tǒng)一編譯堆棧進行優(yōu)化，并使功耗顯著減小。編程單核系統(tǒng)也比處理異構(gòu)多核系統(tǒng)容易得多。標量、向量和矩陣計算只需要一個工具鏈。

統(tǒng)一的Chimera GPNPU架構(gòu)的其他好處包括，由于不必在NPU、DSP和CPU之間移動激活數(shù)據(jù)，從而節(jié)省了面積和功耗。統(tǒng)一的核心架構(gòu)大大簡化了硬件集成，使性能優(yōu)化任務(wù)更加容易。

分析內(nèi)存使用情況以確定最佳片外帶寬的系統(tǒng)設(shè)計任務(wù)也得到了簡化。這也直接導(dǎo)致了功率最小化。

應(yīng)用程序開發(fā)

Chimera軟件開發(fā)工具包(SDK)允許通過兩步編譯過程將來自通用ML訓練工具集的圖代碼與客戶的C++代碼合并。這導(dǎo)致可以在統(tǒng)一的Chimera單處理器核心上運行的單一代碼流。目前廣泛使用的ML訓練工具集有TensorFlow、PyTorch、ONNX和Caffe。實現(xiàn)的SoC的用戶將擁有對Chimera所有核心資源的完全訪問權(quán)，以實現(xiàn)應(yīng)用程序編程的最大靈活性。整個系統(tǒng)也可以從單個調(diào)試控制臺進行調(diào)試。

在不損失性能的情況下實現(xiàn)future proofing

Chimera GPNPU架構(gòu)擅長處理卷積層，這是卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的核心。Chimera GPNPU可以運行任何ML操作符。通過使用Chimera計算庫(CCL) API編寫C++內(nèi)核并使用Chimera SDK編譯該內(nèi)核，可以添加自定義ML操作符。自定義運算符的性能與本地運算符相同，因為它們利用了Chimera GPNPU的相關(guān)核心資源。

SoC開發(fā)人員可以在SoC被剝離后很長時間內(nèi)實現(xiàn)新的神經(jīng)網(wǎng)絡(luò)運算符和庫。這本身就大大增加了芯片的使用壽命。

軟件開發(fā)人員可以在產(chǎn)品的整個生命周期中繼續(xù)優(yōu)化他們的模型和算法的性能。他們可以添加新的特性和功能，為他們的產(chǎn)品在市場上獲得競爭優(yōu)勢。

Quadric的當前產(chǎn)品

Chimera架構(gòu)已經(jīng)在芯片領(lǐng)域得到了快速驗證。QB系列GPNPU的整個家族可以在主流的16nm和7nm工藝中使用傳統(tǒng)的標準電池流和常用的單端口SRAM實現(xiàn)1GHz的工作。Chimera核心可以針對任何芯片鑄造廠和任何工藝技術(shù)。

Chimera GPNPU系列的QB系列包括三個核心：

Chimera QB1 -每秒1萬億次機器學習運算(TOPS)，每秒64千兆次DSP運算(GOPs)；

Chimera QB4 - 4 TOPS機器學習，256 GOP DSP；

Chimera QB16–16 TOPS機器學習，1 TOPS DSP；

如果需要，可以將兩個或多個Chimera核心配對在一起，以滿足更高級別的性能要求。

審核編輯 ：李倩