導(dǎo)讀

超異構(gòu)和異構(gòu)的本質(zhì)區(qū)別在哪里？

這篇文章通過對(duì)異構(gòu)計(jì)算的歷史、發(fā)展、挑戰(zhàn)、以及優(yōu)化和演進(jìn)等方面的分析，來(lái)進(jìn)一步闡述從異構(gòu)走向異構(gòu)融合（即超異構(gòu)）的必然發(fā)展趨勢(shì)。

1、異構(gòu)計(jì)算的歷史發(fā)展

1.1 并行計(jì)算的興起

1971年Intel發(fā)明全球第一款商用的CPU處理器，在之后的上世紀(jì)70-90年代，CPU（核）經(jīng)歷了翻天覆地的變化：

• 宏觀架構(gòu)有精簡(jiǎn)RISC和復(fù)雜CISC路線之爭(zhēng)；
• 各種各樣的微架構(gòu)創(chuàng)新技術(shù)，如處理器流水線、乘法/除法器等復(fù)雜執(zhí)行單元、指令多發(fā)射、亂序執(zhí)行、緩存等等；
• 處理器數(shù)據(jù)位寬從4位到8位到16位到32位，再到目前仍是主流的64位；
• 等等。

經(jīng)過這些創(chuàng)新之后，逐步的觸達(dá)了（架構(gòu)/微架構(gòu)層次的）CPU（核）性能的上限。不考慮工藝升級(jí)的影響，單個(gè)處理器核的性能幾乎挖掘到極致，持續(xù)增加性能的希望，不得不落在多個(gè)處理器核并行的路徑上來(lái)。IBM公司于2001年推出IBM Power4雙核處理器，是世界上第一款多核處理器。隨后，AMD和Intel分別推出了各自的雙核處理器。隨著時(shí)間推移，更多的CPU核心被集成進(jìn)了CPU芯片。目前，最新的AMD EPYC 9654 CPU具有96個(gè)核心192個(gè)硬件線程的超高并行能力。

1.2 通用GPU本質(zhì)上是眾核并行

GPGPU本質(zhì)上是數(shù)以百/千計(jì)的高效能的小CPU組成的眾核并行計(jì)算處理器。如NVIDIA的圖靈架構(gòu)GPGPU，總共72個(gè)SM，每個(gè)SM由64個(gè)CUDA核、8個(gè)Tensor核、1個(gè)RT核、4個(gè)紋理單元，總計(jì)有4608個(gè)CUDA核、576個(gè)Tensor核、72個(gè)RT核、288個(gè)紋理單元。

GPU眾核（數(shù)千個(gè)）和CPU多核（數(shù)十個(gè)）的區(qū)別在于：CPU核是高性能的大核，足夠高性能的同時(shí)也足夠復(fù)雜，面積功耗成本等方面的代價(jià)也高，單位計(jì)算的成本較高；而GPU核是高效能的小核，每個(gè)核的性能較低，但數(shù)以千計(jì)的小核并行起來(lái)的性能足夠高，單位計(jì)算的功耗面積等成本較低，但單核的性能不足以滿足通用計(jì)算單個(gè)線程性能的要求。

1.3 異構(gòu)計(jì)算的架構(gòu)模式：CPU+xPU

CPU是圖靈完備的（在這里，圖靈完備可以通俗的理解成可以獨(dú)立運(yùn)行的處理器平臺(tái)），因此CPU可以單獨(dú)的作為軟件系統(tǒng)的運(yùn)行平臺(tái)。而GPU等其他加速處理器則不同，這些平臺(tái)是非圖靈完備的，或者說無(wú)法獨(dú)立運(yùn)行，只能在CPU的協(xié)助下才可以運(yùn)行。也因此，我們通常見到的異構(gòu)計(jì)算系統(tǒng)都是“CPU+xPU加速處理器”的架構(gòu)（xPU特指其他各類非CPU處理器）。
2、異構(gòu)成為計(jì)算架構(gòu)的主流

2.1 CPU性能瓶頸，但算力需求永無(wú)止境

上世紀(jì)80-90年代，每18個(gè)月，CPU性能提升一倍，這就是著名的摩爾定律。如今，CPU性能提升每年只有3%，要想性能翻倍，需要20年。CPU的性能提升已經(jīng)達(dá)到瓶頸，難堪大任。

雖然CPU的性能提升幾乎停滯，但對(duì)算力（性能是微觀，算力是宏觀）的需求，是永無(wú)止境的：

案例一：2012-2018年共6年時(shí)間里，人們對(duì)于AI算力的需求增長(zhǎng)了超過30萬(wàn)倍。

案例二：目前L2級(jí)別的自動(dòng)駕駛通常需要數(shù)百TOPS的算力，NVIDIA將于2024年底正式發(fā)布的Thor可以實(shí)現(xiàn)2000 TOPS的算力，但要想真正實(shí)現(xiàn)L4/L5級(jí)別的自動(dòng)駕駛算力，則需要20000+ TOPS。

案例三：Intel SVP拉加·庫(kù)德里表示，要想實(shí)現(xiàn)元宇宙級(jí)別的用戶體驗(yàn)，需要當(dāng)前的算力要再提升1000倍。隨著元宇宙概念的興起，對(duì)算力需求猛增，算力成為制約元宇宙發(fā)展的最大問題。

算力需求越來(lái)越大，異構(gòu)成為了（架構(gòu)層次）性能提升的主要手段。

2.2 強(qiáng)大的開發(fā)框架和生態(tài)，是異構(gòu)計(jì)算成功的關(guān)鍵

實(shí)際上，硬件實(shí)現(xiàn)同構(gòu)或異構(gòu)并行的門檻相對(duì)不高。但受限于人類的思維習(xí)慣，駕馭并行硬件平臺(tái)，也即并行編程，的難度較大；特別是異構(gòu)并行，編程難度更大。異構(gòu)并行編程不僅僅涉及眾多并行線程的編程，還涉及到加速處理器和Host CPU的交互編程，還包括這兩者的交叉同步。

在并行系統(tǒng)里，通過（手動(dòng)）編程實(shí)現(xiàn)單個(gè)軟件內(nèi)部多個(gè)不同線程的并行，這種方式編程難度大，系統(tǒng)復(fù)雜，而且對(duì)并行資源的利用效率不高，這不是主流的方式。

在CPU同構(gòu)并行的硬件平臺(tái)上，更多的是通過操作系統(tǒng)的多線程調(diào)度能力以及虛擬化的多系統(tǒng)隔離的方式，實(shí)現(xiàn)宏觀意義上的多個(gè)系統(tǒng)或多個(gè)軟件的并行，而不是通過（手動(dòng)）編程實(shí)現(xiàn)單個(gè)軟件內(nèi)部的線程級(jí)并行。

GPU眾核編程則要更加復(fù)雜。為了降低編程門檻，GPU上運(yùn)行的程序并不是完全“自由”的，而且強(qiáng)加了一些約束或底層細(xì)節(jié)屏蔽，以此來(lái)降低編程難度。比如SIMD方式的單線程多處理器并行執(zhí)行（多個(gè)處理器執(zhí)行的是相同的程序），再比如通過底層的軟件或硬件機(jī)制實(shí)現(xiàn)統(tǒng)一內(nèi)存，還比如通過框架和開發(fā)庫(kù)等方式進(jìn)一步降低開發(fā)難度，等等。通過這些方式，可以顯著的提高異構(gòu)并行的性能利用效率、提高編程效率、降低編程難度等。

2006 年 11 月，NVIDIA推出了CUDA框架，這是一種通用并行計(jì)算平臺(tái)和編程模型，它利用NVIDIA GPU中的并行計(jì)算引擎以比CPU更有效的方式解決許多復(fù)雜的計(jì)算問題。經(jīng)過十多年的發(fā)展，NVIDIA建立了基于其GPGPU的非常強(qiáng)大的CUDA異構(gòu)編程框架和生態(tài)。

隨著AI大潮的到來(lái)，對(duì)算力的需求不斷快速增長(zhǎng)，傳統(tǒng)CPU的算力平臺(tái)越來(lái)越難以滿足業(yè)務(wù)算力的需要。這進(jìn)一步推動(dòng)NVIDIA GPGPU和CUDA成為了炙手可熱的行業(yè)“明星”，使得NVIDIA成為全球市值最高的芯片公司。

對(duì)大算力芯片來(lái)說，生態(tài)是成功的第一關(guān)鍵。

2.3 DSA，體系結(jié)構(gòu)的黃金年代

DSA是在定制ASIC的基礎(chǔ)上回調(diào)，使其具有一定的軟件可編程靈活性。DSA出現(xiàn)的原因主要有：

• CPU單核性能瓶頸，摩爾定律逐漸失效；
• 隨著集成電路工藝逐漸逼近理論極限，晶體管的電流和電壓已經(jīng)不能繼續(xù)下降了，丹納德縮放定律也逐漸失效；
• 阿姆達(dá)爾定律表明：并行性的理論性能提升受任務(wù)順序部分的限制。也因此，通過多核并行來(lái)提升綜合性能的收益也在逐漸遞減。

圖靈獎(jiǎng)獲得者John Hennessy和David Patterson在其2017年說，未來(lái)十年是體系機(jī)構(gòu)的黃金年代，在CPU性能達(dá)到瓶頸的情況下，要大幅提高性能并且優(yōu)化成本和能耗的唯一途徑是DSA，即針對(duì)特定領(lǐng)域的特殊需求定制處理器。

2016年發(fā)布的谷歌TPU是第一款DSA架構(gòu)的處理器，從此之后，各種類型的符合DSA概念的加速處理器如雨后春筍般涌現(xiàn)。
3、異構(gòu)計(jì)算存在的主要問題

3.1 DSA的問題

DSA無(wú)法包治百病。

所謂“成也蕭何敗也蕭何”，DSA的優(yōu)勢(shì)是領(lǐng)域定制，劣勢(shì)也是領(lǐng)域定制：

• 優(yōu)勢(shì)在于：領(lǐng)域定制具有一定的靈活可編程性，能夠覆蓋比ASIC大得多的場(chǎng)景范圍；并且性能跟ASIC相當(dāng)，性能效率甚至高于ASIC。
• 劣勢(shì)在于：架構(gòu)完全碎片化。不同領(lǐng)域是完全不同的硬件平臺(tái)和軟件生態(tài)；即使同一領(lǐng)域，不同廠家的架構(gòu)依然不同；甚至，同一廠家不同代產(chǎn)品的架構(gòu)都會(huì)不同。

DSA還有一個(gè)劣勢(shì)的地方在于：定制的架構(gòu)，其靈活性不太適合一些應(yīng)用類型的性能加速，比如AI加速。受限于AI算法多種多樣并且許多AI算法仍在快速迭代，DSA性質(zhì)的AI加速器都跟不上軟件的差異性和迭代速度，從而導(dǎo)致AI-DSA芯片的落地困難。

3.2 異構(gòu)xPU無(wú)法兼顧性能和靈活性

我們依據(jù)指令復(fù)雜度從簡(jiǎn)單到復(fù)雜，可以把典型的處理器引擎劃分為CPU、協(xié)處理器、GPU、FPGA、DSA和ASIC。CPU可以理解成純軟件，協(xié)處理器是附屬于CPU，在硬件上跟CPU是一體的。因此，可以作為加速處理器xPU的處理器引擎類型只有后面四個(gè)。異構(gòu)計(jì)算的核心矛盾在于：系統(tǒng)越復(fù)雜，越需要選擇靈活的處理器；性能挑戰(zhàn)越大，越需要選擇定制的處理器。本質(zhì)原因在于，單一處理器無(wú)法兼顧性能和靈活性：

GPGPU，通用眾核并行計(jì)算平臺(tái)，GPU靈活性較好，適用于性能敏感的業(yè)務(wù)應(yīng)用加速；但性能效率不夠極致。

DSA，接近于ASIC性能，但靈活性差一些。比較適合基礎(chǔ)設(shè)施層的任務(wù)加速，難以適應(yīng)復(fù)雜業(yè)務(wù)計(jì)算場(chǎng)景對(duì)靈活性的要求。

FPGA不僅功耗和成本高，而且需要經(jīng)過硬件編程之后才能確定其真正的架構(gòu)類型。FPGA的靈活性來(lái)源于硬件可編程性，也意味著架構(gòu)是變化的，不利于軟件生態(tài)的形成。FPGA實(shí)際落地案例不多。

• ASIC，受限于其完全固化的業(yè)務(wù)邏輯，在靈活多變的復(fù)雜計(jì)算場(chǎng)景幾乎難以應(yīng)用。

3.3 異構(gòu)計(jì)算的孤島問題

隨著異構(gòu)計(jì)算成為計(jì)算的主流架構(gòu)，也隨著異構(gòu)的處理器越來(lái)越多，最終的系統(tǒng)一定不是Host+某個(gè)唯一的xPU加速處理器，而是Host+很多個(gè)xPU加速處理器的模式。這樣，多個(gè)異構(gòu)協(xié)同計(jì)算的問題就出現(xiàn)了：

最核心的是，每個(gè)加速處理器都只考慮特定的場(chǎng)景或領(lǐng)域；反過來(lái)說，就是較少考慮與其他加速處理器的協(xié)同。如同瞎子摸象，每個(gè)人看到扇子、繩子、柱子、墻壁的時(shí)候，最終，能組織成“大象”嗎？

加速處理器之間的交互困難。所有加速器的交互需要經(jīng)過CPU，而CPU已經(jīng)性能瓶頸，還要給它壓更重的“擔(dān)子”，那就是“頸上加頸”。

服務(wù)器等計(jì)算機(jī)設(shè)備的物理空間和擴(kuò)展總線/卡槽有限，很難支持太多的物理加速卡，異構(gòu)加速處理器需要整合。

4、異構(gòu)計(jì)算的架構(gòu)優(yōu)化

4.1 異構(gòu)計(jì)算的優(yōu)化權(quán)衡

維度一：處理器引擎的類型。靈活性和性能是系統(tǒng)架構(gòu)的核心矛盾，更多的靈活性，也意味著更加易于編程，系統(tǒng)更好駕馭，與此同時(shí)卻意味著更低的性能。許多設(shè)計(jì)權(quán)衡其實(shí)都在根據(jù)業(yè)務(wù)場(chǎng)景的特點(diǎn)，在靈活性和性能的天平上左右搖擺：到底是應(yīng)該偏向靈活性的CPU多一些，還是偏向極致性能的ASIC多一些。維度二，處理器引擎類型的數(shù)量。系統(tǒng)的駕馭難度，也跟處理器類型的數(shù)量有關(guān)：

同構(gòu)并行只有一種類型的處理器引擎（CPU），編程要相對(duì)簡(jiǎn)單。

異構(gòu)的CPU+xPU加速處理器是兩種類型的處理器引擎，編程要更復(fù)雜一些。

既然異構(gòu)有兩個(gè)類型，未來(lái)是否還可以有三個(gè)、四個(gè)，甚至更多的處理器類型組成更復(fù)雜的多異構(gòu)系統(tǒng)？

更多類型的處理器引擎，又是一個(gè)艱難的抉擇：一方面意味著性能的進(jìn)一步提升，另一方面意味著更高的編程難度。

4.2 各類型處理器都在拓展自己的能力邊界

越來(lái)越“卷”，隨著處理器引擎越來(lái)越多，每個(gè)處理器引擎其實(shí)都突破了我們通常意義上的各自邊界，侵入到其他處理器引擎的領(lǐng)地。例如：

• CPU集成協(xié)處理器。CPU不斷擴(kuò)展硬件加速指令集，這些加速指令集的執(zhí)行單元就是協(xié)處理器。例如Intel Xeon支持AVX和AMX。
• GPU集成CUDA核，還集成DSA性質(zhì)的Tensor核，使得單個(gè)GPU引擎具有了DSA性質(zhì)的能力。
• FPGA集成CPU以及ASIC，例如AMD Xilinx Zynq。
• ASIC不斷回調(diào)，變成部分可編程的DSA，可以當(dāng)作是ASIC+DSA。

處理器引擎不斷擴(kuò)展，在引擎內(nèi)部形成了某種程度上的“異構(gòu)”能力，這可以看做是異構(gòu)計(jì)算優(yōu)化權(quán)衡的第三個(gè)維度。

4.3 異構(gòu)計(jì)算的未來(lái)，從單異構(gòu)走向多異構(gòu)融合

前面我們從三個(gè)維度介紹了異構(gòu)計(jì)算的優(yōu)（左）化（右）權(quán)（搖）衡（擺）：要想獲得靈活性，勢(shì)必會(huì)降低性能（效率）；而要想獲得性能，勢(shì)必會(huì)降低系統(tǒng)的靈活性，增加系統(tǒng)的復(fù)雜度，使得系統(tǒng)難以駕馭。但考慮到業(yè)務(wù)應(yīng)用對(duì)算力的渴求，我們不得不“迎難而上”，不斷的提升硬件平臺(tái)的性能。這樣勢(shì)必會(huì)增加整個(gè)系統(tǒng)的復(fù)雜度，也進(jìn)一步提高了編程的難度。受限于前面提到的異構(gòu)計(jì)算孤島問題，把多個(gè)異構(gòu)計(jì)算系統(tǒng)合并到一起的時(shí)候，不能簡(jiǎn)單的拼湊，而是要重新構(gòu)建一個(gè)新的超異構(gòu)計(jì)算系統(tǒng)。

接下來(lái)，更重要的問題來(lái)了：如何駕馭比異構(gòu)并行更復(fù)雜的超異構(gòu)融合計(jì)算？

5、駕馭超異構(gòu)

串行計(jì)算符合人類思維，編程相對(duì)最簡(jiǎn)單；同構(gòu)并行的編程，就要復(fù)雜很多；異構(gòu)并行，則更是難上加難；那么超異構(gòu)并行呢？那就是難上加難再加難。要想駕馭超異構(gòu)，核心的思路跟駕馭異構(gòu)計(jì)算的思路一致，就是要降低軟硬件系統(tǒng)的復(fù)雜度。接下來(lái)，我們?cè)敿?xì)介紹一些主要的降低復(fù)雜度的方法。

5.1 復(fù)雜大系統(tǒng)分解成簡(jiǎn)單小系統(tǒng)

從系統(tǒng)的角度，多個(gè)小系統(tǒng)組成一個(gè)大系統(tǒng)，多個(gè)大系統(tǒng)組成一個(gè)宏系統(tǒng)。反過來(lái)，復(fù)雜大系統(tǒng)可以分解成若干個(gè)簡(jiǎn)單的小的系統(tǒng)，大系統(tǒng)由多個(gè)小系統(tǒng)和小系統(tǒng)間的交互組成。

相比大系統(tǒng)，小系統(tǒng)必然更加簡(jiǎn)單；針對(duì)分解后的小系統(tǒng)，則可以更加容易的駕馭。

5.2 依據(jù)系統(tǒng)的性能/靈活性特征進(jìn)行分層

應(yīng)用，是完全不可確定的，針對(duì)應(yīng)用，只能采用CPU處理器。如果完全“躺平”（不加約束），并不考慮平臺(tái)上面運(yùn)行什么軟件任務(wù)，那么極端保守的做法就是選用CPU平臺(tái)。CPU平臺(tái)什么任務(wù)都能支持，但劣勢(shì)是性能是最差的，成本代價(jià)是最高的。一個(gè)系統(tǒng)并不都是應(yīng)用類型的任務(wù)。系統(tǒng)可以看作是很多工作任務(wù)的組合，這些工作任務(wù)都各有特點(diǎn)，我們可以針對(duì)任務(wù)的特點(diǎn)，把任務(wù)進(jìn)行分類：

一個(gè)極端。在系統(tǒng)中，有很多非常確定性的任務(wù)，比如虛擬化、網(wǎng)絡(luò)、存儲(chǔ)等，這些可以稱為基礎(chǔ)設(shè)施型任務(wù)。這類任務(wù)因?yàn)槠浯_定性的特點(diǎn)，特別適合DSA和ASIC級(jí)別的加速處理器處理。

另一個(gè)極端，即不太好加速的應(yīng)用部分。在硬件平臺(tái)上到底會(huì)運(yùn)行什么樣的應(yīng)用，通常是不可預(yù)知的，或者說應(yīng)用是非常不確定的。因此，針對(duì)應(yīng)用，最好是用CPU（+協(xié)處理器）平臺(tái)。CPU平臺(tái)還有另外一個(gè)價(jià)值，兜底，凡是無(wú)法加速或者不存在合適加速處理器的工作任務(wù)都可以放在CPU平臺(tái)處理。

處于兩個(gè)極端之間的部分任務(wù)，則通常是性能敏感的應(yīng)用任務(wù)，比如AI訓(xùn)練、視頻圖形處理、語(yǔ)音處理等。這類任務(wù)具有一定的確定性，但通常還是需要平臺(tái)的一些彈性的能力，其性能/靈活性特征處于前面兩個(gè)極端的中間。因此比較適合GPU、FPGA這樣的處理器平臺(tái)。

針對(duì)不同任務(wù)的靈活性/性能特征，把任務(wù)劃分到這三個(gè)層次，然后采取各自特征能力相符的處理器平臺(tái)，可以做到滿足整個(gè)系統(tǒng)最極致靈活性的同時(shí)，實(shí)現(xiàn)整個(gè)系統(tǒng)最極致的性能。

5.3 開放：讓處理器架構(gòu)和生態(tài)收斂，防止碎片化

架構(gòu)（硬件的具體實(shí)現(xiàn)是微架構(gòu)，而架構(gòu)指的是軟件看到的硬件架構(gòu)），也可以稱為軟硬件接口，是系統(tǒng)架構(gòu)中最核心的概念。

CPU目前有非常流行的RISC-v架構(gòu)，RISC-v開放架構(gòu)的價(jià)值大家都能夠理解。從CPU到ASIC，越往右，處理器的子類型越多，架構(gòu)的數(shù)量也越多。不同類型、不同領(lǐng)域、不同場(chǎng)景、不同廠家、不同架構(gòu)的處理器，如果不加以約束的話，會(huì)導(dǎo)致處理器架構(gòu)的完全碎片化。越是處理器類型眾多，越需要全行業(yè)形成共識(shí)的開放架構(gòu)。

5.4 軟硬件深度融合，讓硬件具有更多軟件的能力

軟件越來(lái)越復(fù)雜，業(yè)務(wù)邏輯變化越來(lái)越快，具體的表現(xiàn)就是軟件開發(fā)者越來(lái)越崇尚敏捷開發(fā)，兩個(gè)月一個(gè)小迭代，半年一個(gè)大迭代。同樣由于系統(tǒng)的復(fù)雜度提升，硬件卻與軟件相反，其開發(fā)難度越來(lái)越大，開發(fā)周期1-3年，生命周期5-8年。硬件的迭代周期完全跟不上軟件的更新節(jié)奏。因此，需要更進(jìn)一步的系統(tǒng)架構(gòu)創(chuàng)新，把傳統(tǒng)的軟件層次的能力融入到硬件中去。這些能力包括功能的擴(kuò)展性、資源的彈性和近乎無(wú)限的資源擴(kuò)展、完全的硬件虛擬化、硬件高可用等等，通過這些能力來(lái)整體的提升硬件的靈活性。

超異構(gòu)計(jì)算，需要“軟硬件融合”來(lái)駕馭。