DPU芯片，跟之前的GPU、AI芯片最大的不同在于，DPU是集成多種領(lǐng)域加速于一體的集成加速平臺。如果說GPU、AI加速芯片，是CPU+xPU單個異構(gòu)計算的分離趨勢，那么DPU的出現(xiàn)，則預(yù)示著，整個計算系統(tǒng)，在從單異構(gòu)的分離逐漸走向多異構(gòu)的融合。 當(dāng)然，DPU僅僅只是開始，更加充分的融合，將在本文詳細(xì)分析和介紹。

01數(shù)據(jù)中心（相比終端）系統(tǒng)的特點(diǎn)

1.1 軟件業(yè)務(wù)和硬件平臺分離

數(shù)據(jù)中心軟件有一個非常重要的要求，就是高可用性（High Availability，HA）。比如通過負(fù)載均衡器實(shí)現(xiàn)后端服務(wù)的高可用，負(fù)載均衡器本身也是通過集群機(jī)制實(shí)現(xiàn)自身的高可用。底層的VM通過熱遷移實(shí)現(xiàn)高可用，容器則是通過在新的環(huán)境自動拉起新實(shí)例來實(shí)現(xiàn)容器的高可用。

如果我們關(guān)注底層軟件和硬件，我們會發(fā)現(xiàn)，實(shí)際運(yùn)行的軟件（不考慮虛擬化部分，虛擬化實(shí)際上是介于軟件和硬件之間，通過軟硬件協(xié)同實(shí)現(xiàn)的虛擬化機(jī)制）和硬件實(shí)際上是完全脫離的：

軟件實(shí)體可以在不同的硬件平臺上運(yùn)行，可以實(shí)時遷移，上層的軟件以為軟件實(shí)體一直是高可用的，感受不到底層硬件的變化（硬件有可能磁盤故障、死機(jī)或者是更新服務(wù)器等）。

完整的單個硬件平臺通過虛擬化，可以靈活地切分成許多虛擬的硬件平臺，可以支持不同的軟件實(shí)體運(yùn)行。

1.2 單服務(wù)器的虛擬化、多系統(tǒng)、多租戶，全數(shù)據(jù)中心多集群系統(tǒng)交叉混合

我們之前講過，系統(tǒng)分為四類，跟智能終端系統(tǒng)相比，云和邊緣數(shù)據(jù)中心的系統(tǒng)最大特點(diǎn)是虛擬化和服務(wù)化，數(shù)據(jù)中心服務(wù)器和終端設(shè)備系統(tǒng)最大的區(qū)別在于：

首先，通過虛擬化實(shí)現(xiàn)多系統(tǒng)多租戶共存于單個硬件平臺。硬件平臺需要支持虛擬化和高擴(kuò)展性，提供多個個性化的虛擬硬件平臺。然后需要支持多個不同甚至迥異的軟件系統(tǒng)，運(yùn)行在各自獨(dú)立的虛擬硬件平臺上。

另一個，終端系統(tǒng)當(dāng)做單個系統(tǒng)的話，那么數(shù)據(jù)中心服務(wù)器則是多個系統(tǒng)混合運(yùn)行。這樣，我們可以把支持虛擬化多系統(tǒng)多租戶運(yùn)行的服務(wù)器運(yùn)行的系統(tǒng)定義為宏系統(tǒng)。

單個服務(wù)器是多系統(tǒng)多租戶運(yùn)行的宏系統(tǒng)，那么整個數(shù)據(jù)中心或多個數(shù)據(jù)中心連成一體的數(shù)以十萬、甚至百萬級服務(wù)器組成的超大型集群；其上運(yùn)行的系統(tǒng)，就完全變成了，不同租戶的多種集群系統(tǒng)混合交叉在一起，并行不悖運(yùn)行的超大型多宏系統(tǒng)。

1.3 物理硬件的一致性和虛擬“硬件”的多樣性

很多做硬件的同學(xué)，不由自主的，會很喜歡搞硬件“創(chuàng)新”。比如：

通過PCIe Switch，連接不同數(shù)量不同規(guī)格的CPU、GPU以及存儲盤、網(wǎng)卡等I/O設(shè)備，組成形態(tài)各異的多種類型的硬件服務(wù)器；

通過智能網(wǎng)卡、DPU等強(qiáng)大的能力，實(shí)現(xiàn)不同規(guī)格、不同性能的多計算節(jié)點(diǎn)的自由組合；

還有，通過TOR的功能增強(qiáng)，把許多DPU的工作放到TOR交換機(jī)，實(shí)現(xiàn)Smart TOR或者TOR-DPU的方式，來實(shí)現(xiàn)系統(tǒng)能力的增強(qiáng)；

其他各種硬件創(chuàng)新項(xiàng)目。

但我個人一直的觀點(diǎn)是：硬件需要盡可能的簡單，通過軟件去實(shí)現(xiàn)各種復(fù)雜多樣性。比如，數(shù)據(jù)中心不宜有不同層次不同規(guī)格的服務(wù)器和網(wǎng)絡(luò)設(shè)備，而是極致簡單清晰的就計算節(jié)點(diǎn)和網(wǎng)絡(luò)核心設(shè)備兩種物理設(shè)備類型：

計算節(jié)點(diǎn)，即服務(wù)器，核心功能是計算和各類數(shù)據(jù)的處理，其網(wǎng)絡(luò)功能，盡可能只體現(xiàn)在輸入輸出時的高性能網(wǎng)絡(luò)。

交換機(jī)，作為高效的網(wǎng)絡(luò)核心設(shè)備，專注網(wǎng)絡(luò)的相關(guān)處理，盡可能少地參與到用戶的計算，保持對用戶計算的透明。

在AWS的官網(wǎng)中介紹Nitro系統(tǒng)優(yōu)勢的時候，首先提到的就是“更快的創(chuàng)新”： Nitro System 將各種各樣的構(gòu)建基塊集合，且可按照不同方式進(jìn)行組合，從而讓我們能夠通過不斷擴(kuò)展的計算、存儲、內(nèi)存和網(wǎng)絡(luò)選項(xiàng)，靈活設(shè)計并快速交付 EC2 云服務(wù)器實(shí)例類型。 這項(xiàng)創(chuàng)新還促成了裸機(jī)實(shí)例，客戶可以在這些實(shí)例中使用自己的管理程序或不需要使用任何管理程序。 這句話的意思，我再給大家進(jìn)一步解釋一下：AWS首先通過Nitro系統(tǒng)可以完全抵消虛擬化的各種軟件開銷，完全實(shí)現(xiàn)了虛擬化的硬件加速。然后可以非常方便的把一臺服務(wù)器的CPU資源、加速器資源、內(nèi)存資源、I/O資源以及其他各種資源完全的虛擬化，然后就可以隨意的重新組合，然后可以快速而高效的給用戶提供形態(tài)各異的虛擬機(jī)實(shí)例，實(shí)例類型如計算優(yōu)化型、內(nèi)存優(yōu)化型、存儲優(yōu)化型、網(wǎng)絡(luò)優(yōu)化型、GPU/FPGA/DSA加速優(yōu)化型等。 總結(jié)一下，站在云計算公司的視角，CSP希望的是盡可能簡單的并且自己可以掌控一切的數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)，希望的是盡可能簡單的、一致的服務(wù)器硬件規(guī)格（這樣，運(yùn)維才最簡單并且系統(tǒng)的穩(wěn)定性才最高），然后通過（軟件的）虛擬化機(jī)制，實(shí)現(xiàn)多種多樣的（軟件）虛擬硬件平臺，來支撐VM和容器的運(yùn)行。

02數(shù)據(jù)中心處理器：

從合到分，再從分到合

2.1 再來學(xué)習(xí)一下馮諾依曼架構(gòu)

馮諾依曼架構(gòu)是經(jīng)典的計算架構(gòu)，從此架構(gòu)我們可以得到計算的三個主要的部件：計算單元、存儲單元，以及輸入輸出單元。

2.2 第一階段：CPU單一計算平臺

如上圖所示，綠色代表計算單元+存儲單元，這里的計算單元是CPU。為了簡化系統(tǒng)分析，我們把存儲單元略去，默認(rèn)是跟隨計算單元。

2.3 第二階段：從合到分，CPU+其他計算芯片的異構(gòu)計算平臺

基于CPU的摩爾定律失效，CPU的性能提升很慢，每年只有不到3%，要想性能翻倍，需要20年以上。然而，對性能的需求，依然在不斷上升，因此，CPU+xPU的異構(gòu)計算逐漸走向舞臺的中央。

所有的xPU，包括GPU、AI-DSA等加速器無法單獨(dú)存在，需要有Host CPU，形成CPU+xPU的異構(gòu)計算的方式來實(shí)現(xiàn)完整的計算。 單個CPU+xPU異構(gòu)計算本身存在的問題：

可加速部分占整個系統(tǒng)的比例有限，例如加速占比為80%，則加速最高不超過5倍；

數(shù)據(jù)在CPU和加速器之間來回搬運(yùn)的影響，加速比率打了折扣，有些場景綜合加速效果不明顯；

異構(gòu)加速顯式的引入新的實(shí)體，計算變成兩個或多個實(shí)體顯式的協(xié)作完成，增加了整個系統(tǒng)的復(fù)雜度；

雖然GPU相比CPU性能提升不少，但是相比DSA/ASIC的性能，還是有顯著的差距；而DSA/ASIC的問題則在于，無法適應(yīng)復(fù)雜場景對業(yè)務(wù)靈活性的要求，導(dǎo)致大規(guī)模應(yīng)用成為巨大的門檻；

CPU+xPU架構(gòu)，是以CPU為中心，整個IO路徑很長，IO成為性能的瓶頸。

如果把基于CPU+xPU的多個異構(gòu)計算整合起來，那會存在新的問題：

本質(zhì)上，每一個CPU+xPU是一個個的孤島，不同xPU之間的通信會非常的麻煩，都需要CPU的參與，非常低效率低性能；

在服務(wù)器的物理空間里，通常只能加載一種類型的加速卡。不存在這么多的空間，可以加載如此多類型和數(shù)量的加速卡。站在服務(wù)器功耗約束的角度，這么多加速卡也不允許。

以CPU為中心的架構(gòu)，所有的xPU交互需要CPU的參與（P2P方式可以減輕一些CPU的壓力，但至少跨越2條總線交互依然是低效的，本質(zhì)問題沒有解決）。CPU是整個系統(tǒng)的重中之重，隨著CPU的性能提升緩慢，CPU成為整個系統(tǒng)的瓶頸，拖累了整個系統(tǒng)整體性能的顯著提升。

2.4 第三階段：從分到合的起點(diǎn)：DPU+其他計算芯片的異構(gòu)計算平臺

我們再來看看以DPU為中心的架構(gòu)。 需要澄清一下：以CPU計算為中心的架構(gòu)，本質(zhì)上是以控制為中心；以DPU為中心的架構(gòu)，也不天然就等同于以數(shù)據(jù)為中心；如果DPU的架構(gòu)實(shí)現(xiàn)依然是傳統(tǒng)SOC，那么DPU本質(zhì)上仍然是以控制為中心。要想真正實(shí)現(xiàn)以數(shù)據(jù)為中心，整個系統(tǒng)架構(gòu)需要做大范圍調(diào)整。 我們來看看在以DPU為中心的多個異構(gòu)計算的混合狀態(tài)下，具體解決了哪些問題？

有一種說法，DPU是一個Switch，它不做具體的功能，只是連接了眾多的PU。那這樣的話，DPU實(shí)際上什么事情也沒干，這樣的DPU沒有意義。

大家對DPU形成共識的看法，DPU需要支持虛擬化、網(wǎng)絡(luò)、存儲和安全的加速處理。這樣的話，DPU本身完成了大量I/O數(shù)據(jù)的計算任務(wù)，減輕了CPU的負(fù)擔(dān)并且顯著的提升了整個系統(tǒng)的性能。

系統(tǒng)“分分合合”，DPU的出現(xiàn)，代表了計算在從分離逐漸走向合并，即把多個CPU+xPU的異構(gòu)加速逐漸整合成單個處理芯片，實(shí)現(xiàn)異構(gòu)計算的逐步整合。預(yù)示著服務(wù)器大芯片系統(tǒng)的發(fā)展，逐步從單CPU到CPU+xPU異構(gòu)計算的逐漸分解的階段，走向了把多個CPU+xPU持續(xù)整合到一起的逐漸合并的新階段。 DPU沒有解決哪些問題？

計算任務(wù)，不僅僅包括I/O類任務(wù)處理，還可以是其他系統(tǒng)層，甚至可以是應(yīng)用層的計算任務(wù)。如果把DPU當(dāng)做綜合性的計算加速平臺，DPU可以繼續(xù)集成更多的加速功能。

DPU代替CPU，成為中心節(jié)點(diǎn)，“屠龍少年變成了惡龍”，CPU、GPU、其他xPU之間的通信依然很麻煩，依然是一個個孤島。

如果不更新整個系統(tǒng)的底層架構(gòu)，以DPU為中心的架構(gòu)，本質(zhì)上仍然是以控制為中心的計算，而不是以數(shù)據(jù)為中心的計算，依然無法達(dá)到整個數(shù)據(jù)吞吐量和計算量的數(shù)量級提升。

依然存在物理空間約束的問題，服務(wù)器空間有限，特別是2U或1U的服務(wù)器，也需要足夠強(qiáng)勁的算力。而且隨著綠色數(shù)據(jù)中心的流行，對單臺服務(wù)器的功耗約束勢必越來越大。這個時候，各自獨(dú)立的CPU、GPU以及各類獨(dú)立加速器的問題就是亟待解決的。

從以CPU為中心架構(gòu)，改成以DPU為中心的架構(gòu)。會使得DPU成為重中之重，成為系統(tǒng)的關(guān)鍵“瓶頸”，成為系統(tǒng)的不可承受之重。

2.5 第四階段：從分到合：更高效的融合計算平臺

在新的階段里，沒有所謂的核心節(jié)點(diǎn)，把CPU、GPU、DPU（DPU可以看做Multi-XPU的集合），集成到單芯片。這個眾多功能融合的芯片，就是我們一直提到的超異構(gòu)計算芯片（HPU，Hyper-heterogeneous Processing Unit）。 超異構(gòu)計算芯片HPU可以認(rèn)為是CPU+GPU+DPU的融合型芯片，但不能簡單的看做三者的集成。HPU需要解耦CPU、GPU和DPU的功能，重構(gòu)整個系統(tǒng)，并且形成以數(shù)據(jù)為中心、數(shù)據(jù)流驅(qū)動計算的新型架構(gòu)。 需要強(qiáng)調(diào)的是，超異構(gòu)融合芯片不能跟超融合的概念混為一談，超異構(gòu)芯片不等于云計算里經(jīng)常講的超融合：

超融合是為了把云計算IaaS服務(wù)的大集群再整合到小規(guī)模集群，這樣方便在私有云和企業(yè)云部署。

而超異構(gòu)融合芯片則強(qiáng)調(diào)系統(tǒng)棧的整體優(yōu)化，是把服務(wù)器上運(yùn)行的系統(tǒng)整體優(yōu)化到多種引擎混合的高效高性能的單芯片里。超異構(gòu)融合芯片既可以支持超融合，也可以支持不融合（即極致解構(gòu)并超多用戶超多系統(tǒng)共存）。

我們可以簡單的把系統(tǒng)分為兩個平面：

控制和管理平面：仍然是運(yùn)行在CPU的軟件；

計算和數(shù)據(jù)平面：此刻，CPU、GPU、其他各類xPU，甚至包括I/O都可以看做是平等的各類計算引擎，他們完成各自擅長的工作，并且充分交互，形成一個更加高效更加高性能的的一個整體的系統(tǒng)。

03大芯片融合的背景條件

3.1 條件1：90%以上的服務(wù)器系統(tǒng)相對輕量，單芯片可以容納

重量級場景，需要獨(dú)立的CPU、GPU和DPU三芯片，而輕量級場景則可以有獨(dú)立的單芯片融合方案，實(shí)現(xiàn)比傳統(tǒng)CPU芯片同等面積下，性能數(shù)量級提升的可能，可以覆蓋輕量級系統(tǒng)所需的算力和復(fù)雜度。 而輕量級場景所占的所有服務(wù)器的規(guī)模也能夠達(dá)到90%左右：

邊緣服務(wù)器。數(shù)據(jù)中心包括云數(shù)據(jù)中心和邊緣數(shù)據(jù)中心，據(jù)有關(guān)數(shù)據(jù)分析，未來，邊緣計算會占到整個數(shù)據(jù)中心規(guī)模的80%。

企業(yè)級服務(wù)器。企業(yè)云場景，需要支持虛擬化，但一般來說不需要支持多租戶。服務(wù)器對算力的需求沒有云那么高。也屬于輕量級場景。

云數(shù)據(jù)中心服務(wù)器大體分為兩類，一類是重量級的業(yè)務(wù)服務(wù)器，一類是輕量級的存儲、其他各類資源池化服務(wù)器。這些資源池化服務(wù)的輕量級場景，都可以由超異構(gòu)單芯片覆蓋。

此外，獨(dú)立的超異構(gòu)融合芯片，也可以作為DPU的角色，和CPU、GPU配合來使用。

3.2 條件2：Chiplet技術(shù)成熟，使得單芯片可以覆蓋重量級場景

Chiplet技術(shù)提供了使系統(tǒng)規(guī)模立竿見影快速提升的可能，這樣，我們可以提供一個更大規(guī)模的超異構(gòu)融合芯片，來覆蓋各類重量級計算場景，用在典型的云計算業(yè)務(wù)計算服務(wù)器和異構(gòu)計算服務(wù)器場景。 從而，使得超異構(gòu)計算單芯片（單DIE芯片和多DIE組成的Chiplet芯片），可覆蓋云網(wǎng)邊端融合的所有復(fù)雜計算場景（復(fù)雜計算的顯著標(biāo)志為：虛擬化和服務(wù)化）。

04融合，大芯片的發(fā)展趨勢

4.1 案例：NVIDIA Bluefield DPU集成GPU

NVIDIA DPU roadmap NVIDIA DPU的Roadmap，NVIDIA計劃從Bluefield第四代開始，把DPU和GPU兩者集成一個單芯片。 NVIDIA DPU和GPU集成了，也已經(jīng)有了獨(dú)立的Grace CPU。那么，在Chiplet技術(shù)已經(jīng)成熟的情況下，再把CPU集成進(jìn)來，構(gòu)成CPU+GPU+DPU的超異構(gòu)芯片，還會遠(yuǎn)嗎？（不遠(yuǎn)，因?yàn)樵?a href="http://www.www27dydycom.cn/tags/自動駕駛/" target="_blank">自動駕駛端已經(jīng)有了。）

4.2 案例2：NVIDIA自動駕駛Atlan超異構(gòu)融合芯片

圖 NVIDIA計劃2024年推出的自動駕駛芯片Atlan NVIDIA在自動駕駛領(lǐng)域的芯片發(fā)展，也基本上是2年一代產(chǎn)品。2024年要發(fā)布的Atlan芯片，則完全變成了集成ARM Neoverse系列的Grace CPU（NVIDIA數(shù)據(jù)中心CPU）、有可能是Hopper架構(gòu)的GPU（NVIDIA數(shù)據(jù)中心GPU）以及Bluefield DPU（NVIDIA數(shù)據(jù)中心DPU），可以單芯片達(dá)到1000 TOPS。 這樣，我們可以看到，在自動駕駛領(lǐng)域，已經(jīng)實(shí)現(xiàn)了多種處理引擎混合的完全的超異構(gòu)融合芯片，Atlan使用的是數(shù)據(jù)中心相同的處理引擎架構(gòu)，可以無縫實(shí)現(xiàn)云邊端協(xié)同甚至融合。 從量變到質(zhì)變，Atlan隨著集成單元的增多，隨著性能需求的上升，隨著系統(tǒng)復(fù)雜度的上升而對芯片的通用靈活可編程能力要求上升，都需要全新的架構(gòu)，全新的整合重構(gòu)。

審核編輯 ：李倩