InfiniBand（直譯為“無限帶寬”技術(shù)，縮寫為IB）是一個用于高性能計算的計算機網(wǎng)絡(luò)通信標(biāo)準(zhǔn)，它具有極高的吞吐量和極低的延遲，用于計算機與計算機之間的數(shù)據(jù)互連。

在最新發(fā)布的全球最強超級計算機排名 Top500 的榜單中，InfiniBand 網(wǎng)絡(luò)再次以絕對的數(shù)量和性能優(yōu)勢蟬聯(lián)超級計算機互連設(shè)備數(shù)量榜首，比上次排行榜的數(shù)量又有了大幅度的增長?？v觀這次的榜單，可以歸納出以下三個趨勢：

基于InfiniBand網(wǎng)絡(luò)的超級計算機以197臺的數(shù)量大幅領(lǐng)先于其它網(wǎng)絡(luò)技術(shù)。特別在 Top100 的系統(tǒng)中，基于 InfiniBand 網(wǎng)絡(luò)的超級計算機更是遙遙領(lǐng)先，InfiniBand 網(wǎng)絡(luò)已經(jīng)成為了追求性能的超級計算機的標(biāo)配。

NVIDIA網(wǎng)絡(luò)產(chǎn)品成為Top500系統(tǒng)中的主流互連設(shè)備，其中超過三分之二的超級計算機在使用NVIDIA網(wǎng)絡(luò)互連，NVIDIA 網(wǎng)絡(luò)的性能和技術(shù)領(lǐng)先性已經(jīng)得到了廣泛認(rèn)可。

還值得一提的是，InfiniBand網(wǎng)絡(luò)不僅在傳統(tǒng)的HPC業(yè)務(wù)，在企業(yè)級數(shù)據(jù)中心和公有云上也已被廣泛使用。目前性能第一的企業(yè)級超級計算機NVIDIA Selene 和微軟公司的Azure公有云都在利用InfiniBand網(wǎng)絡(luò)來發(fā)揮其超高的業(yè)務(wù)性能。

無論是數(shù)據(jù)通訊技術(shù)的演進、互聯(lián)網(wǎng)技術(shù)的革新、還是視覺呈現(xiàn)的升級，都是得益于更強大的計算、更大容量更安全的存儲以及更高效的網(wǎng)絡(luò)；基于InfiniBand網(wǎng)絡(luò)為基礎(chǔ)的集群架構(gòu)方案，不僅可以提供更高帶寬的網(wǎng)絡(luò)服務(wù)，同時也降低了網(wǎng)絡(luò)傳輸負(fù)載對計算資源的消耗，降低了延時，又完美地將HPC與數(shù)據(jù)中心融合。

為什么InfiniBand網(wǎng)絡(luò)在 Top500 中受到如此高的重視？其性能優(yōu)勢起到了決定性的作用。下面，納多德將InfiniBand十大優(yōu)勢總結(jié)如下：

1. 簡單的網(wǎng)絡(luò)管理

InfiniBand是第一個真正意義上原生按照SDN設(shè)計的網(wǎng)絡(luò)架構(gòu)，它由子網(wǎng)管理器來管理。

子網(wǎng)管理器對本地子網(wǎng)進行配置并確保能連續(xù)運行。所有的信道適配器和交換機都必須實現(xiàn)一個SMA，該SMA與子網(wǎng)管理器一起實現(xiàn)對通信的處理。每個子網(wǎng)必須至少有一個子網(wǎng)管理器來進行初始化管理以及在鏈路連接或斷開時對子網(wǎng)進行重新配置。通過仲裁機制來選擇一個子網(wǎng)管理器作為主子網(wǎng)管理器，而其他子網(wǎng)管理器工作于待機模式(每個待機模式下的子網(wǎng)管理器都會備份此子網(wǎng)的拓?fù)湫畔ⅲz驗此子網(wǎng)是否能夠運行)。若主子網(wǎng)管理器發(fā)生故障，一個待機子網(wǎng)管理器接管子網(wǎng)的管理以確保不間斷運行。

2. 高帶寬

自InfiniBand誕生以來，很長一段時間InfiniBand網(wǎng)絡(luò)速率的發(fā)展都是快于Ethernet的，主要原因就是因為InfiniBand應(yīng)用于高性能計算中服務(wù)器之間的互連，對帶寬上的需求更高。

各個速率的縮寫如下：

SDR - Single Data Rate

DDR - Double Data Rate

QDR - Quad Data Rate

FDR - Fourteen Data Rate

EDR - Enhanced Data Rate

HDR - High Dynamic Range

NDR - Next Data Rate

XDR - eXtreme Data Rate

3.CPU offload

加速計算的一個關(guān)鍵技術(shù)，是CPU卸載。InfiniBand網(wǎng)絡(luò)架構(gòu)可以以最少的CPU資源來傳輸數(shù)據(jù)，這點是通過下面的方式來做到的：

硬件卸載整個傳輸層協(xié)議棧

Bypass內(nèi)核，zero copy

RDMA，把一個服務(wù)器內(nèi)存中的數(shù)據(jù)直接寫入另一臺的內(nèi)存，不需要CPU的參與

同時可以使用GPU Direct技術(shù)，可以直接訪問GPU內(nèi)存中的數(shù)據(jù)，將GPU內(nèi)存中的數(shù)據(jù)傳輸?shù)狡渌?jié)點。這樣可以加速計算類的應(yīng)用，比如AI, Deep Learning等。

4.低延遲

此處主要分為兩部分進行對比，一部分在交換機上，作為網(wǎng)絡(luò)傳輸模型中的二層技術(shù)，Ethernet交換機普遍采用了MAC查表尋址和存儲轉(zhuǎn)發(fā)的方式（有部分產(chǎn)品借鑒了InfiniBand的Cut-though技術(shù)）由于需要考慮諸如IP、MPLS、QinQ等復(fù)雜業(yè)務(wù)的處理，導(dǎo)致Ethernet交換機處理流程較長，一般會在若干us（支持cut-though的會在200ns以上），而InfiniBand交換機二層處理非常簡單，僅需要根據(jù)16bit的LID就可以查到轉(zhuǎn)發(fā)路徑信息，同時采用了Cut-Through技術(shù)大大縮短了轉(zhuǎn)發(fā)時延至100ns以下，遠(yuǎn)遠(yuǎn)快于Ethernet交換機；網(wǎng)卡層面如前所述，采用RDMA技術(shù)，網(wǎng)卡轉(zhuǎn)發(fā)報文不需要經(jīng)過CPU，大大加快了報文在封裝解封裝處理的時延，一般InfiniBand的網(wǎng)卡收發(fā)時延（write，send）在600ns，而基于Ethernet上的TCP UDP應(yīng)用的收發(fā)時延會在10us左右，相差十幾倍之多。

5.擴展性和靈活性

IB網(wǎng)絡(luò)一個主要的優(yōu)勢就是單個子網(wǎng)可以部署一個48,000節(jié)點，形成一個巨大的2層網(wǎng)絡(luò)。而且IB網(wǎng)絡(luò)不依賴ARP等廣播機制，不會產(chǎn)生廣播風(fēng)暴或者額外的帶寬浪費。

多個IB子網(wǎng)也可以通過路由器和交換機連接。

IB支持多種網(wǎng)絡(luò)拓?fù)洌?/p>

規(guī)模較小時，建議選用2層fat-tree。更大規(guī)模可以采用3層fat-tree的組網(wǎng)拓?fù)?。一定?guī)模以上，可以采用Dragonfly+的拓?fù)涔?jié)約一部分成本。

6.QoS

如果多個不同的應(yīng)用在同一個子網(wǎng)運行，并且其中一些應(yīng)用需要比其他更高的優(yōu)先級，IB網(wǎng)絡(luò)如何提供QoS支持呢？

QoS是一種能力，可以為不同的應(yīng)用，用戶或者數(shù)據(jù)流提供不同的優(yōu)先級服務(wù)。高優(yōu)先級的應(yīng)用可以被映射到不同的端口隊列，隊列里的報文可以被優(yōu)先發(fā)送。

InfiniBand采用虛通道(VL，即Virtual Lanes)方式來實現(xiàn)QoS。虛通道是一些相互分立的邏輯通信鏈路，它們共享一條物理鏈接，每條物理鏈接可支持多達15條的標(biāo)準(zhǔn)虛通道和一條管理通道(VL15)。

7.網(wǎng)絡(luò)穩(wěn)定性和彈性

理想情況下，網(wǎng)絡(luò)非常穩(wěn)定，沒有任何故障。但是長期運行的網(wǎng)絡(luò)不可避免的會出現(xiàn)一些故障，InfiniBand如何處理這些失敗，并且快速恢復(fù)的呢？

NVIDIA IB解決方案提供一個機制，叫做Self-Healing Networking。自愈網(wǎng)絡(luò)是一個硬件能力，它基于IB交換機。自愈網(wǎng)絡(luò)可以讓鏈路故障恢復(fù)的時間僅僅需要1毫秒，比普通的恢復(fù)時間快5000x倍。

8.優(yōu)化的負(fù)載均衡

在高性能數(shù)據(jù)中心里面，一個很重要的需求，是如何提高網(wǎng)絡(luò)的利用率。其中一種方法是使用負(fù)載均衡。

負(fù)載均衡是一種路由策略，它讓流量在多個可用端口上發(fā)送。

Adaptive Routing就是這樣一個特性，它可以讓流量在交換機端口上均勻的分布。AR在交換機上硬件支持，由Adaptive Routing Manager管理。

當(dāng)AR開啟，交換機上的Queue Manager會監(jiān)測所有GROUP EXIT端口的流量，均衡每個隊列的負(fù)載，把流量導(dǎo)向利用率低的端口。AR支持動態(tài)負(fù)載均衡，避免網(wǎng)絡(luò)擁塞，并最大化網(wǎng)絡(luò)帶寬利用率。

9.網(wǎng)絡(luò)計算 - SHARP

IB交換機還支持網(wǎng)絡(luò)計算的技術(shù)，SHARP – Scalable Hierarchical Aggregation and Reduction Protocol.

SHARP是一個基于交換機硬件的軟件，并且是一個集中管理的軟件包。

SHARP可以把原來在CPU和GPU上運行的集合通信offload到交換機上，優(yōu)化集合通信，避免了節(jié)點間的多次數(shù)據(jù)傳輸，減少了需要在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量。因此，SHARP可以極大的提升加速計算的性能，基于MPI應(yīng)用，比如AI，機器學(xué)習(xí)等等。

10.支持多種網(wǎng)絡(luò)拓?fù)?/p>

InfiniBand網(wǎng)絡(luò)可以支持非常多的topo，比如：

Fat Tree

Torus

Dragonfly+

Hypercube

HyperX

支持不同的網(wǎng)絡(luò)topo，從而滿足不同的需求，比如：

易于網(wǎng)絡(luò)擴展

降低TCO

最大化阻塞比

最小化延遲

最大化傳輸距離

Infiniband憑借著無與倫比的技術(shù)優(yōu)勢，極大簡化了高性能網(wǎng)絡(luò)架構(gòu)，并降低了多級架構(gòu)層次造成的延時，為關(guān)鍵計算節(jié)點接入帶寬的平滑升級提供有力支撐。InfiniBand 網(wǎng)絡(luò)憑借其極致的性能，不斷創(chuàng)新的技術(shù)架構(gòu)，在更低功耗、更少硬件設(shè)備的前提下幫助用戶實現(xiàn)了業(yè)務(wù)性能的最大化，其進入越來越多的使用場景自是大勢所趨。

納多德是NVIDIA網(wǎng)絡(luò)產(chǎn)品的Elite Partner，攜手NVIDIA實現(xiàn)光連接+網(wǎng)絡(luò)產(chǎn)品與解決方案的強強聯(lián)合，尤其是在InfiniBand高性能網(wǎng)絡(luò)建設(shè)與應(yīng)用加速方面擁有深刻的業(yè)務(wù)理解和豐富的項目實施經(jīng)驗，可根據(jù)用戶不同的應(yīng)用場景，提供最優(yōu)的InfiniBand高性能交換機+智能網(wǎng)卡+AOC/DAC/光模塊產(chǎn)品組合方案，為數(shù)據(jù)中心、高性能計算、邊緣計算、人工智能等應(yīng)用場景提供更具優(yōu)勢與價值的光網(wǎng)絡(luò)產(chǎn)品和整體解決方案，以低成本和出色的性能，大幅提高客戶業(yè)務(wù)加速能力。

審核編輯黃昊宇