總線拓?fù)洌˙us Topology）：設(shè)備連接到單一的總線上，適用于小規(guī)模集群。

環(huán)形拓?fù)洌≧ing Topology）：設(shè)備按環(huán)形連接，形成封閉的通信環(huán)境。

樹狀拓?fù)洌═ree Topology）：設(shè)備以分層的樹狀結(jié)構(gòu)連接，提供更好的可擴(kuò)展性。

網(wǎng)狀拓?fù)洌∕esh Topology）：設(shè)備以網(wǎng)狀連接，適用于大規(guī)模、高性能計(jì)算環(huán)境。

InfiniBand的靈活拓?fù)浣Y(jié)構(gòu)使其適用于不同規(guī)模和性能需求的應(yīng)用。

02.通過InfinBand 傳輸數(shù)據(jù)

在傳統(tǒng)的互連結(jié)構(gòu)中，操作系統(tǒng)通常是共享網(wǎng)絡(luò)資源的唯一所有者，這導(dǎo)致應(yīng)用程序無法直接訪問網(wǎng)絡(luò)。相反，數(shù)據(jù)傳輸通常需要依賴操作系統(tǒng)將數(shù)據(jù)從應(yīng)用程序的虛擬緩沖區(qū)傳輸?shù)骄W(wǎng)絡(luò)堆棧和線路。然而，InfiniBand技術(shù)的引入改變了這一傳統(tǒng)的網(wǎng)絡(luò)交互模式。

在傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中，應(yīng)用程序需要通過操作系統(tǒng)來實(shí)現(xiàn)數(shù)據(jù)的傳輸。

這個(gè)過程包括：

應(yīng)用程序緩沖區(qū)：數(shù)據(jù)通常存儲(chǔ)在應(yīng)用程序的緩沖區(qū)中，等待被傳輸。

操作系統(tǒng)介入：應(yīng)用程序通過系統(tǒng)調(diào)用等方式請(qǐng)求操作系統(tǒng)將數(shù)據(jù)傳輸?shù)骄W(wǎng)絡(luò)堆棧中。

網(wǎng)絡(luò)堆棧傳輸：操作系統(tǒng)將數(shù)據(jù)從應(yīng)用程序緩沖區(qū)傳輸?shù)骄W(wǎng)絡(luò)堆棧，其中包括協(xié)議棧的處理，例如TCP/IP協(xié)議。

網(wǎng)絡(luò)線路傳輸：最終，數(shù)據(jù)通過網(wǎng)絡(luò)線路傳輸?shù)侥繕?biāo)節(jié)點(diǎn)。

這種結(jié)構(gòu)下，應(yīng)用程序無法直接控制網(wǎng)絡(luò)的數(shù)據(jù)傳輸，而是依賴于操作系統(tǒng)進(jìn)行中介。

InfiniBand技術(shù)的突出特點(diǎn)之一是以應(yīng)用為中心的網(wǎng)絡(luò)交互方式。這種方式下，應(yīng)用程序能夠直接通過網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的交換，而無需直接涉及操作系統(tǒng)。以下是InfiniBand實(shí)現(xiàn)應(yīng)用為中心方式的關(guān)鍵機(jī)制：

遠(yuǎn)程直接內(nèi)存訪問（RDMA）

InfiniBand網(wǎng)絡(luò)支持遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)。通過RDMA，應(yīng)用程序可以在不涉及操作系統(tǒng)的情況下直接訪問和交換內(nèi)存中的數(shù)據(jù)。這種直接的內(nèi)存訪問方式消除了傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)中的中介步驟，大大降低了數(shù)據(jù)傳輸?shù)难舆t。

用戶空間網(wǎng)絡(luò)堆棧

InfiniBand網(wǎng)絡(luò)允許在用戶空間中實(shí)現(xiàn)網(wǎng)絡(luò)堆棧，使得應(yīng)用程序能夠直接處理網(wǎng)絡(luò)協(xié)議。這樣一來，應(yīng)用程序不再需要通過操作系統(tǒng)的內(nèi)核空間進(jìn)行數(shù)據(jù)傳輸，而是可以直接在用戶空間中完成網(wǎng)絡(luò)操作，提高了效率和靈活性。

零拷貝技術(shù)

InfiniBand還支持零拷貝技術(shù)，通過這一技術(shù)，應(yīng)用程序可以直接在內(nèi)存中操縱數(shù)據(jù)，而無需將數(shù)據(jù)復(fù)制到中間緩沖區(qū)。這降低了數(shù)據(jù)傳輸?shù)拈_銷，提高了效率。

通過InfiniBand實(shí)現(xiàn)應(yīng)用為中心的網(wǎng)絡(luò)交互方式，帶來了一系列優(yōu)勢，并與傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)形成了關(guān)鍵區(qū)別：

1、低延遲

由于應(yīng)用程序能夠直接進(jìn)行數(shù)據(jù)交換，而無需經(jīng)過多層的操作系統(tǒng)介入，因此InfiniBand網(wǎng)絡(luò)實(shí)現(xiàn)了更低的傳輸延遲。這對(duì)于對(duì)延遲要求較高的應(yīng)用場景非常重要。

2、高帶寬

InfiniBand的應(yīng)用為中心方式能夠更有效地利用網(wǎng)絡(luò)資源，提高了整體的帶寬利用率。這使得InfiniBand網(wǎng)絡(luò)在大規(guī)模數(shù)據(jù)傳輸和高性能計(jì)算等方面表現(xiàn)出色。

3、高效能

通過支持RDMA、用戶空間網(wǎng)絡(luò)堆棧和零拷貝技術(shù)，InfiniBand實(shí)現(xiàn)了更為高效的數(shù)據(jù)傳輸方式。這種高效能直接影響到應(yīng)用程序的性能和響應(yīng)速度。

4、靈活性

應(yīng)用為中心的方式使得應(yīng)用程序更靈活地控制數(shù)據(jù)傳輸和網(wǎng)絡(luò)操作，無需過多依賴于操作系統(tǒng)的限制。這為應(yīng)用程序提供了更大的自主性和定制性。

03.InfinBand 架構(gòu)與 TCP/IP

InfiniBand架構(gòu)與傳統(tǒng)的TCP/IP模型在網(wǎng)絡(luò)通信中有著顯著的差異，尤其在分布式存儲(chǔ)和高性能計(jì)算領(lǐng)域的應(yīng)用上。

InfiniBand 架構(gòu)

InfiniBand架構(gòu)分為五層，類似于傳統(tǒng)的TCP/IP模型。這五層分別是：

物理層：處理硬件接口、電氣和光學(xué)傳輸?shù)鹊讓蛹?xì)節(jié)。

數(shù)據(jù)鏈路層：負(fù)責(zé)數(shù)據(jù)的封裝和解封裝，錯(cuò)誤檢測和糾正。

網(wǎng)絡(luò)層：處理數(shù)據(jù)的路由和轉(zhuǎn)發(fā)，確保數(shù)據(jù)在不同設(shè)備之間的正確傳遞。

傳輸層：負(fù)責(zé)端到端的可靠數(shù)據(jù)傳輸，包括流控制和錯(cuò)誤恢復(fù)。

應(yīng)用層：提供網(wǎng)絡(luò)服務(wù)給應(yīng)用程序，如傳輸控制協(xié)議（TCP）、用戶數(shù)據(jù)報(bào)協(xié)議（UDP）等。

InfiniBand在分布式存儲(chǔ)領(lǐng)域，尤其是在分布式并行計(jì)算（DPC）場景的存儲(chǔ)前端網(wǎng)絡(luò)中得到廣泛應(yīng)用。其強(qiáng)調(diào)高性能、低延遲，適用于大規(guī)模并行計(jì)算機(jī)集群和需要高吞吐量的應(yīng)用場景。

TCP/IP則更為普遍地應(yīng)用于商業(yè)網(wǎng)絡(luò)和一般互聯(lián)網(wǎng)通信。它是目前互聯(lián)網(wǎng)通信的主流協(xié)議，用于支持各種應(yīng)用，包括網(wǎng)頁瀏覽、電子郵件、文件傳輸?shù)取?

InfiniBand架構(gòu)通過引入遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)等創(chuàng)新，解決了網(wǎng)絡(luò)傳輸過程中服務(wù)器端數(shù)據(jù)處理的延遲問題。RDMA技術(shù)允許通過網(wǎng)絡(luò)接口直接訪問內(nèi)存數(shù)據(jù)，無需內(nèi)核干預(yù)，從而實(shí)現(xiàn)高吞吐量和低延遲的網(wǎng)絡(luò)通信。

傳統(tǒng)的TCP/IP網(wǎng)絡(luò)通信通常涉及通過內(nèi)核進(jìn)行消息傳輸，導(dǎo)致數(shù)據(jù)移動(dòng)和復(fù)制成本較高。這在高并發(fā)、低延遲應(yīng)用場景下表現(xiàn)出一定的局限性。

InfiniBand的RDMA技術(shù)和應(yīng)用為中心的設(shè)計(jì)使其特別適合大規(guī)模并行計(jì)算機(jī)集群，提供高性能、低延遲的數(shù)據(jù)傳輸。然而，它在普通商業(yè)網(wǎng)絡(luò)中的應(yīng)用相對(duì)有限。

TCP/IP是互聯(lián)網(wǎng)通信的事實(shí)標(biāo)準(zhǔn)，適用于各種應(yīng)用場景。然而，其在高性能計(jì)算和大規(guī)模并行計(jì)算方面的性能限制，使得在這些領(lǐng)域需要更高性能的解決方案。

04.支持的上層協(xié)議

InfiniBand架構(gòu)支持多種上層協(xié)議，這些協(xié)議在不同的應(yīng)用場景中發(fā)揮著關(guān)鍵作用。

1. SCSI 協(xié)議（小型計(jì)算機(jī)系統(tǒng)接口）

SCSI是一種用于計(jì)算機(jī)和外部設(shè)備之間數(shù)據(jù)傳輸?shù)臉?biāo)準(zhǔn)接口協(xié)議。它支持各種外圍設(shè)備，包括磁盤驅(qū)動(dòng)器、打印機(jī)和其他存儲(chǔ)和輸入輸出設(shè)備。在InfiniBand架構(gòu)中，SCSI協(xié)議的支持使得InfiniBand能夠與各種外圍設(shè)備進(jìn)行高效的數(shù)據(jù)傳輸，為存儲(chǔ)和I/O操作提供了通用的標(biāo)準(zhǔn)接口。

2. IPoIB 協(xié)議（IP over InfiniBand）

IPoIB協(xié)議允許通過InfiniBand網(wǎng)絡(luò)進(jìn)行IP數(shù)據(jù)傳輸。它是InfiniBand與TCP/IP協(xié)議棧相集成的關(guān)鍵協(xié)議，使得InfiniBand在互聯(lián)網(wǎng)和商業(yè)網(wǎng)絡(luò)中能夠無縫地與現(xiàn)有的IP網(wǎng)絡(luò)進(jìn)行通信。IPoIB協(xié)議的支持?jǐn)U展了InfiniBand的應(yīng)用領(lǐng)域，使其能夠在更廣泛的網(wǎng)絡(luò)環(huán)境中發(fā)揮作用。

3. SDP 協(xié)議（套接字直接協(xié)議）

SDP（Socket Direct Protocol）協(xié)議是為通過InfiniBand網(wǎng)絡(luò)進(jìn)行套接字通信而設(shè)計(jì)的協(xié)議。它提供高性能、低延遲的數(shù)據(jù)傳輸，為需要快速而可靠通信的應(yīng)用程序提供了支持。SDP協(xié)議的引入使得InfiniBand成為一種適用于更廣泛應(yīng)用領(lǐng)域的通信協(xié)議，尤其在需要低延遲的場景中表現(xiàn)優(yōu)異。

4. MPI（消息傳遞接口）

MPI（Message Passing Interface）是一種在并行計(jì)算中進(jìn)行進(jìn)程間通信的標(biāo)準(zhǔn)協(xié)議。它常用于高性能計(jì)算（HPC）應(yīng)用程序，其中多個(gè)處理單元需要協(xié)同工作。通過支持MPI協(xié)議，InfiniBand架構(gòu)為HPC應(yīng)用提供了高效、可靠的消息傳遞機(jī)制，促進(jìn)了大規(guī)模并行計(jì)算的發(fā)展。

這些上層協(xié)議的支持使得InfiniBand不僅在高性能計(jì)算環(huán)境中表現(xiàn)出色，同時(shí)也適用于大規(guī)模存儲(chǔ)、網(wǎng)絡(luò)通信以及其他需要高性能和低延遲的應(yīng)用場景。這豐富的協(xié)議支持為InfiniBand架構(gòu)賦予了靈活性和廣泛的適用性。

05.遠(yuǎn)程直接內(nèi)存訪問（RDMA）

InfiniBand網(wǎng)絡(luò)最引人注目的特性之一是遠(yuǎn)程直接內(nèi)存訪問（RDMA）。RDMA允許數(shù)據(jù)在不涉及主機(jī)CPU的情況下直接在內(nèi)存中傳輸，從而降低了通信的延遲和CPU的負(fù)擔(dān)。這對(duì)于高性能計(jì)算和數(shù)據(jù)中心應(yīng)用非常重要，特別是在需要大規(guī)模數(shù)據(jù)傳輸?shù)膱鼍跋隆?

舉例來說，當(dāng)一臺(tái)服務(wù)器需要從另一臺(tái)服務(wù)器的內(nèi)存中讀取或?qū)懭霐?shù)據(jù)時(shí)，使用RDMA可以避免涉及中間步驟，直接在兩臺(tái)服務(wù)器之間進(jìn)行數(shù)據(jù)傳輸，提高了數(shù)據(jù)傳輸?shù)男屎退俣取?

InfiniBand網(wǎng)絡(luò)在性能方面表現(xiàn)出色，這使其成為高性能計(jì)算領(lǐng)域的首選網(wǎng)絡(luò)架構(gòu)之一。以下是一些導(dǎo)致其性能優(yōu)勢的關(guān)鍵因素：

低延遲：InfiniBand網(wǎng)絡(luò)的點(diǎn)對(duì)點(diǎn)直連結(jié)構(gòu)以及支持RDMA技術(shù)，使其具有低延遲的特點(diǎn)，適用于對(duì)通信延遲要求較高的應(yīng)用。

高吞吐量：高傳輸速率和并行性質(zhì)使InfiniBand能夠支持大規(guī)模數(shù)據(jù)集的高吞吐量傳輸，對(duì)于需要大量數(shù)據(jù)處理的應(yīng)用非常重要，例如科學(xué)計(jì)算、模擬和人工智能等領(lǐng)域。

可擴(kuò)展性：不同拓?fù)浣Y(jié)構(gòu)的支持以及InfiniBand架構(gòu)的設(shè)計(jì)使其在大規(guī)模計(jì)算集群中具有出色的可擴(kuò)展性。

InfiniBand網(wǎng)絡(luò)在多個(gè)領(lǐng)域得到廣泛應(yīng)用，其中一些典型的應(yīng)用場景包括：

超級(jí)計(jì)算：InfiniBand在超級(jí)計(jì)算環(huán)境中廣泛應(yīng)用，支持大規(guī)模并行計(jì)算任務(wù)，提供出色的性能和可擴(kuò)展性。

數(shù)據(jù)中心：用于連接服務(wù)器、存儲(chǔ)系統(tǒng)和其他網(wǎng)絡(luò)設(shè)備，滿足數(shù)據(jù)中心對(duì)高性能和低延遲的需求。

人工智能：在深度學(xué)習(xí)和機(jī)器學(xué)習(xí)等人工智能領(lǐng)域，InfiniBand網(wǎng)絡(luò)能夠支持大規(guī)模數(shù)據(jù)集的快速傳輸和分布式計(jì)算。

與以太網(wǎng)等其他網(wǎng)絡(luò)技術(shù)相比，InfiniBand在某些方面具有獨(dú)特的優(yōu)勢。然而，不同的應(yīng)用場景可能需要根據(jù)具體需求選擇合適的網(wǎng)絡(luò)技術(shù)。以下是一些比較方面：

延遲與帶寬：InfiniBand通常在延遲和帶寬方面表現(xiàn)更為出色，適用于對(duì)性能要求較高的應(yīng)用。

成本與普及度：以太網(wǎng)技術(shù)更為普及，而InfiniBand設(shè)備和基礎(chǔ)設(shè)施通常較為昂貴，因此在一些低成本和小規(guī)模場景中可能不是首選。

應(yīng)用領(lǐng)域：InfiniBand在高性能計(jì)算和數(shù)據(jù)中心等特定領(lǐng)域表現(xiàn)卓越，而以太網(wǎng)則更廣泛應(yīng)用于企業(yè)和通用數(shù)據(jù)傳輸。

06.硬件中的傳輸層

在InfiniBand架構(gòu)中，傳輸層的設(shè)計(jì)采用了一種特殊的方式，通過建立虛擬通道來連接兩個(gè)應(yīng)用程序，從而實(shí)現(xiàn)它們在完全獨(dú)立的地址空間中進(jìn)行通信。這種設(shè)計(jì)優(yōu)勢在于利用直接硬件數(shù)據(jù)傳輸，從而提高通信效率和性能。

InfiniBand引入了虛擬通道的概念，這是在傳輸層中用于連接兩個(gè)應(yīng)用程序的通道。通過建立虛擬通道，不同的數(shù)據(jù)流可以在網(wǎng)絡(luò)中獨(dú)立傳輸，而無需相互競爭網(wǎng)絡(luò)帶寬。每個(gè)虛擬通道都有自己的特定屬性和服務(wù)質(zhì)量，使得通信能夠更加靈活和高效。

InfiniBand架構(gòu)中的傳輸層設(shè)計(jì)中，消息直接通過硬件進(jìn)行傳輸，無需主機(jī)處理器的干預(yù)。這一特性被實(shí)現(xiàn)通過引入遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)，允許數(shù)據(jù)在網(wǎng)絡(luò)適配器之間直接傳遞，繞過主機(jī)內(nèi)存。這種直接硬件數(shù)據(jù)傳輸?shù)姆绞綆砹硕嘀貎?yōu)勢：

1、提高通信效率

通過直接硬件傳輸，消息在網(wǎng)絡(luò)中的傳輸路徑更為直接，減少了數(shù)據(jù)傳輸?shù)闹虚g步驟。這有助于提高通信效率，降低了傳輸?shù)难舆t。

2、提升性能

無需主機(jī)處理器的干預(yù)意味著數(shù)據(jù)可以更快速地在網(wǎng)絡(luò)適配器之間傳遞。這對(duì)于高性能計(jì)算和大規(guī)模并行計(jì)算等對(duì)性能要求較高的應(yīng)用場景非常重要。

3、降低系統(tǒng)開銷

直接硬件數(shù)據(jù)傳輸減少了在數(shù)據(jù)傳輸過程中涉及主機(jī)處理器的操作，從而降低了系統(tǒng)的開銷。這對(duì)于提升系統(tǒng)整體的性能和資源利用率具有積極影響。

在消息傳輸過程中，硬件中的傳輸層通過虛擬通道實(shí)現(xiàn)兩個(gè)應(yīng)用程序的連接。消息直接通過硬件傳輸，無需主機(jī)處理器的干預(yù)。一旦消息到達(dá)接收端，它將直接傳遞到接收應(yīng)用程序的緩沖區(qū)，無需經(jīng)過額外的處理步驟。這種設(shè)計(jì)有效地減少了傳輸?shù)膹?fù)雜性和時(shí)間成本，有助于實(shí)現(xiàn)高效、低延遲的通信。

07.InfinBand 網(wǎng)絡(luò)的進(jìn)階特性

網(wǎng)絡(luò)安全性與管理

隨著網(wǎng)絡(luò)攻擊的不斷演進(jìn)，網(wǎng)絡(luò)安全性成為網(wǎng)絡(luò)設(shè)計(jì)的重要考慮因素之一。InfiniBand網(wǎng)絡(luò)通過加密和身份驗(yàn)證等手段提高了數(shù)據(jù)傳輸?shù)陌踩?。同時(shí)，網(wǎng)絡(luò)管理工具的不斷改進(jìn)也使得對(duì)InfiniBand網(wǎng)絡(luò)進(jìn)行更加精細(xì)的監(jiān)控和管理成為可能。

網(wǎng)絡(luò)虛擬化

網(wǎng)絡(luò)虛擬化是一種在物理網(wǎng)絡(luò)基礎(chǔ)上創(chuàng)建多個(gè)虛擬網(wǎng)絡(luò)的技術(shù)。InfiniBand在這方面取得了一些進(jìn)展，支持將物理網(wǎng)絡(luò)資源劃分為多個(gè)邏輯網(wǎng)絡(luò)，從而提高網(wǎng)絡(luò)資源的利用率和靈活性。這對(duì)于云計(jì)算和多租戶環(huán)境中的資源管理非常重要。

HDR InfiniBand

HDR（200 Gbps）是InfiniBand架構(gòu)中的一代新產(chǎn)品，為網(wǎng)絡(luò)提供了更高的傳輸速率。HDR InfiniBand在支持大規(guī)模數(shù)據(jù)中心和高性能計(jì)算方面具有顯著的優(yōu)勢，推動(dòng)了InfiniBand網(wǎng)絡(luò)在超級(jí)計(jì)算和數(shù)據(jù)密集型應(yīng)用中的地位。

開源項(xiàng)目與標(biāo)準(zhǔn)化

InfiniBand技術(shù)在一定程度上受到開源社區(qū)的關(guān)注，有一些開源項(xiàng)目致力于推動(dòng)InfiniBand技術(shù)的進(jìn)一步發(fā)展。此外，InfiniBand Trade Association（IBTA）等組織也在不斷推動(dòng)InfiniBand技術(shù)的標(biāo)準(zhǔn)化，以確保其在不同設(shè)備和廠商之間的互操作性。

隨著計(jì)算和數(shù)據(jù)需求的不斷增長，InfiniBand網(wǎng)絡(luò)將繼續(xù)在高性能計(jì)算、大規(guī)模數(shù)據(jù)處理以及人工智能等領(lǐng)域發(fā)揮關(guān)鍵作用。未來的發(fā)展趨勢可能包括更高速率的InfiniBand版本、更加智能的網(wǎng)絡(luò)管理和優(yōu)化，以及與其他新興技術(shù)的融合，如光網(wǎng)絡(luò)和量子計(jì)算。

08.總結(jié)

InfiniBand架構(gòu)以其卓越的性能和低延遲的特性成為高性能計(jì)算和數(shù)據(jù)中心網(wǎng)絡(luò)的首選解決方案。通過深入探討InfiniBand的各個(gè)層次，包括物理層、鏈路層、網(wǎng)絡(luò)層、傳輸層和上層協(xié)議，我們了解了其獨(dú)特的設(shè)計(jì)和優(yōu)勢。

在物理層，InfiniBand采用多種傳輸介質(zhì)和硬件規(guī)格，包括電纜、光纖和連接器，以支持高帶寬、低延遲的數(shù)據(jù)傳輸。在鏈路層，本地標(biāo)識(shí)符（LID）和轉(zhuǎn)發(fā)表的使用為數(shù)據(jù)包的定位和傳輸提供了關(guān)鍵支持。網(wǎng)絡(luò)層的子網(wǎng)劃分和子網(wǎng)管理器的角色確保了網(wǎng)絡(luò)的靈活性和高效性。傳輸層引入了遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)，通過硬件級(jí)別的數(shù)據(jù)傳輸實(shí)現(xiàn)了低延遲和高吞吐量。

InfiniBand的應(yīng)用廣泛涵蓋了高性能計(jì)算、大規(guī)模并行計(jì)算、云計(jì)算、機(jī)器學(xué)習(xí)和人工智能等領(lǐng)域。其在數(shù)據(jù)中心網(wǎng)絡(luò)中的卓越表現(xiàn)，使其成為處理大規(guī)模數(shù)據(jù)傳輸和復(fù)雜計(jì)算任務(wù)的理想選擇。隨著對(duì)計(jì)算能力和數(shù)據(jù)中心規(guī)模的不斷增長，InfiniBand作為一種高性能互連技術(shù)，將繼續(xù)在科學(xué)、工程和商業(yè)領(lǐng)域發(fā)揮至關(guān)重要的作用。其未來的發(fā)展將持續(xù)推動(dòng)科技創(chuàng)新和高性能計(jì)算的進(jìn)步。