高性能計算網(wǎng)絡平臺解決方案能夠解決物探高性能計算中，基于GPU的程序必須調(diào)用 IB棧，而傳統(tǒng)TCP/IP 堆棧應用無法支撐高性能計算網(wǎng)絡通信的問題。 ? ROCE v2架構解決方案逐漸被客戶接受， 生態(tài)和應用不斷成熟，同時網(wǎng)絡傳輸效率和可靠性也得到加強，通過ROCE v2 技術的運營降低了主機CPU消耗。 ?

? HPC是指利用聚集起來的計算能力來處理標準工作站無法完成的數(shù)據(jù)密集型計算任務，例如勘探業(yè)務中所需要的仿真、建模和渲染等。我們在處理各種計算問題時常常遇到這樣的情況：由于需要大量的運算，一臺通用的計算機無法在合理的時間內(nèi)完成工作，或者由于所需的數(shù)據(jù)量過大而可用的資源有限，導致根本無法執(zhí)行計算。

? HPC方法通過使用專門或高端的硬件，或是將多個單元的計算能力進行整合，能夠有效地克服這些限制。將數(shù)據(jù)和運算相應地分布到多個單元中，這就需要引入并行概念。?

? 不同類型的建模問題具有不同的可并行程度。以參數(shù)化掃描為例，這種問題求解多個具有獨立的幾何、邊界條件或材料屬性的相似的模型，幾乎可以完全并行計算。具體的實現(xiàn)方法是為將每一個模型設置分配給一個計算單元。這類問題非常適合并行計算，因此通常稱為“易并行問題”并行問題對集群中的網(wǎng)絡速度和延遲非常敏感。（在其他情況下，由于網(wǎng)絡速度不夠快，無法有效處理通信，很可能導致速度減慢。）因此，可以將通用硬件連接起來，加快這類問題的計算速度。?

? 傳統(tǒng)網(wǎng)絡中 TCP/IP 堆棧隨著網(wǎng)絡接入帶寬的增長，對 CPU 的消耗越來越高，HPC 網(wǎng)絡通常采用 RDMA 技術對網(wǎng)絡減少TCP/IP 堆棧對計算節(jié)點 CPU 的消耗，降低網(wǎng)絡傳輸延時。

? RDMA 允許在兩臺服務器的內(nèi)存之間直接轉移數(shù)據(jù)，而無需任何一臺服務器的 CPU 參與（也稱為零拷貝網(wǎng)絡），因此可實現(xiàn)更高效的通信。這種處理在支持 RDMA 的網(wǎng)絡接口卡（NIC）上進行，并且會避開TCP/IP 堆棧，因而加快數(shù)據(jù)轉移。如此，就可以直接將數(shù)據(jù)傳送到目標服務器上的遠程內(nèi)存中，降低用于其他處理的服務器的 CPUI/O 工作負載。?

? 傳統(tǒng)的IB交換體系架構利用了 RDMA 技術技術，通過業(yè)界最小的轉發(fā)延時，為 HPC 提供高性能低延時的網(wǎng)絡平臺，但 Infinband交換機有自己的獨立架構體系和協(xié)議（IB 協(xié)議和規(guī)范）： ?

1. 必須和支持 IB 協(xié)議的設備進行互聯(lián)。

2.Infinband 體系相對封閉，難以替換。

3. Infinband 體系和傳統(tǒng)網(wǎng)絡對接需要單獨的網(wǎng)關。

對于在整體 HPC 計算平臺中，存在這大量對延時并非絕對敏感的應用，而以昂貴的 IB 交換端口來承載數(shù)目眾多的這些應用無形中增加了企業(yè)的計算成本、維護成本、管理成本，制約了 HPC 整體系統(tǒng)的擴展。從業(yè)界以太網(wǎng)絡基于10G/25G/40G/100G 帶寬增長的趨勢的發(fā)展趨勢來看，隨著計算規(guī)模的不斷擴增，原有很多基于 IB 建立的網(wǎng)絡無論從帶寬介質(zhì)形態(tài)，端口密度等都需要擴容，對于非延時絕對要求的 HPC 應用接入，都傾向于采用以太網(wǎng)替換原有 IB 交換機以降低成本。? ? RoCE 規(guī)范在以太網(wǎng)上實現(xiàn)了 RDMA 功能，ROCE 需要無損網(wǎng)絡，RoCE的主要優(yōu)勢在于它的延遲較低，因此可提高網(wǎng)絡利用率；同時它可避開TCP/IP 并采用硬件卸載，因此 CPU 利用率也較低。 ?

? 新 RoCEv2 標準可實現(xiàn) RDMA 路由在第三層以太網(wǎng)網(wǎng)絡中的傳輸。RoCEv2 規(guī)范將用以太網(wǎng)鏈路層上的 IP 報頭和 UDP 報頭替代 InfiniBand 網(wǎng)絡層。這樣，就可以在基于 IP 的傳統(tǒng)路由器之間路由 RoCE。? ?

RoCE v1協(xié)議：基于以太網(wǎng)承載 RDMA，只能部署于二層網(wǎng)絡，它的報文結構是在原有的 IB架構的報文上增加二層以太網(wǎng)的報文頭，通過 Ethertype 0x8915 標識 RoCE 報文。?

RoCE v2協(xié)議：基于 UDP/IP 協(xié)議承載 RDMA，可部署于三層網(wǎng)絡，它的報文結構是在原有的 IB 架構的報文上增加UDP頭、IP 頭和二層以太網(wǎng)報文頭，通過 UDP 目的端口號 4791 標 識 RoCE 報文。RoCE v2 支持基于源端口號 hash，采用 ECMP 實現(xiàn)負載分擔，提高了網(wǎng)絡的利用率。

利用這項創(chuàng)新，業(yè)界就能夠滿足企業(yè)內(nèi)日益增長的高性能和橫向擴展架構需求。RoCEv2 可幫助其實現(xiàn)融合路徑的持續(xù)性并提供高度密集的數(shù)據(jù)中心，同時為基于 IB 的應用移植，提供了快速遷移的方式，減少了開發(fā)工作量，提高了用戶部署應用和遷移應用的效率。 ?

? 國內(nèi)華為、浪潮、華三等主流網(wǎng)絡廠商都支持RoCE網(wǎng)絡方案。以浪潮為例，典型方案采用CN12000 接入核心，形成三張網(wǎng)：計算網(wǎng)、管理網(wǎng)、存儲網(wǎng)，在計算網(wǎng)實現(xiàn)高密度，高轉發(fā)，配合主機實現(xiàn) RDMA 關鍵技術的運用，實現(xiàn)基于 IB 協(xié)議開發(fā)的高性能應用平滑遷移到更低成本的以太交換網(wǎng)絡中來。 ? 網(wǎng)絡高性能產(chǎn)品的支持，極大簡化了高性能網(wǎng)絡架構，并降低了多級架構層次造成的延時，為關鍵計算節(jié)點接入帶寬的平滑升級提供有力支撐。采用 RoCEv2 標準作為核心，通過對計算節(jié)點 RoCEv2、DCE/DCB 的支持，消除了程序移植帶來的復雜性和額外的工作量，降低了計算節(jié)點 TCP/IP 堆棧對主機 CPU 的消耗。?

? 核心網(wǎng)絡通過PFC/RoCE等技術的支撐，使得高性能計算網(wǎng)絡具備更高的開放性，在沒有降低計算效率的前提下，降低了整個高性能集群平臺建設的成本。 ?

編輯：黃飛

?