HPC的低延遲需求來自于很多應(yīng)用都會通過網(wǎng)格刨分來進(jìn)行并行運(yùn)算，然后網(wǎng)格間有復(fù)雜而頻繁的通信數(shù)據(jù)交互，Brain將其稱為“Ghost Cell Exchange”。

因此很多HPC系統(tǒng)將單個報(bào)文的延遲(Single packet latency)放在第一位，這也是Infiniband/RoCEv1/RoCEv2非常在意報(bào)文大小和HPE Cray構(gòu)建HPC Ethernet的原因。

在AWS EFA的實(shí)踐來看，單個報(bào)文的延遲并不是問題，而更重要的是網(wǎng)絡(luò)中的擁塞沖突帶來的長尾延遲。通過SRD來解決了幾個問題：

多路徑降低擁塞沖突概率

多路徑解決鏈路失效等問題

MPI的很多操作不需要Reliable Connection的通信語義嚴(yán)格保序

解決QP數(shù)量多的爆炸問題

關(guān)于不兼容RC語義的原因：從Brain的履歷也能大概看出來，由于Brain大量的OpenMPI的開發(fā)經(jīng)歷，所以在構(gòu)建SRD時選擇了不和標(biāo)準(zhǔn)的RC語義兼容，這也給后續(xù)的生態(tài)帶來了一些問題。

1. 不使用Infiniband的原因

訪談中Brain介紹了一些原因: "云數(shù)據(jù)中心很多時候是要滿足資源調(diào)度和共享等一系列彈性部署的需求，專用的Infiniband網(wǎng)絡(luò)構(gòu)建的集群如同在汪洋大海中的孤島" 并且國外HPC需求較國內(nèi)高的原因在訪談中也介紹了：國外并沒有太多的線下機(jī)房，通常一些HPC任務(wù)需要在一些超算集群排隊(duì)數(shù)周，如果有一個性能差不多的云上環(huán)境，對客戶而言很有吸引力。

2. 應(yīng)用性能

從應(yīng)用性能來看，Brain的觀點(diǎn)是單個報(bào)文的延遲(Single packet latency)并沒有那么的重要，更重要的是實(shí)現(xiàn)長尾延遲的避免,例如Star-CCM+的測試報(bào)告《EFA-enabled C5n instances to scale Simcenter STAR-CCM+》[2]，在3000核時加速比都還非常好。

ANSYS Fluent性能也非常好。

訪談中Brain還提到高性能存儲是影響HPC應(yīng)用的另一個關(guān)鍵因素，因此構(gòu)建了FSx for Lustre的支持。

3. 一些缺點(diǎn)和爭議

AWS通過Reliable Datagram實(shí)現(xiàn)了多路徑的支持能力，但是似乎國內(nèi)很多人把這個事情搞混了，雖然傳輸語義上實(shí)現(xiàn)了可交換，但是基于Reliable Connection語義Verbs兼容的情況下依舊可以實(shí)現(xiàn)多路徑的處理，而且這個技術(shù)在2002年IETF提出iWARP時構(gòu)建的Direct Data Placement(DDP)就已經(jīng)討論的很清楚了。

另外在HPC這個領(lǐng)域，特別是在國內(nèi)部門間的通信壁壘非常高，很多從業(yè)者材料/物理/機(jī)械這些專業(yè)畢業(yè)的，對于HPC軟件和相應(yīng)的求解器只會使用，而IT等部門通常也只是使用商用軟件測試招標(biāo)，相應(yīng)的算法和通信等優(yōu)化的團(tuán)隊(duì)較少，并且企業(yè)通常因?yàn)檐浖跈?quán)價(jià)格等問題停留在較老的軟件版本上。針對這些商用軟件生態(tài)兼容使得RD這樣的語義帶來了很多負(fù)擔(dān)。

審核編輯：劉清