GROMACS是一個(gè)用于生物分子系統(tǒng)的模擬軟件包，是世界范圍內(nèi)使用率最高的科學(xué)軟件應(yīng)用程序之一，也是理解重要生物過(guò)程（包括當(dāng)前新冠病毒大流行的基礎(chǔ)）的關(guān)鍵工具。

在以前的職位中，我們展示了最近與核心開(kāi)發(fā)團(tuán)隊(duì)合作進(jìn)行的優(yōu)化，這些優(yōu)化使 GROMACS 在現(xiàn)代多 GPU 服務(wù)器上的運(yùn)行速度比以前快得多。這些優(yōu)化包括將計(jì)算和通信卸載到 GPU ，后者對(duì)于那些可以有效地將多個(gè) GPU 并行用于單個(gè)模擬的相對(duì)較大的情況尤其有利。有關(guān)最新異構(gòu)軟件引擎的并行化和內(nèi)部工作的更多信息，請(qǐng)參閱GROMACS 中分子動(dòng)力學(xué)模擬的非均勻并行化和加速。

另一個(gè)越來(lái)越常見(jiàn)的工作流涉及運(yùn)行許多獨(dú)立的 GROMACS 仿真，其中每個(gè)仿真都可以相對(duì)較小。 NVIDIA GPU 的規(guī)模和能力不斷增加，但通常情況下，相對(duì)較小的仿真系統(tǒng)的孤立單彈道仿真無(wú)法充分利用每個(gè)系統(tǒng)上的所有可用計(jì)算資源 GPU 。

但是，多部門(mén)工作流程可以涉及數(shù)十到數(shù)千個(gè)松散耦合的分子動(dòng)力學(xué)模擬。在此類工作負(fù)載中，目標(biāo)通常不是最小化單個(gè)仿真的求解時(shí)間，而是最大化整個(gè)集成的吞吐量。

按照 GPU 并行運(yùn)行多個(gè)模擬可以顯著提高總體吞吐量，正如之前在GROMACS 中分子動(dòng)力學(xué)模擬的非均勻并行化和加速中針對(duì) GROMACS 所示（圖 11 ）。已創(chuàng)建 NVIDIA 多進(jìn)程服務(wù)器（ MPS ）和多實(shí)例 GPU （ MIG ）功能，以促進(jìn)此類工作流，通過(guò)使每個(gè) GPU 能夠同時(shí)用于多個(gè)任務(wù)，進(jìn)一步提高效率。

在這篇文章中，我們演示了為 GROMACS 按照 GPU 運(yùn)行多個(gè)模擬的好處。我們展示了如何利用 MPS ，包括與 MIG 結(jié)合使用，在每個(gè) GPU 上并行運(yùn)行多個(gè)模擬，從而實(shí)現(xiàn)高達(dá) 1.8 倍的吞吐量總體改善。

背景資料

硬件

對(duì)于本文后面給出的結(jié)果，我們?cè)贒GX A100服務(wù)器上運(yùn)行，該服務(wù)器是 NVIDIA 內(nèi)部賽琳娜超級(jí)計(jì)算機(jī)的一部分，它具有八個(gè) A100-SXM4-80GB GPU 和兩個(gè) AMD EPYC 7742 （羅馬） 64 核 CPU 插槽。

GROMACS 測(cè)試用例

為了生成下一節(jié)給出的結(jié)果，我們使用 24K 原子核糖核酸酶立方和 96K 原子 ADH-dodec 測(cè)試用例，這兩個(gè)測(cè)試用例都使用 PME 進(jìn)行遠(yuǎn)程電子 CTR 靜態(tài)測(cè)試。有關(guān)更多信息和輸入文件，請(qǐng)參閱GROMACS 中分子動(dòng)力學(xué)模擬的異構(gòu)并行化和加速補(bǔ)充信息。

我們使用 GROMACS 版本 2021 。 2 （與 CUDA 版本 11 。 2 、驅(qū)動(dòng)程序版本 470 。 57 。 02 一起使用）。對(duì)于單個(gè)孤立實(shí)例（在單個(gè)A100-SXM4-80GB GPU 上），使用與后面所述相同的 GROMACS 選項(xiàng)，我們實(shí)現(xiàn)了 RNAse 的1083 納秒/天和 ADH 的378 納秒/天。

-update gpu選項(xiàng)對(duì)此處的性能至關(guān)重要。這將觸發(fā)“ GPU – 駐留步驟”，其中每個(gè) timestep 的更新和約束部分被卸載到 GPU 以及默認(rèn)的“ GPU 強(qiáng)制卸載”行為。如果沒(méi)有這一點(diǎn)，在這個(gè)硬件上，每種情況下的性能大約降低 2 倍。這對(duì) CPU 和 GPU 可用功能的平衡非常敏感，因此如果在不同的硬件上運(yùn)行，建議您嘗試使用此選項(xiàng)。

對(duì)于本文描述的實(shí)驗(yàn)，我們使用獨(dú)立啟動(dòng)的同一模擬系統(tǒng)的多個(gè)實(shí)例。這是真實(shí)集合模擬的代理，當(dāng)然，成員模擬和不規(guī)則通信之間可能存在細(xì)微差異，但仍有以類似方式重疊的范圍。

MPS

隨著 GPU 的規(guī)模和功能不斷增加，單個(gè)應(yīng)用程序的執(zhí)行可能無(wú)法充分利用 GPU 提供的所有資源。 NVIDIA 多進(jìn)程服務(wù)（ MPS ）是一種使多個(gè) CPU 進(jìn)程提交的計(jì)算內(nèi)核能夠在同一 GPU 上同時(shí)執(zhí)行的工具。這種重疊可能實(shí)現(xiàn)更徹底的資源使用和更好的總體吞吐量。

使用 MPS 還可以通過(guò)更有效地重疊硬件資源利用率和更好地利用基于 CPU 的并行性，在多個(gè) GPU 之間實(shí)現(xiàn)應(yīng)用程序的強(qiáng)大擴(kuò)展，如本文后面所述。

2017 年， NVIDIA Volta 架構(gòu)與 NVIDIA Volta MPS 一起發(fā)布，具有增強(qiáng)的功能，包括每個(gè) GPU 最多增加 48 個(gè) MPS 客戶端：這在所有后續(xù) V100 、 Quadro 和 GeForce GPU 上都受支持。

MIG

與 MPS 一樣， NVIDIA 多實(shí)例 GPU （ MIG ）促進(jìn)了每個(gè) GPU 的共享，但對(duì)資源進(jìn)行了嚴(yán)格的分區(qū)。它非常適合在多個(gè)不同的用戶之間共享 GPU ，因?yàn)槊總€(gè) MIG 實(shí)例都有一組有保證的資源，并且是完全隔離的。

GPU 在選定的 NVIDIA 安培體系結(jié)構(gòu) MIG 上可用，包括 A100 ，每個(gè) GPU 最多支持七個(gè) MIG 實(shí)例。 MIG 可以與 MPS 組合，其中多個(gè) MPS 客戶端可以在每個(gè) MIG 實(shí)例上同時(shí)運(yùn)行，每個(gè)物理 GPU 最多支持 48 個(gè) MPS 客戶端。

雖然可以跨多個(gè) MIG 實(shí)例運(yùn)行單個(gè)應(yīng)用程序?qū)嵗?，例如使?MPI ， MIG 的目標(biāo)并不是為該用例提供任何性能改進(jìn)。 MIG 的主要目的是在每個(gè) GPU 上促進(jìn)多個(gè)不同的應(yīng)用程序?qū)嵗Ｓ嘘P(guān)更多信息，請(qǐng)參閱通過(guò)多實(shí)例 GPU 充分利用 NVIDIA A100 GPU 。

績(jī)效結(jié)果

圖 1 。使用 RNAse Cubic （左）和 ADH Dodec （右）測(cè)試用例中每個(gè) GPU 的模擬次數(shù)來(lái)擴(kuò)展 DGX A100 服務(wù)器上的總吞吐量。顯示了使用 MPS （開(kāi)放三角形）、 MIG 結(jié)合 MPS （閉合三角形）和 none （開(kāi)放圓）的結(jié)果。

圖 1 顯示了 RNAse （左）和 ADH （右）在 8- GPU DGX A100 服務(wù)器上同時(shí)運(yùn)行的所有模擬中，每個(gè) GPU 的模擬次數(shù)對(duì)總綜合吞吐量（以 ns /天為單位，越高越好）的影響。每種情況下最左邊的結(jié)果（每個(gè) GPU 進(jìn)行一次模擬）僅比相應(yīng)的單獨(dú)模擬結(jié)果（前面給出）乘以 8 （ DGX A100 服務(wù)器上 GPU 的數(shù)量）低幾個(gè)百分點(diǎn)。這表明您可以在服務(wù)器上有效地運(yùn)行多個(gè)模擬，而不會(huì)產(chǎn)生明顯的干擾。

您可以看到，通過(guò)增加每個(gè) GPU 的模擬次數(shù)，可以獲得實(shí)質(zhì)性的改進(jìn)，對(duì)于相對(duì)較小的 RNAse 病例，模擬次數(shù)最多為 1 。 8X ，對(duì)于較大的 ADH 病例，模擬次數(shù)最多為 1 。 3X 。

對(duì)于每個(gè)測(cè)試用例，我們使用每個(gè) GPU 最多七個(gè) MIG 分區(qū)，包括沒(méi)有 MIG 和有 MIG 的結(jié)果。在這種情況下，MPS用于每個(gè) GPU 運(yùn)行多個(gè)進(jìn)程，每個(gè)物理 GPU 最多運(yùn)行48個(gè)MPS客戶端，其中 MIG 情況下的最大客戶端總數(shù)為42:7個(gè) MIG 分區(qū)中的每個(gè)分區(qū)有6個(gè)MPS客戶端。作為參考，我們還包括了沒(méi)有MPS或 MIG 的默認(rèn)結(jié)果，對(duì)于這些結(jié)果，我們認(rèn)為按照 GPU 運(yùn)行多個(gè)模擬沒(méi)有任何好處。

對(duì)于每個(gè)測(cè)試用例，最左邊的 MIG+MPS 結(jié)果是每個(gè) GPU 進(jìn)行 7 次模擬：每個(gè) MIG 客戶端進(jìn)行一次模擬（即，沒(méi)有 MPS）。我們發(fā)現(xiàn)這些“純 MIG”性能結(jié)果與相應(yīng)的“純 MPS”結(jié)果相比沒(méi)有優(yōu)勢(shì)。對(duì)于 RNAse，純 MIG 類似于純 MPS，而對(duì)于 ADH 則低于純 MPS。然而，將 MIG 與 MPS 相結(jié)合會(huì)導(dǎo)致 RNAse 的最佳整體結(jié)果，比最佳純 MPS 結(jié)果高約 7%。它導(dǎo)致性能與 ADH 的純 MPS 相當(dāng)，但略低于純 MPS。

對(duì)于 RNAse ，性能最好的配置是每個(gè) MIG 四個(gè) MPS 客戶端，即每個(gè) GPU 總共 28 個(gè)模擬。對(duì)于 ADH ，最好的配置是使用純 MPS ，每 GPU 進(jìn)行 16 次模擬，而不使用 MIG 。

當(dāng) MIG 處于活動(dòng)狀態(tài)時(shí)，它強(qiáng)制將每個(gè)模擬隔離到 GPU 硬件的特定分區(qū)，這可能是有利的，具體取決于測(cè)試用例關(guān)鍵路徑的特定數(shù)據(jù)訪問(wèn)模式。另一方面，在沒(méi)有 MIG 的情況下，每個(gè)仿真都可以以更動(dòng)態(tài)的方式訪問(wèn) GPU 上的資源，這也是有利的。

MIG 的好處可能取決于測(cè)試用例，正如我們前面討論的那樣。令人欣慰的是，MPS在有 MIG 和沒(méi)有 MIG 的情況下都是有效的，特別是在有些用例中 MIG 出于其他原因是可取的，例如在用戶之間共享 GPU 。

GROMACS 是異構(gòu)的，并且具有靈活性，在這方面，計(jì)算可以卸載到 GPU ，其中 CPU 可以同時(shí)使用。我們的運(yùn)行使用了力計(jì)算的默認(rèn)選項(xiàng)，將非粘結(jié)力和 PME 力計(jì)算映射到 GPU ，同時(shí)使用 CPU 進(jìn)行粘結(jié)力計(jì)算。這種配置通常會(huì)導(dǎo)致資源的良好重疊使用。

我們嘗試將粘結(jié)力計(jì)算卸載到 GPU （使用 -bonding GPU 選項(xiàng)），性能類似，但在所有情況下都略低。如前所述，我們使用 GPU – 駐留步驟。我們嘗試將更新和約束映射到 CPU ，我們還觀察到了根據(jù) GPU 運(yùn)行多個(gè)模擬的好處。

對(duì)于較大的 ADH 情況，可實(shí)現(xiàn)的吞吐量大大低于將更新和約束卸載到 GPU 時(shí)的吞吐量。然而，對(duì)于較小的 RNAse 情況，盡管在每 GPU 運(yùn)行一次（或幾次）模擬時(shí)吞吐量較低，但在每 GPU 運(yùn)行八次或更多模擬時(shí)，無(wú)論是否卸載此部分，我們都看到了類似的吞吐量。行為可能因測(cè)試用例和硬件而異，因此最好使用所有可用的運(yùn)行時(shí)組合進(jìn)行實(shí)驗(yàn)。

我們還在不同的硬件上重復(fù)了核糖核酸酶的MPS實(shí)驗(yàn)：NVIDIA A40和V100-SXM2 GPU ，我們還發(fā)現(xiàn)，每個(gè) GPU 運(yùn)行多個(gè)模擬可以提高吞吐量，盡管程度低于A100。鑒于這些 GPU 的規(guī)格相對(duì)較低，這并不奇怪。A40為1.5倍，V100-SXM2為1.4倍，觀察到的吞吐量改善明顯低于A100的1.8倍，但仍然值得。

這些結(jié)果表明，通過(guò)在 MPS 中按 GPU 運(yùn)行多個(gè)進(jìn)程，并將 MIG 與 MPS 相結(jié)合，可以實(shí)現(xiàn)大的吞吐量改進(jìn)。最佳配置（包括 GROMACS 中的計(jì)算卸載選項(xiàng)）取決于具體情況，我們?cè)俅谓ㄗh進(jìn)行實(shí)驗(yàn)。以下各節(jié)描述了這些模擬是如何編排的。

運(yùn)行配置詳細(xì)信息

在本節(jié)中，我們將提供用于生成結(jié)果的腳本，并描述其中包含的命令，作為您自己工作流的參考或起點(diǎn)。

純議員選舉

以下腳本使用 MPS 向 8- GPU DGX A100 服務(wù)器啟動(dòng)多個(gè)模擬。

    35          3)NUMA=0;;
    36          4)NUMA=7;;
    37          5)NUMA=6;;
    38          6)NUMA=5;;
    39          7)NUMA=4;;
    40      esac
    41
    42      # Loop over number of simulations per GPU
    43      for (( j=0; j<$NSIMPERGPU; j++ ));
    44      do
    45          # Create a unique identifier for this simulation to use as a working directory
    46          id=gpu${i}_sim${j}
    47          rm -rf $id
    48          mkdir -p $id
    49          cd $id
    50
    51          ln -s $INPUT topol.tpr
    52
    53          # Launch GROMACS in the background on the desired resources
    54          echo "Launching simulation $j on GPU $i with $NTHREAD CPU thread(s) on NUMA region $NUMA"
    55          CUDA_VISIBLE_DEVICES=$i numactl --cpunodebind=$NUMA $GMX mdrun \
    56                              -update gpu  -nsteps 10000000 -maxh 0.2 -resethway -nstlist 100 \
    57                              > mdrun.log 2>&1 &
    58          cd ..
    59      done
    60  done
    61  echo "Waiting for simulations to complete..."
    62  wait

第 7 行和第 9 行分別指定 GROMACS 二進(jìn)制文件和測(cè)試用例輸入文件的位置。

第 11-12 行指定服務(wù)器的固定硬件詳細(xì)信息，該服務(wù)器有 8 個(gè) GPU 和 128 個(gè) CPU 內(nèi)核。

第 14 行指定了每個(gè) GPU 的模擬次數(shù)，可以改變模擬次數(shù)以評(píng)估性能，正如生成上述結(jié)果所做的那樣。

第 17-21 行計(jì)算每個(gè)模擬應(yīng)分配多少 CPU 個(gè)線程。

第 25 行啟動(dòng) MPS 守護(hù)進(jìn)程，使從單獨(dú)模擬啟動(dòng)的內(nèi)核能夠在同一 GPU 上同時(shí)執(zhí)行。

第 28-40 行在服務(wù)器中的 GPU 上循環(huán)，并為每個(gè)特定 GPU 分配一組適當(dāng)?shù)?CPU 內(nèi)核（“NUMA區(qū)域”）。此映射特定于DGX A100拓?fù)洌撏負(fù)渚哂袃蓚€(gè)AMD CPU s，每個(gè)AMD CPU 具有四個(gè)NUMA區(qū)域。我們安排特定的編號(hào)以獲得最佳親和力。有關(guān)更多信息，請(qǐng)參見(jiàn)DGX A100 用戶指南中的第1.3節(jié)。

第 43-49 行循環(huán)每個(gè) GPU 的模擬次數(shù)，并創(chuàng)建模擬特有的工作目錄。

第 51 行在此唯一工作目錄中創(chuàng)建指向輸入文件的鏈接。

第 55-57 行啟動(dòng)每個(gè)模擬，使用CUDA_VISIBLE_DEVICES環(huán)境變量將其限制為所需的 GPU ，使用 numactl 實(shí)用程序?qū)⑵湎拗茷樗璧?CPU NUMA 區(qū)域?？梢允褂谩?code 》 apt install numactl 《/ code 》提前安裝該實(shí)用程序。

-update GPU 選項(xiàng)與默認(rèn)的 GPU 強(qiáng)制卸載行為相結(jié)合，對(duì)性能至關(guān)重要（見(jiàn)上文），而-nsteps 10000000 -maxh 0.2 -resethway組合的結(jié)果是運(yùn)行每個(gè)模擬 12 分鐘（ 0 。 2 小時(shí)），其中內(nèi)部計(jì)時(shí)器會(huì)在中途重置，以消除任何初始化開(kāi)銷(xiāo)。-nstlist 100指定 GROMACS 應(yīng)每隔 100 步重新生成內(nèi)部鄰居列表，其中這是一個(gè)可調(diào)參數(shù)，影響性能但不影響正確性。）

結(jié)合 MIG 和 MPS 運(yùn)行

以下腳本是前一個(gè)腳本的版本，擴(kuò)展為支持每個(gè) GPU 的多個(gè) MIG 實(shí)例，其中每個(gè) MIG 實(shí)例可以使用 MPS 啟動(dòng)多個(gè)仿真。

     1  #!/bin/bash
     2  # Demonstrator script to run multiple simulations per GPU with MIG+MPS on DGX-A100
     3  #
     4  # Alan Gray, NVIDIA
     5
     6  # Location of GROMACS binary
     7  GMX=/lustre/fsw/devtech/hpc-devtech/alang/gromacs-binaries/v2021.2_tmpi_cuda11.2/bin/gmx
     8  # Location of input file
     9  INPUT=/lustre/fsw/devtech/hpc-devtech/alang/Gromacs_input/adhd.tpr
    10
    11  NGPU=8 # Number of GPUs in server
    12  NCORE=128 # Number of CPU cores in server
    13
    14  NMIGPERGPU=7 # Number of MIGs per GPU
    15  NSIMPERMIG=3 # Number of simulations to run per MIG (with MPS)
    16
    17  # Number of threads per simulation
    18  NTHREAD=$(($NCORE/($NGPU*$NMIGPERGPU*$NSIMPERMIG)))
    19  if [ $NTHREAD -eq 0 ]
    20  then
    21      NTHREAD=1
    22  fi
    23  export OMP_NUM_THREADS=$NTHREAD
    24
    25  # Loop over number of GPUs in server
    26  for (( i=0; i<$NGPU; i++ ));
    27  do
    28      # Set a CPU NUMA specific to GPU in use with best affinity (specific to DGX-A100)
    29      case $i in
    30          0)NUMA=3;;
    31          1)NUMA=2;;
    32          2)NUMA=1;;
    33          3)NUMA=0;;
    34          4)NUMA=7;;
    35          5)NUMA=6;;
    36          6)NUMA=5;;
    37          7)NUMA=4;;
    38      esac
    39
    40      # Discover list of MIGs that exist on this GPU
    41      MIGS=`nvidia-smi -L | grep -A $(($NMIGPERGPU+1)) "GPU $i" | grep MIG | awk '{ print $6 }' | sed 's/)//g'`
    42      MIGARRAY=($MIGS)
    43
    44      # Loop over number of MIGs per GPU
    45      for (( j=0; j<$NMIGPERGPU; j++ ));
    46      do
    47
    48          MIGID=${MIGARRAY[j]}
    49          # Start MPS daemon unique to MIG
    50          export CUDA_MPS_PIPE_DIRECTORY=/tmp/$MIGID
    51          mkdir -p $CUDA_MPS_PIPE_DIRECTORY
    52          CUDA_VISIBLE_DEVICES=$MIGID nvidia-cuda-mps-control -d
    53
    54          # Loop over number of simulations per MIG
    55          for (( k=0; k<$NSIMPERMIG; k++ ));
    56          do
    57
    58              # Create a unique identifier for this simulation to use as a working directory
    59              id=gpu${i}_mig${j}_sim${k}
    60              rm -rf $id
    61              mkdir -p $id
    62              cd $id
    63
    64              ln -s $INPUT topol.tpr
    65
    66              # Launch GROMACS in the background on the desired resources
    67              echo "Launching simulation $k on MIG $j, GPU $i with $NTHREAD CPU thread(s) on NUMA region $NUMA"
    68              CUDA_VISIBLE_DEVICES=$MIGID numactl --cpunodebind=$NUMA $GMX mdrun \
    69                                  -update gpu  -nsteps 10000000 -maxh 0.2 -resethway -nstlist 100 \
    70                                  > mdrun.log 2>&1 &
    71              cd ..
    72          done
    73      done
    74  done
    75  echo "Waiting for simulations to complete..."
    76  wait 

與純 MPS 腳本的主要區(qū)別以粗體突出顯示：

第 14 行指定每個(gè) GPU 的 MIG 實(shí)例數(shù)，設(shè)置為最多 7 個(gè)。使用以下命令提前在八個(gè) GPU 中的每一個(gè)上創(chuàng)建實(shí)例：

for gpu in 0 1 2 3 4 5 6 7
do 
  nvidia-smi mig -i $gpu --create-gpu-instance \    
     1g.10gb,1g.10gb,1g.10gb,1g.10gb,1g.10gb,1g.10gb,1g.10gb \
     --default-compute-instance
done