本文來自“專用數(shù)據(jù)處理器(DPU)性能基準(zhǔn)評(píng)測方法與實(shí)現(xiàn)(2022)”介紹 DPU 性能測試系統(tǒng)框架與測試流程，包括測試系統(tǒng)、測試要求、測試活動(dòng)三部分。具體的，測試系統(tǒng)定義了三種搭建 DPU 測試系統(tǒng)的方法，測試要求闡述了組建 DPU 測試系統(tǒng)時(shí)需要滿足的要求，測試活動(dòng)定義了DPU Benchmark 的選擇策略、執(zhí)行前準(zhǔn)備、執(zhí)行過程及測試結(jié)果報(bào)告。

DPU 測試系統(tǒng)(SUT)

DPU 測試系統(tǒng)(System Under Test，SUT)是測試 DPU 性能的平臺(tái)，其結(jié)構(gòu)在不同應(yīng)用場景中，主要分為三類：單端型測試系統(tǒng)(Single-End)、端到端型測試系統(tǒng)(End-to-End)和多端型測試系統(tǒng)(Multi-End)。

單端型(Single-End)測試系統(tǒng)是主機(jī)與 DPU 通過總線互聯(lián)構(gòu)成的封閉測試系統(tǒng)，主要用于模擬無網(wǎng)絡(luò)連接情況下，DPU 作為專用加速器執(zhí)行主機(jī)端特定業(yè)務(wù)的過程。在這種系統(tǒng)中，計(jì)算與數(shù)據(jù)傳輸僅在主機(jī)與 DPU 之間進(jìn)行，DPU 不與其他設(shè)備通信，僅執(zhí)行特定計(jì)算業(yè)務(wù)。單端型測試系統(tǒng)主要測試 DPU 對(duì)特定計(jì)算任務(wù)的性能提升。

端到端型(End-to-End)測試系統(tǒng)將兩個(gè)單端型測試系統(tǒng)通過簡單網(wǎng)絡(luò)相連(網(wǎng)線直連)，其中一個(gè)為請(qǐng)求發(fā)起者(Initiator/Client)，另一個(gè)為請(qǐng)求接受者(Target/Server)。

端到端型測試系統(tǒng)主要模擬 DPU 作為網(wǎng)絡(luò)加速器執(zhí)行雙端操作的場景。在這種系統(tǒng)中，計(jì)算與數(shù)據(jù)傳輸不僅在主機(jī)與 DPU 之間進(jìn)行，還通過網(wǎng)絡(luò)傳輸?shù)狡渌到y(tǒng)。DPU 在Server 端接收主機(jī)端發(fā)起的網(wǎng)絡(luò)請(qǐng)求并通過網(wǎng)口轉(zhuǎn)發(fā)，或者在 Client 端接收網(wǎng)絡(luò)的請(qǐng)求并向作出響應(yīng)。端到端型測試系統(tǒng)能夠屏蔽網(wǎng)絡(luò)性能(轉(zhuǎn)發(fā)次數(shù)、交換設(shè)備的性能、轉(zhuǎn)發(fā)設(shè)備的性能)對(duì) DPU 性能的影響，主要測試 DPU 對(duì)網(wǎng)絡(luò)協(xié)議卸載、網(wǎng)絡(luò)數(shù)據(jù)包處理的峰值能力。

多端型(Multi-End)測試系統(tǒng)是多個(gè)單端型測試系統(tǒng)通過復(fù)雜的網(wǎng)絡(luò)拓?fù)湎噙B的開放測試系統(tǒng)。該測試系統(tǒng)主要模擬 DPU 作為網(wǎng)絡(luò)加速器在復(fù)雜環(huán)境中處理網(wǎng)絡(luò)任務(wù)的場景。在這種系統(tǒng)中，網(wǎng)絡(luò)環(huán)境(網(wǎng)絡(luò)拓?fù)?與資源分布(相同或者不同類型的 DPU 系統(tǒng))情況復(fù)雜，DPU 不僅承擔(dān)一對(duì)一的網(wǎng)絡(luò)任務(wù)，還可能接收一/多個(gè)其他系統(tǒng)的請(qǐng)求(含背景流量甚至惡意攻擊)或響應(yīng)一/多個(gè)其他系統(tǒng)的請(qǐng)求。

單端型(Single-End)測試系統(tǒng)

主機(jī)與 DPU 通過總線(通常為 PCIe)直接相連形成的可獨(dú)立工作的系統(tǒng)為單端型測試系統(tǒng)，系統(tǒng)包含支持 DPU 正常工作的軟件和硬件。在這種測試系統(tǒng)中，DPU 作為專用加速器執(zhí)行特點(diǎn)計(jì)算業(yè)務(wù)。

單端型測試系統(tǒng)模型的基本結(jié)構(gòu)如圖2.1(a) 所示。運(yùn)行時(shí)環(huán)境(Run Time Environ-ment，RTE)代表運(yùn)行中的 DPU 測試程序，交換設(shè)備(Switch)為 DPU 與主機(jī)系統(tǒng)(Host System)的互連結(jié)構(gòu)(通常為 PCIe)。在單端型測試系統(tǒng)中，DPU 作為專用加速器，主機(jī)使用 DPU 加速某些任務(wù)的處理，如數(shù)據(jù)庫查詢、AI 訓(xùn)練等。任務(wù)數(shù)據(jù)首先從主機(jī)端搬運(yùn)到 DPU，DPU 計(jì)算完成后，再將處理完的數(shù)據(jù)寫回主機(jī)。在這種工作模式中，DPU測試程序可以以數(shù)據(jù)處理時(shí)間、數(shù)據(jù)處理規(guī)模作為性能指標(biāo)。

單端型測試系統(tǒng)具體由硬件和軟件兩部分構(gòu)成，硬件主要有 DPU、CPU 以及其他

保證系統(tǒng)正常進(jìn)行的硬件(內(nèi)存、硬盤等)，軟件主要有操作系統(tǒng)、DPU 驅(qū)動(dòng)、開源工具、DPU Benchmark，結(jié)構(gòu)示意如圖。各部分組件要求如下：

1. DPU Benchmark，評(píng)測 DPU 系統(tǒng)性能的基準(zhǔn)測試程序;

2. 開源工具(Open Source Tools)，一些廣泛使用的性能測試工具，保證測試結(jié)果可重復(fù)，在不同的用戶測試時(shí)可以獲得相近的結(jié)果;

3. DPU Benchmark 驅(qū)動(dòng)(Benchmark Driver)，基于內(nèi)核態(tài)的測試驅(qū)動(dòng)或者基于用戶態(tài)的測試驅(qū)動(dòng);

4. DPU 驅(qū)動(dòng)(DPU Driver)，包括 DPU 最底層的抽象，也包括 DPU 所提供給用戶程序使用的接口;

5. 操作系統(tǒng)(Operating System)，需要支持 DPU Benchmark 的版本，且相關(guān)信息需要在結(jié)果報(bào)告中明確寫出，如操作系統(tǒng)版本，內(nèi)核版本等;

6. 計(jì)算設(shè)備(Computing Device)，通用 CPU，其上運(yùn)行操作系統(tǒng);

7. 連接設(shè)備(Connected Device)，根據(jù) DPU 板卡接口不同選擇不同，常見的有PCIe、CXL;

8. IO 硬件(I/O)，鼠標(biāo)、鍵盤等保證系統(tǒng)執(zhí)行所必須的硬件設(shè)備;

9. 被測 DPU 產(chǎn)品(DPU);

10. 其他硬件資源(Hardware Resources)，如內(nèi)存、硬盤。

端到端型(End-to-End)測試系統(tǒng)

端到端型測試系統(tǒng)是由兩個(gè)單端型測試系統(tǒng)通過網(wǎng)線直連的方式組成的測試系統(tǒng)。在這種測試系統(tǒng)中，屏蔽了復(fù)雜的網(wǎng)絡(luò)拓?fù)渑c其他系統(tǒng)流量的影響，可以測試 DPU 網(wǎng)絡(luò)加速的峰值性能。

端到端型測試系統(tǒng)由兩個(gè)單端型測試模型直接相連(如圖所示)，每個(gè)單端測試系統(tǒng)分別運(yùn)行 DPU Benchmark 測試程序，一般其中一個(gè)運(yùn)行發(fā)起者程序 (Initiator/-Client)，另一個(gè)運(yùn)行接收者程序 (Target/Server)。通過發(fā)起者發(fā)送請(qǐng)求，接收者響應(yīng)請(qǐng)求，測量基于網(wǎng)絡(luò)的端到端操作，例如 RDMA Send/Receive 操作，NVMe-oF 遠(yuǎn)程訪問。在這種測試模型中，根據(jù)從一端 DPU 系統(tǒng)到另一端 DPU 系統(tǒng)的請(qǐng)求時(shí)間和流量等測試DPU 的延遲、吞吐量等性能。

端對(duì)端型測試系統(tǒng)在單端型測試系統(tǒng)的基礎(chǔ)上，增加網(wǎng)絡(luò)基礎(chǔ)設(shè)備(通常為網(wǎng)線)

用于直接連接兩個(gè)單端測試系統(tǒng)，其結(jié)構(gòu)如圖2.3所示。根據(jù) DPU 所支持的網(wǎng)口速率不同，可采取不同的網(wǎng)絡(luò)連接設(shè)備，缺省值為 100Gbs 連接。

多端型(Multi-End)測試系統(tǒng)

多端型測試系統(tǒng)是由多個(gè)單端型測試系統(tǒng)經(jīng)由復(fù)雜網(wǎng)絡(luò)(復(fù)雜的網(wǎng)絡(luò)拓?fù)?連接形

成的測試系統(tǒng)。在這種測試系統(tǒng)中，可以模擬 DPU 所處的真實(shí)網(wǎng)絡(luò)環(huán)境，測試 DPU 網(wǎng)絡(luò)處理的實(shí)際性能。

多端型測試系統(tǒng)模型主要用于模擬基于 DPU 構(gòu)建的數(shù)據(jù)中心，通過復(fù)雜的網(wǎng)絡(luò)將

眾多 DPU 系統(tǒng) (功能相同或者不同) 互連起來，從而測試基于 DPU 系統(tǒng)實(shí)現(xiàn)的網(wǎng)絡(luò)、存儲(chǔ)或安全加速應(yīng)用的真實(shí)性能，如NVMe-oF 讀取不同結(jié)點(diǎn)存儲(chǔ)系統(tǒng)的存儲(chǔ)資源、RDMA訪問不同結(jié)點(diǎn)的資源。在這種測試模型中，根據(jù)請(qǐng)求與響應(yīng)時(shí)間、請(qǐng)求的數(shù)據(jù)量及并發(fā)的請(qǐng)求數(shù)等可以測試延時(shí)、吞吐量、連接能力等指標(biāo)。

多端型測試系統(tǒng)在單端型測試系統(tǒng)的基礎(chǔ)上，需要增加更復(fù)雜的網(wǎng)絡(luò)基礎(chǔ)設(shè)備用于連接不同節(jié)點(diǎn)的 DPU 系統(tǒng)。這些網(wǎng)絡(luò)基礎(chǔ)設(shè)施包括但不限于集線器、交換機(jī)、路由器等。

在 DPU Benchmark 執(zhí)行時(shí)，為了保證測試結(jié)果的準(zhǔn)確性與可重復(fù)性，對(duì)于同一種測試用例執(zhí)行兩輪(特殊的情況在具體的測試用例說明)。每一輪分為三個(gè)部分：預(yù)熱 (Warmup Run) 部分排除初始化干擾;負(fù)載執(zhí)行 (Measured Run) 部分為真正的指標(biāo)測試;結(jié)果檢查 (Result Check) 部分檢查結(jié)果的正確性 (數(shù)據(jù)傳輸?shù)耐暾?，?jì)算結(jié)果的正確性等)。每執(zhí)行完一輪需要恢復(fù)至初始狀態(tài) (Clear up)。在預(yù)熱部分與負(fù)載執(zhí)行之間不允許執(zhí)行其他任務(wù)。每一輪執(zhí)行的過程中，DPU 測試系統(tǒng)配置不可以發(fā)生變化。

在 DPU Benchmark 執(zhí)行過程中，DPU 測試系統(tǒng)不可以重啟或者重新開始。如果 DPU系統(tǒng)測試應(yīng)用、操作系統(tǒng)或者硬件發(fā)生不可恢復(fù)的錯(cuò)誤時(shí)，這一輪的執(zhí)行應(yīng)作無效;如果 DPU 系統(tǒng)測試應(yīng)用、操作系統(tǒng)或者硬件檢測到可恢復(fù)的錯(cuò)誤，并且錯(cuò)誤糾正并恢復(fù)正常，那么這一輪的執(zhí)行應(yīng)作有效。在錯(cuò)誤發(fā)生處理期間，測試者不能人工干預(yù)，否則，這一輪執(zhí)行應(yīng)作無效。

測試報(bào)告中除了給出不同測試用例的性能指標(biāo)，還需要給出測試過程中的全部配置信息，包括：配置參數(shù)，包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等其他硬件設(shè)施;安裝的操作系統(tǒng)、文件系統(tǒng)、測試工具等軟件版本;在測試過程中使用到的其他軟件程序;程序編譯優(yōu)化選項(xiàng)。在執(zhí)行 DPU Benchmark 時(shí)如果系統(tǒng)發(fā)送異?；蛘咂渌闆r，需要在報(bào)告附錄中指出。

本文來自“專用數(shù)據(jù)處理器(DPU)性能基準(zhǔn)評(píng)測方法與實(shí)現(xiàn)(2022)”介紹 DPU性能測試系統(tǒng)框架與測試流程，包括測試系統(tǒng)、測試要求、測試活動(dòng)三部分。完整內(nèi)容請(qǐng)參看原報(bào)告。

審核編輯：湯梓紅