一

通過fio工具測(cè)試磁盤性能

SPDK采用異步I/O（Asynchronous I/O）加輪詢（Polling）的工作模式，通常與Kernel的異步I/O作為對(duì)比。在此，主要介紹通過使用fio評(píng)估Kernel異步I/O，以及spdk fio_plugin的兩種模式。

01

fio評(píng)估kernel異步I/O（AIO）

fio支持多種模式的I/O引擎，同時(shí)也包含了測(cè)試異步I/O的引擎，即libaio。在測(cè)試異步I/O的時(shí)候，只需要將fio啟動(dòng)配置文件中的ioengine設(shè)為libaio即可。通常在做異步I/O的時(shí)候，I/O請(qǐng)求會(huì)發(fā)送到相應(yīng)的隊(duì)列中，等待被處理，因此隊(duì)列深度將會(huì)影響磁盤性能。所以在測(cè)試異步I/O的時(shí)候，根據(jù)磁盤的特性指定相應(yīng)的隊(duì)列深度（iodepth）。

測(cè)試Kernel異步I/O的fio配置參數(shù)示例如下：

[Global]ioengine=libaiodirect=1rw=randrwrwmixread=100 (100% reads), 70 (70% reads 30% writes), 0 (100 writes)thread=1norandommap=1time_base=1runtime=300sramp_time=10sbs=4kiodepth=32Numjobs=1[test]filename=/dev/nvme0n1

參數(shù)詳解

ioengine：指定I/O引擎，在這里測(cè)試Kernel的異步I/O，因此指定I/O引擎為libaio；direct: 指定direct模式O_DIRECT，I/O會(huì)繞過系統(tǒng)的page buffer；rw：讀寫模式，這里指定randrw表示混合隨機(jī)讀寫；rwmixread：混合隨機(jī)讀寫模式下read請(qǐng)求所占比例；thread：指定使用線程模式。由于spdk fio_plugin只支持線程模式，因此與Kernel對(duì)比時(shí)，通常都統(tǒng)一指定線程模式來對(duì)比；norandommap：指定I/O時(shí)，每次都獲取一個(gè)新的隨機(jī)offset，防止額外的CPU使用消耗；time_based：指定采用時(shí)間模式；runtime：測(cè)試時(shí)長(zhǎng)；ramp_time：統(tǒng)計(jì)性能之前所運(yùn)行的時(shí)間，為了防止沒有進(jìn)行穩(wěn)態(tài)而造成的性能虛高帶來的影響；bs：I/O塊大小；iodepth：隊(duì)列深度；numjobs：worker的個(gè)數(shù)；filename：指定測(cè)試的對(duì)象。

02

基于NVMe的fio_plugin

安裝步驟

a. 下載編譯fio：

git clone https://github.com/axboe/fiocd fio && git checkout fio-3.3make

b.下載編譯SPDK：

git clone https://github.com/spdk/spdkcd spdk && git submodule update --init./configure --with-fio=/path/to/fio/repo make

注意：由于fio_plugin要依賴fio中提供的一些依賴包，因此在運(yùn)行configure時(shí)，必須指定fio目錄，否則默認(rèn)fio_plugin不會(huì)編譯

測(cè)試方法

a. 使用fio_plugin測(cè)試裸盤，需要引入fio_plugin路徑，因此在運(yùn)行fio時(shí)，在fio命令之前加如下參數(shù)：

LD_PRELOAD=/examples/nvme/fio_plugin/fio_plugin

b. 其次，需要在fio配置文件中設(shè)定ioengine為spdk。

c. 運(yùn)行fio時(shí)候，不僅要指定fio運(yùn)行配置文件，同時(shí)要通過額外的參數(shù)'--filename'指定spdk能夠識(shí)別的設(shè)備地址信息。通常，fio_plugin支持兩種模式下的測(cè)試，一是本地的NVMe設(shè)備，即NVMe over PCIe；二是遠(yuǎn)端的NVMe設(shè)備，即NVMe over Fabrics。如下所示：

NVMe over PCIe:LD_PRELOAD=.../fio_plugin fio config.fio '--filename=trtype=PCIe traddr=0000.06.00.0 ns=1'NVMe over Fabrics:LD_PRELOAD=.../fio_plugin fio config.fio '--filename=trtype=RDMA adrfam=IPv4 traddr=192.0.0.1 trsvcid=4420 ns=1'

其它說明

a. 對(duì)于使用1個(gè)core，測(cè)試多塊盤的情況，通常只需要設(shè)定numjob為1，同時(shí)在fio命令通過多個(gè)filename參數(shù)來指定多塊要測(cè)試的盤(多個(gè)filename參數(shù)之間用空格相隔即可)，例如同時(shí)測(cè)試三塊盤：

LD_PRELOAD=.../fio_plugin fio config.fio '--filename=trtype=PCIe traddr=0000.06.00.0 ns=1' '--filename=trtype=PCIe traddr=0000.07.00.0 ns=1' '--filename=trtype=PCIe traddr=0000.08.00.0 ns=1'

b. 對(duì)于使用fio_plugin作為新的ioengine而引入的新的fio參數(shù)說明，可以通過以下命令查看相關(guān)參數(shù)說明：

LD_PRELOAD.../fio_plugin fio --enghelp=spdk

c. 此外，可以通過直接在ioengine中指定fio_plugin的絕對(duì)路徑，而無須每次運(yùn)行fio都動(dòng)態(tài)加載LD_PRELOAD。即： fio配置文件中添加修改ioengine=/examples/nvme/fio_plugin/fio_plugin；運(yùn)行fio config.fio '--filename=trtype=PCIe traddr=0000.06.00.0 ns=1'即可測(cè)試。

03

基于bdev的fio_plugin

基于bdev的fio_plugin是將I/O在spdk塊設(shè)備bdev之上進(jìn)行發(fā)送。而基于裸盤的fio_plugin，I/O是直接到裸盤上進(jìn)行處理。因此兩者最大的差別在于I/O是否經(jīng)過bdev這一層。因此，基于bdev的fio_plugin能夠很好的評(píng)估spdk塊設(shè)備層bdev的性能。

其編譯安裝與裸盤的fio_plugin完全相同，下面詳細(xì)介紹其測(cè)試方法：

a. 使用fio_plugin測(cè)試bdev性能，需要bdev fio_plugin的路徑，因此在運(yùn)行fio時(shí)，在fio命令之前加如下參數(shù)：

LD_PRELOAD=/examples/bdev/fio_plugin/fio_plugin

b. 其次，需要在fio配置文件中設(shè)定ioengine為spdk_bdev

c. 需要在fio配置文件中指定spdk啟動(dòng)配置文件。如下所示：

spdk_conf=./example/bdev/fio_plugin/bdev.conf

spdk運(yùn)行配置文件中指定了所有bdev的配置信息，示例如下：

[Malloc]

NumberOfLuns 1LunSizeInMB 128

[Nvme]

TransportID "trtype:PCIe traddr:0000:82:00.0" Nvme0

RetryCount 4TimeoutUsec 0AcctionOnTimeout NoneAdminPollRate 100000

d.運(yùn)行fio的時(shí)候，通過'--filename'直接指定所要測(cè)試的bdev名稱即可，示例如下：

LD_PRELOAD=.../fio_plugin fio config.fio '--filename=Nvme0n1'

其他說明

a. 使用基于bdev的fio_plugin測(cè)試多個(gè)設(shè)備時(shí)候，需要在spdk運(yùn)行配置文件中寫入相應(yīng)的bdev配置信息，其次在fio運(yùn)行時(shí)，指定多個(gè)filename參數(shù)即可，多個(gè)filename之間用空格相隔。例如同時(shí)測(cè)兩個(gè)設(shè)備Malloc0與Nvme0n1，如下所示：

LD_PRELOAD=.../fio_plugin fio config.fio '--filename=Nvme0n1' '--filename=Malloc0'

b.同理，若查看基于bdev的fio_plugin相關(guān)參數(shù)說明，可以通過如下命令：

LD_PRELOAD.../fio_plugin fio --enghelp=spdk_bdev

c. 此外，可以通過直接在ioengine中指定fio_plugin的絕對(duì)路徑，而無須每次運(yùn)行fio都動(dòng)態(tài)加載LD_PRELOAD。即：

fio配置文件中添加修改ioengine=/examples/bdev/fio_plugin/fio_plugin；運(yùn)行fio config.fio '--filename=Nvme0n1'即可測(cè)試。

二

通過spdk perf測(cè)試磁盤性能

01

基于NVMe的perf工具

成功編譯spdk后，可在spdk/examples/nvme/perf/目錄下找到perf工具的二進(jìn)制運(yùn)行文件。perf使用方法如下所示：

perf -c -q -t -w -s -o -r