編者按

網(wǎng)絡側現(xiàn)在還沒有形成標準的接口。Virtio-net因為軟件虛擬化的流行所以標準，但其性能較差；AWS有自己的ENA/EFA接口，NVIDIA提供的是NV-SRIOV自定義接口，以及基于此封裝的Virtio-net接口。 在存儲側，業(yè)界形成了“偉大”的共識：NVMe標準接口，兼顧了標準化和高性能。與此同時，從Virtio-blk逐步切換到NVMe在業(yè)界得到了眾多的認可。

高速存儲接口NVMe

跟網(wǎng)絡接口相比，存儲的接口標準化程度相對較高。NVMe是本地高性能存儲主流的接口標準，同時基于NVMe擴展的NVMeoF是高性能網(wǎng)絡存儲主要的接口及整體解決方案標準。

1 NVMe概述

NVMe（Non-Volatile Memory Express）是經(jīng)過優(yōu)化的、高性能的、可擴展的主機控制器接口，專為非易失性存儲器（NVM）技術而設計。NVMe解決了如下一些性能問題：

帶寬：通過支持PCIe和諸如RDMA和光纖之類的通道，NVMe可以支持比SATA或SAS高很多的帶寬。

IOPS：例如，串行ATA可能的最大IOPS為20萬，而NVMe設備已被證明超過100萬IOPS。

延遲：NVM以及未來的存儲技術具有一微秒以內的訪問延遲，需要一種更簡潔的軟件協(xié)議，能夠實現(xiàn)包括軟件堆棧在內的不超過10毫秒的端到端延遲。

NVMe協(xié)議支持多個深度隊列，這是對傳統(tǒng)SAS和SATA協(xié)議的改進。典型的SAS設備在單個隊列中最多支持256個命令，而SATA設備最多支持32個命令。這些隊列深度對于傳統(tǒng)的硬盤驅動器技術已經(jīng)足夠，但不能充分利用NVM技術的性能。

相比之下，圖1所示的NVMe多隊列，每個隊列支持64K命令，最多支持64K隊列。這些隊列的設計使得IO命令和對命令的處理不僅可以在同一處理器內核上運行，也可以充分利用多核處理器的并行處理能力。每個應用程序或線程可以有自己的獨立隊列，因此不需要IO鎖定。NVMe還支持MSI-X和中斷控制，避免了CPU中斷處理的瓶頸，實現(xiàn)了系統(tǒng)擴展的可伸縮性。NVMe采用簡化的命令集，相比SAS或SATA，NVMe命令集使用的處理IO請求的指令數(shù)量減少了一半，從而在單位CPU指令周期內可以提供更高的IOPS，并且降低主機中IO軟件堆棧的處理延遲。

圖1 NVMe多隊列

2 NVMe寄存器

NVMe（Over PCIe）寄存器主要分為兩類，一類是PCIe配置空間寄存器，一類是NVMe控制器相關的寄存器。

a.PCIe配置空間和功能

NVMe PCIe總線寄存器如表1所示，NVMe跟主機CPU的接口主要是基于PCIe總線，使用PCIe的Config和Capability機制。包括PCI/PCIe頭、PCI功能和PCIe擴展功能。

表1 NVMe PCIe配置空間和功能

b.NVMe控制器寄存器

NVMe控制器寄存器位于MLBAR/MUBAR寄存器(PCI BAR0和BAR1)中，這些寄存器應映射到支持順序訪問和可變訪問寬度的內存空間。NVMe 1.3d版本的控制器寄存器列表如表2所示。

表2 NVMe 1.3d版本的控制器寄存器列表

3 NVMe隊列

NVMe的隊列是經(jīng)典的環(huán)形隊列結構，通過提交/完成隊列對來實現(xiàn)隊列的傳輸交互。

a.隊列概述

NVMe使用的是經(jīng)典的循環(huán)隊列結構來傳遞消息（例如，傳遞命令和命令完成通知）。隊列可以映射到任何PCIe可訪問的內存中，通常是放在主機內存。

如圖2，隊列是固定大小的，通過Tail和Head來分別指向寫入和讀取的指針。像通常的隊列數(shù)據(jù)結構一樣，隊列實際可使用的大小是隊列大小減1，并且用Head等于Tail指示隊列空，用Head等于（Tail+1）除以隊列大小的余數(shù)來指示隊列滿。

圖2 NVMe隊列結構

如上一節(jié)的圖1，根據(jù)用途，NVMe隊列有兩類：管理隊列和IO隊列；根據(jù)傳輸方向有兩類：提交隊列和完成隊列。具體介紹見表3。

表3 NVMe隊列類型

b.隊列處理流程

NVMe的驅動和設備交互跟Virtio不同：Virtio是在通過一個隊列完成雙向通知交互；而NVMe則采用提交隊列和完成隊列配合完成雙向交互的方式。

如圖3，NVMe隊列處理流程如下（其中主機為軟件驅動，控制器為硬件設備）：

（1）主機寫命令到提交隊列項中。

（2）主機寫DB（Doorbell）寄存器，通知控制器有新命令待處理。

（3）控制器從內存中的提交隊列中讀取命令。

（4）控制器執(zhí)行命令。

（5）控制器更新完成隊列，表示當前的SQ項已經(jīng)處理。

（6）控制器發(fā)MSI-x中斷到主機CPU。

（7）主機處理完成隊列，同步更新提交隊列中的已處理項。

（8）主機寫完成隊列Db到控制器，告知完成隊列項已釋放。

圖3 NVMe隊列處理流程

4 NVMe命令結構

我們通過如下一些概念來理解NVMe命令結構：

隊列項的數(shù)據(jù)格式。NVMe的提交命令固定64字節(jié)，完成命令固定16字節(jié)。

命令。NVMe命令分為Admin和IO兩類。

NVMe的數(shù)據(jù)塊組織方式有PRP和SGL兩種。

a.隊列項的數(shù)據(jù)格式

提交隊列和完成隊列，組成隊列對，協(xié)作完成NVMe驅動和設備之間的命令傳輸。提交隊列每一項64字節(jié)固定大小，完成隊列每一項16字節(jié)固定大小。

提交隊列的數(shù)據(jù)格式如圖4所示。NVMe提交隊列項的數(shù)據(jù)格式屬性如下：

Opcode：命令操作碼

FUSE：熔合兩個命令為一條命令

PSDT：PRP或SGL數(shù)據(jù)傳輸

Command Identifier：命令ID

Namespace Identifier：命名空間ID

Metadata Pointer：元數(shù)據(jù)指針

PRP entry 1/2：物理區(qū)域頁項，對應的由PRP和PRP列表

SGL：散列聚合列表

圖4 提交隊列項的數(shù)據(jù)格式

完成隊列的數(shù)據(jù)格式如圖5所示。

圖5 完成隊列項的數(shù)據(jù)格式

NVMe完成隊列的數(shù)據(jù)格式屬性如下：

SQ Header pointer：SQ頭指針

SQ Identifier：SQ ID

Command Identifier：命令ID

P：相位標志phase tag，完成隊列沒有head/tail交互，通過相位標志實現(xiàn)完成隊列項的釋放

Status Field：狀態(tài)域

b.NVMe命令

NVMe管理類的命令如表4所示。

表4 NVMe管理命令列表

NVMe IO類命令如表5所示。

表5 NVMe IO類命令列表

c.物理區(qū)域頁PRP

PRP本質是一個鏈表，鏈表中的每一個指針都指向一個不超過頁大小的數(shù)據(jù)塊。PRP為8字節(jié)（64bits）固定大小，PRPList則最多可以占滿一整個頁。

PRP1和PRP2的格式如圖6(a)所示。如果是首個PRP，則Offset（偏移量）可能是非零的數(shù)據(jù)，另外，偏移量是32bits對齊的（即末尾兩位為0）。如圖6(b)所示，在PRP列表中的所有PRP項的偏移量都為0，也即是PRP指針指向頁面起始地址。

圖6 PRP和PRP列表的格式

如圖7(a)所示，當數(shù)據(jù)只有一個或兩個頁面的時候，就不需要使用PRP列表數(shù)據(jù)結構，直接PRP1和PRP2指向內存頁面。當一個命令指向的數(shù)據(jù)超過兩個內存頁面的時候，就需要使用PRP列表，圖7(b)所顯式的為使用PRP列表的數(shù)據(jù)結構。

(a) 范例1：PRP直接指向內存頁面

(b) 范例2：PRP列表指針，指向PRP列表，再指向內存頁面

圖7 PRP數(shù)據(jù)結構范例

d.散列聚合列表SGL

PRP每個鏈表指針最多指向一個頁大小的數(shù)據(jù)塊，即使若干個頁在內存連續(xù)放置，PRP也需要對應的多個PRP項。為了減少元數(shù)據(jù)規(guī)模，SGL不限制指針指向數(shù)據(jù)塊的大小，這樣連續(xù)的若干個頁的數(shù)據(jù)，只需要一個SGL項就可以標識。

NVMe中SGL的長度為16字節(jié)固定長度，其格式如圖8(a)所示，在最高的第15字節(jié)SGL描述符類型域和子類型域標識不同類型的SGL描述符，根據(jù)不同的描述符，字節(jié)14-0的格式各有不同。SGL描述符類型如圖8(b)所示。

圖8 NVMe SGL數(shù)據(jù)格式

如圖9，NVMe SGL的數(shù)據(jù)結構是鏈表形式，SQ中的首個SGL段只有1項，為指向下一個SGL段的指針。下一個SGL段包含若干SGL數(shù)據(jù)塊描述符，SGL段的最后的一個SGL描述符為另一個SGL段指針，指向下一個SGL段。根據(jù)傳輸數(shù)據(jù)大小，在最后一個SGL 段中，所有的SGL描述符都是SGL數(shù)據(jù)塊描述符。

PRP只能指向單個內存頁，這樣，當要傳輸?shù)臄?shù)據(jù)塊非常大的時候，就需要非常多的PRP項。而SGL可以指向不同大小的數(shù)據(jù)塊，處于連續(xù)內存區(qū)域的多個數(shù)據(jù)塊只需要一個SGL描述符就可以標識。因此，一般情況下，SGL比PRP更高效，更節(jié)省描述符資源。

圖9 NVMe SGL數(shù)據(jù)結構范例

5 網(wǎng)絡存儲接口NVMeoF

NVMeoF（NVMe over Fabrics）定義了一種通用架構，該架構支持一系列基于NVMe塊存儲協(xié)議的存儲網(wǎng)絡系統(tǒng)。包括從前端存儲接口到后端擴展的大量NVMe設備或NVMe子系統(tǒng)，也包括訪問遠程NVMe設備和NVMe子系統(tǒng)所需的網(wǎng)絡傳輸系統(tǒng)。

如圖10所示，NVMeoF支持以太網(wǎng)、光纖和InfiniBand等不同的網(wǎng)絡傳輸介質?；赗DMA的NVMeoF，使用的是InfiniBand、RoCEv1/v2或iWARP。NVMeoF的主要目標是提供與NVMe設備的低延遲遠程連接，與服務器本地NVMe設備相比，增加的延遲不超過10μs。

圖10 NVMe over Fabrics支持的網(wǎng)絡傳輸介質

利用NVMeoF技術，可以輕松構建由許多NVMe設備組成的存儲系統(tǒng)，它通過基于RDMA或光纖網(wǎng)絡實現(xiàn)的NVMeoF，構成了完整的NVMe端到端存儲解決方案。NVMeoF系統(tǒng)可以提供非常高的訪問性能，同時保持非常低的訪問延遲。

為了遠距離傳輸NVMe協(xié)議，理想的基礎網(wǎng)絡結構應具有以下特征：

可靠的基于信用的流量控制和傳輸機制。需要網(wǎng)絡能支持自動流量調節(jié)，從而提供可靠的網(wǎng)絡連接?；谛庞玫牧髁靠刂剖枪饫w、InfiniBand和PCIe原生支持的功能。

優(yōu)化的NVMe客戶端?？蛻舳塑浖軌蛑苯优c傳輸網(wǎng)絡之間發(fā)送和接收NVMe命令，不需要使用諸如SCSI之類比較低效的轉換層。

低延遲的網(wǎng)絡。網(wǎng)絡應該是針對低延遲優(yōu)化過的，網(wǎng)絡路徑（包括交換機）端到端延遲不能超過10 μs。

能夠減少延遲和CPU使用率的硬件接口卡。接口卡支持直接內存注冊給用戶模式的應用程序使用，以便數(shù)據(jù)傳輸可以直接從應用程序傳遞到接口卡。

網(wǎng)絡擴展。網(wǎng)絡能夠支持擴展到成千上萬個設備，甚至更多。

多主機支持。該網(wǎng)絡應能夠支持多個主機同時發(fā)送和接收命令。這也適用于多個存儲子系統(tǒng)。

多端口支持。主機服務器和存儲系統(tǒng)應能夠同時支持多個端口。

多路徑支持。該網(wǎng)絡應能夠同時支持任何NVMe主機發(fā)起端和任何NVMe存儲目標端之間的多個路徑。

最多可達64K的獨立IO隊列以及IO隊列固有的并行性可以很好地與上述特征一起使用。每個IO隊列可同時支持64K個命令。另外，NVMe命令數(shù)量非常少，因此在各種不同的網(wǎng)絡環(huán)境中實現(xiàn)起來也非常的簡單高效。

NVMeoF協(xié)議大約90％與NVMe協(xié)議相同。這包括NVMe命名空間、IO和管理命令、寄存器和屬性、電源狀態(tài)、異步事件等。兩者的差異對比如表6所示。

表6 NVMe和NVMeoF對比

NVMe基于分層的設計：如果把NVMe傳輸映射到內存訪問和PCIe總線，則是通常所理解的NVMe；如果把NVMe傳輸映射到RoCE等網(wǎng)絡接口，基于消息傳輸和內存訪問，則是NVMeoF。

如圖11，在本地NVMe中，NVMe命令和響應映射到主機中的共享內存，可以通過PCIe接口訪問。但是，NVMeoF是基于節(jié)點之間發(fā)送和接收消息的概念構建的。NVMeoF通過把NVMe命令和響應封裝到消息，每個消息包含一個或多個NVMe命令或響應。

圖11 NVMeoF堆棧

對于NVMeoF來說，多隊列特征是支持的。通過使用類似NVMe的提交隊列和完成隊列機制來支持NVMe多隊列模型，但是將命令封裝在基于消息的傳輸中。NVMe IO隊列對（提交和完成）是為多核CPU設計的，這種低延遲的設計在NVMeoF也同樣支持。

當通過網(wǎng)絡將復雜的消息發(fā)送到遠端NVMe設備時，允許將多個小消息合并成一條消息發(fā)送，從而提高傳輸效率并減少延遲。如圖12，一條消息封裝了提交隊列項或完成隊列項、多個SGL、多組數(shù)據(jù)以及元數(shù)據(jù)等。每一項的內容與本地NVMe協(xié)議相同，但是封裝是將它們打包在一起，用以提高傳輸效率。

圖12 NVMeoF的命令和響應封裝

6 NVMe及NVMeoF總結

NVMe是為了高速非易失性存儲定制的存儲接口訪問協(xié)議，定向優(yōu)化了存儲的主要性能指標：帶寬、延遲和IOPS。NVMe最重要的特征體現(xiàn)在：

面向高速存儲場景定制：NVMe是專門面向高速存儲場景定制的協(xié)議，因此充分考慮了塊存儲的特點，重點解決存儲性能的關鍵問題。

多隊列支持：多隊列不僅僅充分利用了硬件的并行處理能力，同時，也充分的利用了多核系統(tǒng)多線程并行的特點，最大化的優(yōu)化了NVMe的性能。

標準化：NVMe是得到廣泛應用的PCIe SSD接口標準，各大主流操作系統(tǒng)支持統(tǒng)一的標準NVMe驅動。

NVMeoF集成現(xiàn)有的NVMe和高速低延遲傳輸網(wǎng)絡的技術，提供一整套整合的遠程高速存儲系統(tǒng)解決方案，非常適應于大規(guī)模存儲集群的應用場景。

原文標題：高速的、標準化的存儲接口NVMe

文章出處：【微信公眾號：中科院半導體所】歡迎添加關注！文章轉載請注明出處。

審核編輯：湯梓紅