1. 背景

隨著固態(tài)硬盤帶寬的快速增長，其訪問延遲在不斷縮小，在CPU核數(shù)的不斷增長下，我們希望文件系統(tǒng)可以配合這種核數(shù)的擴展盡量釋放SSD的全速帶寬，但是在過去的實踐中，傳統(tǒng)文件系統(tǒng)只對于傳統(tǒng)的HDD等設(shè)備具有更好的多核擴展性支持，通過在NVMe SSD上的實驗發(fā)現(xiàn)，當(dāng)核數(shù)擴展時文件系統(tǒng)的性能表現(xiàn)較差。

2. 調(diào)研實驗及分析

1) 實驗設(shè)置

在每個核上運行一個進程，并按照從1到72的規(guī)模擴展CPU核數(shù)，每個進程運行60秒，并執(zhí)行創(chuàng)建文件、寫操作、同步操作、刪除文件等操作內(nèi)容。在此過程中測試XFS、ext4、SpanFS、F2FS和模擬理想文件系統(tǒng)對于不同類型設(shè)備的吞吐量數(shù)據(jù)。

2) 實驗結(jié)果

實驗結(jié)果顯示，現(xiàn)存文件系統(tǒng)對于NVMe SSD的多核擴展性支持相對較差，而對于傳統(tǒng)的HDD和SATA SSD的擴展性具有接近于理想條件下的支持。同時最右邊的圖表顯示，在72核的規(guī)模之下，大部分文件系統(tǒng)無法高效利用NVMe SSD的高速帶寬。

3) 原因分析

i. 并發(fā)控制層的鎖緩存爭用

對于文件系統(tǒng)中支持并發(fā)訪問的共享鎖，由于鎖的計數(shù)值需要在各核之間共享，那么就會引入計數(shù)器的緩存一致性問題，因此當(dāng)核數(shù)增加時這種維護開銷就會更加明顯；

ii. 內(nèi)存數(shù)據(jù)結(jié)構(gòu)層的順序化

LFS將內(nèi)存數(shù)據(jù)結(jié)構(gòu)分為三個區(qū)域：inode表、inode區(qū)域和data區(qū)域，對于每個區(qū)域，F(xiàn)2FS都會用一個radix樹的結(jié)構(gòu)進行管理，并且在每一棵樹上用讀寫鎖來進行并發(fā)控制。隨著并發(fā)寫者數(shù)量的增加，訪問這三種樹時會造成嚴重的順序化，進而造成性能的下滑。

iii. 空間分配層的數(shù)據(jù)化

雖然F2FS采用了多頭日志的形式并行化IO請求，但是由于各個溫度的數(shù)據(jù)間的內(nèi)部依賴，實際的數(shù)據(jù)持久化請求會被序列化（例如為了保證F2FS的沖突一致性，數(shù)據(jù)塊持久化必須先于inode的持久化，同時文件inode的持久化必須在目錄數(shù)據(jù)塊更新之前）。因此，這種多頭日志的設(shè)計對于擴展IO吞吐量沒有很明顯的優(yōu)勢。

3. 設(shè)計

為了充分利用多核架構(gòu)和現(xiàn)代NVMe SSD的高帶寬特性，我們設(shè)計了Max-針對閃存的多核加速文件系統(tǒng)，與F2FS的架構(gòu)對比圖如下：

根據(jù)實驗分析的三個層面的問題，分別給出解決方案：

1) 設(shè)置每內(nèi)核讀者信號量，讀訪問可以并發(fā)進行，每個內(nèi)核維護一個讀者計數(shù)，各個內(nèi)核的計數(shù)值互不相關(guān)，避免了在內(nèi)核間維護緩存一致性的開銷。當(dāng)有一個寫請求出現(xiàn)時，各個內(nèi)核不再處理新的讀請求，把當(dāng)前正在進行的讀請求處理完成后再處理寫者的寫訪問。利用CPU調(diào)度器來高效檢查每內(nèi)核計數(shù)值，不必引入額外開銷。

2) 將內(nèi)存數(shù)據(jù)結(jié)構(gòu)的索引劃分為多個文件單元，每個文件單元包含單個文件的 inode 表項、inode 頁和數(shù)據(jù)頁，利用多棵樹的索引實現(xiàn)并行化。

3) 將每種類型的日志區(qū)域切分為更小粒度的日志，每個小日志負責(zé)自己空間的分配，各小日志之間的空間分配互不干擾。

4. 實驗效果

實驗結(jié)果顯示，MAX在數(shù)據(jù)訪問和元數(shù)據(jù)訪問帶寬都實現(xiàn)了較好的多核可擴展性，與原始的F2FS等文件系統(tǒng)相比具有良好的優(yōu)化效果。

審核編輯：劉清