01 背景 & 動(dòng)機(jī)

隨著相變存儲(chǔ)器 (PCM)、STT-MRAM、憶阻器和英特爾的 3D-XPoint 等技術(shù)的快速發(fā)展，高速的、可字節(jié)尋址的新興 NVM 的產(chǎn)品逐漸涌現(xiàn)于市場(chǎng)中，學(xué)術(shù)界和工業(yè)界針對(duì)這一新興存儲(chǔ)介質(zhì)展開了廣泛的應(yīng)用探索并對(duì)計(jì)算機(jī)基礎(chǔ)領(lǐng)域的發(fā)展造成了不小的影響。

NVM 編程庫，NVM 數(shù)據(jù)結(jié)構(gòu)，NVM 感知文件系統(tǒng)和基于 NVM 的數(shù)據(jù)庫已經(jīng)得到了廣泛研究，許多內(nèi)存或存儲(chǔ)系統(tǒng)都使用 NVM 編程庫移植到 NVM，例如 PmemKV 和 Pmem-RocksDB。Google 等公司已經(jīng)嘗試將首款商用 NVM 產(chǎn)品 Intel Optane DC Persistent Memory 部署到了云數(shù)據(jù)中心環(huán)境中。當(dāng)NVM 與易失性 DRAM 并排放置以作為快速字節(jié)可尋址存儲(chǔ)或大容量運(yùn)行時(shí)內(nèi)存被部署時(shí)，就形成了混合 NVM/DRAM 平臺(tái)。

Noisy Neighbor 問題

在云數(shù)據(jù)中心中，當(dāng)一些應(yīng)用程序（稱為 Noisy Neighbor，吵鬧鄰居）會(huì)過度使用內(nèi)存帶寬時(shí)，會(huì)影響其他應(yīng)用程序的性能。在傳統(tǒng) DRAM 平臺(tái)上通過預(yù)防策略和補(bǔ)救策略緩解此問題：

1.主動(dòng)為應(yīng)用程序設(shè)置帶寬限制，以防止任何應(yīng)用程序成為潛在的吵鬧鄰居。

2.監(jiān)視并識(shí)別系統(tǒng)中是否存在吵鬧鄰居，限制新出現(xiàn)的吵鬧鄰居的內(nèi)存帶寬使用。

Intel 發(fā)布的商業(yè) Optane PM 可通過 CPU load/store 指令直接訪問，但 NVM 的實(shí)際帶寬仍遠(yuǎn)低于 DRAM。在混合 NVM/DRAM 平臺(tái)上由于 NVM 和 DRAM 共享內(nèi)存總線，這無疑增加了內(nèi)存帶寬干擾的復(fù)雜性。

本文在混合平臺(tái)上運(yùn)行 fio 工作負(fù)載來說明不同類型帶寬之間競(jìng)爭(zhēng)的影響，結(jié)果如下圖。一共有四類任務(wù)：NVM Read、NVM Write、DRAM Read和DRAM Write，首先測(cè)量了每類任務(wù)單獨(dú)運(yùn)行時(shí)的吞吐量并作為 baseline，即第一列。隨后測(cè)量了每?jī)深惾蝿?wù)同時(shí)運(yùn)行時(shí)主任務(wù)的吞吐量，并以歸一化的值顯示出來，較小的數(shù)字（即較暗的塊）表示其他嘈雜任務(wù)對(duì)主任務(wù)吞吐量的影響更大。

本文在進(jìn)行帶寬實(shí)驗(yàn)的同時(shí)還檢查了任務(wù)的吞吐量和延遲之間的關(guān)系。下圖顯示了任務(wù) A（NVM Write）與任務(wù) B（具有可變數(shù)量的 NVM-Write fio）同時(shí)運(yùn)行的吞吐量和延遲。

本文得到以下觀察結(jié)果：

1. 內(nèi)存干擾的影響與內(nèi)存訪問的類型密切相關(guān)，比內(nèi)存帶寬占用量的影響更大。

2. NVM 訪問對(duì)其他任務(wù)的影響比 DRAM 訪問更嚴(yán)重。

3. 隨著任務(wù) B 的數(shù)量增長(zhǎng)，任務(wù) A 的帶寬逐漸減?。ㄓ捎趲捀蓴_的增強(qiáng)），同時(shí)任務(wù) A 的延遲增加。由于內(nèi)存訪問延遲與帶寬使用呈明顯負(fù)相關(guān)關(guān)系，這表明我們可以通過測(cè)量不同類型內(nèi)存訪問的延遲來檢測(cè)內(nèi)存帶寬干擾情況。

這表明在 NVM/DRAM 混合平臺(tái)在 Noisy Neighbor 問題呈現(xiàn)出更加復(fù)雜和嚴(yán)重的特征。在混合平臺(tái)上進(jìn)行內(nèi)存帶寬調(diào)節(jié)存在以下重大挑戰(zhàn)：

1.NVM 和 DRAM 內(nèi)存帶寬上限不對(duì)稱，導(dǎo)致系統(tǒng)實(shí)際可用內(nèi)存帶寬很大程度上取決于工作負(fù)載中不同類型的內(nèi)存訪問的比例。

2.現(xiàn)有 NVM/DRAM 混合平臺(tái)上NVM 與 DRAM 共享內(nèi)存總線，內(nèi)存流量的混合導(dǎo)致在每個(gè)進(jìn)程的基礎(chǔ)上監(jiān)控不同類型的內(nèi)存帶寬幾乎是不可能的，使得現(xiàn)有的為 DRAM 設(shè)計(jì)的硬件和軟件監(jiān)管方法無效。

3.現(xiàn)有內(nèi)存調(diào)節(jié)的硬件和軟件機(jī)制不足。CPU 供應(yīng)商提供了硬件機(jī)制是粗粒度和定性的，頻率縮放和 CPU 調(diào)度等技術(shù)，可以提供相對(duì)細(xì)粒度的帶寬調(diào)整，但它們也是定性的并且減慢了計(jì)算和內(nèi)存訪問效率。

現(xiàn)有的硬件調(diào)節(jié)和計(jì)數(shù)機(jī)制：

Intel Memory Bandwidth Monitoring (MBM) 支持在硬件級(jí)統(tǒng)計(jì)每個(gè) NUMA 節(jié)點(diǎn)的內(nèi)存流量并記錄到指定寄存器。

Intel Memory Bandwidth Allocation (MBA) 硬件功能，以可忽略的開銷提供對(duì)內(nèi)存帶寬的間接和近似控制。MBA 支持對(duì)一組線程進(jìn)行控制，通過向內(nèi)存請(qǐng)求插入延遲來限制內(nèi)存帶寬的使用。由于延遲機(jī)制，相同的限制值在具有不同內(nèi)存訪問模式的應(yīng)用程序中可能表現(xiàn)不同。

IMC 性能計(jì)數(shù)器可以獲得不同類型的實(shí)時(shí)帶寬，但僅限于內(nèi)存通道粒度而不是進(jìn)程粒度。

02 設(shè)計(jì)方案

1. MT^2 的設(shè)計(jì)

本文對(duì)現(xiàn)有軟硬件技術(shù)進(jìn)行了深入調(diào)研，并提出了一種在 NVM/DRAM 混合平臺(tái)上監(jiān)控調(diào)節(jié)并發(fā)應(yīng)用的內(nèi)存帶寬的設(shè)計(jì)（MT^2）。MT^2 實(shí)現(xiàn)于內(nèi)核態(tài)，但用戶可通過偽文件系統(tǒng)接口與 MT^2 通信，將線程分類到不同的組（與 cgroups 相同）并指定一個(gè)策略來調(diào)節(jié)每個(gè)組的帶寬。TGroups（即 Throttling Groups）是 MT^2 中帶寬監(jiān)控和限制的目標(biāo)。其架構(gòu)圖如下：

MT^2 由兩部分組成：監(jiān)控器和調(diào)節(jié)器。從VFS、PMU（Performance Monitoring Unit）和MBM收集的數(shù)據(jù)，監(jiān)控器將其分為四種類型，并將它們和干擾信息轉(zhuǎn)發(fā)給調(diào)節(jié)器。根據(jù)監(jiān)控?cái)?shù)據(jù)和調(diào)節(jié)測(cè)量，調(diào)節(jié)器通過兩種機(jī)制做出限制帶寬的決定：調(diào)整 MBA 限制值和改變 CPU 配額。MT^2 采用動(dòng)態(tài)帶寬限制算法，根據(jù)實(shí)時(shí)帶寬和干擾水平不斷監(jiān)控和調(diào)整限制。

MT^2 提供了兩種策略來緩解 Noisy Neighbor 問題（預(yù)防和補(bǔ)救策略）以應(yīng)對(duì)不同的場(chǎng)景。為了預(yù)防，系統(tǒng)管理員需要為每個(gè) TGroup 設(shè)置帶寬上限。MT^2 監(jiān)控精確的實(shí)時(shí)帶寬并強(qiáng)制所有組不要使用超過上限的帶寬。但是，多個(gè)不超過上限的 TGroup 一起仍然可能造成較強(qiáng)的帶寬干擾，可以通過補(bǔ)救策略識(shí)別和重新限制。這兩種策略是正交的；因此，何時(shí)以及如何使用這兩種策略取決于具體場(chǎng)景。

2. MT^2 監(jiān)控器的設(shè)計(jì)

監(jiān)控器結(jié)合了各種硬件和軟件技術(shù)，以在進(jìn)程粒度區(qū)分不同類型的帶寬，檢測(cè)系統(tǒng)當(dāng)前的內(nèi)存干擾程度。在硬件技術(shù)方面，重點(diǎn)使用到的一些性能事件的描述如下表所示：

2.1. 帶寬估計(jì)

獲得每種訪問類型的準(zhǔn)確或估計(jì)的帶寬值，即 表示 DRAM 讀取量、 表示 NVM 讀取量、 表示 DRAM 寫入量和 表示 NVM 寫入量。

測(cè)量每個(gè)進(jìn)程 DRAM 和 NVM 讀取量的精確值：

?：基于 ocr.all_data_rd.pmm_hit_local_pmm.any_snoop PMU 事件計(jì)數(shù)器檢索本地 NVM 讀取次數(shù)并將該值乘以緩存行大小 (64B)

?：基于 ocr.all_data_rd.l3_miss_local_dram.any_snoop PMU 事件計(jì)數(shù)器檢索本地 NVM 讀取次數(shù)并將該值乘以緩存行大小 (64B)

利用 MBM 來監(jiān)控每個(gè) TGroup 的總內(nèi)存訪問帶寬，即 、、和 的總和。鑒于我們可以通過 PMU 計(jì)算出 和 的精確值，此時(shí)只需要知道每個(gè)進(jìn)程 的精確值，就能計(jì)算出所有值。由于用戶空間應(yīng)用程序只能通過兩種方式寫入 NVM：文件 API（write）和內(nèi)存映射文件后的 CPU store 指令。

?對(duì)于文件 API，MT^2 掛鉤內(nèi)核中的 VFS 并跟蹤每個(gè) TGroup 的 NVM 寫入量。

?對(duì)于內(nèi)存映射訪問，受信任的應(yīng)用程序可以自行收集并向 MT^2 報(bào)告其對(duì)內(nèi)存映射 NVM 的寫入量。通過掛鉤修改英特爾官方 PMDK 編程庫，顯式地將緩存行刷新或者執(zhí)行非臨時(shí)內(nèi)存寫入，并用每線程計(jì)數(shù)器計(jì)算總 NVM 寫入量。最后為每個(gè)進(jìn)程設(shè)置一個(gè)與內(nèi)核共享的 page，進(jìn)程中的每個(gè)線程將其每線程計(jì)數(shù)器值寫入 page 中的不同槽中。內(nèi)核中的 MT^2 定期檢查計(jì)數(shù)器并計(jì)算每個(gè) TGroup 的帶寬。另外，還可以現(xiàn)代英特爾處理器中的一種高效采樣功能，基于處理器事件的采樣 (PEBS)，將每個(gè) TGroup 采樣到的內(nèi)存寫入地址與 NVM 的地址范圍進(jìn)行比較，可以得出采樣寫入 NVM 和 DRAM 的比例，以此粗略計(jì)算出和。

2.2. 干擾檢測(cè)

即使給出四種內(nèi)存訪問的準(zhǔn)確帶寬使用情況，也很難確定帶寬干擾是否發(fā)生及其嚴(yán)重程度，因?yàn)閮?nèi)存訪問需求的減少和 Noisy Neighbor 的存在都會(huì)導(dǎo)致應(yīng)用程序使用更少的帶寬。

MT2 不是通過內(nèi)存帶寬檢測(cè)內(nèi)存干擾，而是通過測(cè)量不同類型內(nèi)存訪問的延遲來檢測(cè)干擾級(jí)別，動(dòng)機(jī)實(shí)驗(yàn)的關(guān)鍵洞察支撐這一點(diǎn)設(shè)計(jì)，內(nèi)存訪問延遲與由于競(jìng)爭(zhēng)導(dǎo)致帶寬使用情況呈負(fù)相關(guān)關(guān)系。

? 對(duì)于讀取，從四個(gè) PMU 性能事件中獲取延遲，unc_m_pmm_rpq_occupancy.all()、unc_m_pmm_rpq_inserts()、unc_m_rpq_occupancy 和 unc_m_rpq_inserts。NVM 讀取的延遲可以通過 來計(jì)算，DRAM 讀取延遲同理。

? 對(duì)于寫入，MT^2 定期發(fā)出一些 NVM 和 DRAM 寫入請(qǐng)求并測(cè)量它們的完成時(shí)間以獲得兩種類型寫入請(qǐng)求的延遲。

最后需要設(shè)置一個(gè)閾值來判斷帶寬干擾是否發(fā)生。當(dāng)某個(gè)訪問請(qǐng)求的時(shí)延超過相應(yīng)的閾值時(shí)，平臺(tái)就會(huì)出現(xiàn)比較嚴(yán)重的干擾，遂影響到該類內(nèi)存的訪問。通過測(cè)量不同干擾水平下帶寬和延遲之間的關(guān)系得出閾值（可以跨不同平臺(tái)調(diào)整閾值），在我們的平臺(tái)中使用吞吐量減少 10% 時(shí)的延遲作為閾值。

3. MT^2 調(diào)節(jié)器的設(shè)計(jì)

基于上述收集到的內(nèi)存帶寬相關(guān)信息，調(diào)節(jié)器將干擾水平和監(jiān)控帶寬作為輸入，并根據(jù)系統(tǒng)管理員設(shè)置的調(diào)節(jié)策略決定采取什么行動(dòng)來調(diào)整TGroup的帶寬，以避免或抑制噪聲應(yīng)用程序。

3.1. 內(nèi)存調(diào)節(jié)機(jī)制

本文使用了兩種內(nèi)存調(diào)節(jié)機(jī)制：Intel Memory Bandwidth Allocation（MBA）硬件功能和 CPU 調(diào)度機(jī)制。如前所述，MBA通過向內(nèi)存請(qǐng)求插入延遲來限制內(nèi)存帶寬的使用，而 CPU 調(diào)度是通過減少分配給應(yīng)用程序的內(nèi)核數(shù)量以達(dá)到控制內(nèi)存帶寬的效果。例如，通過配置 Linux CPU cgroup 更改線程的 CPU 時(shí)間（或 CPU 配額），MT^2 中的 CPU 配額定義了在給定時(shí)間段內(nèi)分配給 TGroup 線程的 CPU 時(shí)間上限。具有較低 CPU 配額的 TGroups 占用較少的 CPU 時(shí)間，因此它消耗較少的內(nèi)存帶寬。

為了說明 MBA 和 CPU 調(diào)度的效果，本文使用 fio 在不同的限制值下生成不同的工作負(fù)載。Throttling 值 100 表示沒有限制，而 10 表示最大限制，結(jié)果如下圖所示：

從上述圖表中我們可以發(fā)現(xiàn)，MBA只支持有限的限制值，并不是所有的限制值都對(duì)工作負(fù)載有效。MBA 對(duì) DRAM 密集型工作負(fù)載的限制的表現(xiàn)比對(duì) NVM 密集型工作負(fù)載的限制更好，MBA 對(duì) NVM 寫的限制幾乎完全無效。因此，MBA 無法精確控制線程的帶寬，而 CPU 調(diào)度可以作為 MBA 的一種補(bǔ)充機(jī)制，CPU 調(diào)度可以提供粒度更細(xì)且表現(xiàn)看似更好的內(nèi)存帶寬限制。如上表 3 所示，我們需要注意的是，MBA 僅僅減慢了內(nèi)存訪問操作并且不影響其他操作（計(jì)算操作），所以 MBA 機(jī)制在僅限制內(nèi)存帶寬方面其實(shí)是效率更高的，但適用性有限。

3.2 動(dòng)態(tài)帶寬限制

本文采用動(dòng)態(tài)帶寬限制的算法結(jié)合了上述所有機(jī)制，首先根據(jù)監(jiān)視器提供的信息識(shí)別噪聲鄰居，然后采取措施限制嘈雜的鄰居的內(nèi)存帶寬。

基于上述分析，本文認(rèn)為具有最多 NVM 寫入的 TGroup 更有可能成為嘈雜的鄰居，其次是具有最多 NVM 讀取的 TGroup，最后是具有更多 DRAM 訪問的 TGroup。該算法按上述順序選擇最有可能成為噪聲鄰居的 TGroup。

然后算法根據(jù)要限制的內(nèi)存帶寬類型選擇內(nèi)存調(diào)節(jié)機(jī)制。為了限制NVM訪問帶寬，該算法采用 CPU 調(diào)度機(jī)制，為了僅限制 DRAM 訪問帶寬，該算法選擇降低目標(biāo) TGroup 的 MBA 值。如果 MBA 已設(shè)置為最低值，則算法使用 CPU 調(diào)度進(jìn)行進(jìn)一步限制。

一旦內(nèi)存干擾消失，該算法就會(huì)嘗試放松強(qiáng)制執(zhí)行的帶寬限制。調(diào)節(jié)器將周期性運(yùn)行，根據(jù)監(jiān)視器提供的新信息采取另一個(gè)步驟。循序漸進(jìn)的方法減少了平臺(tái)內(nèi)存帶寬變化的不確定性，并防止應(yīng)用程序出現(xiàn)不必要的性能抖動(dòng)。

4. MT^2 的實(shí)現(xiàn)

本文修改 Linux 內(nèi)核 5.3.11 以將 TGroup 添加為 cgroups 的子系統(tǒng)。MT^2 被實(shí)現(xiàn)為與 TGroup 子系統(tǒng)緊密合作的內(nèi)核模塊。

首先掛載子系統(tǒng)并在子系統(tǒng)掛載點(diǎn)創(chuàng)建一個(gè)新目錄（即創(chuàng)建一個(gè)新的 TGroup），然后將進(jìn)程的 pid 寫入 cgroup.procs 文件（即將進(jìn)程添加到 TGroup）。隨后可以讀取/寫入此目錄中的另外三個(gè)文件以管理 TGroup：

1. priority 文件用于獲取和設(shè)置 TGroup 的優(yōu)先級(jí)，高優(yōu)先級(jí)進(jìn)程不受限制，只有低優(yōu)先級(jí)進(jìn)程才可能被限制。

2. bandwidth 文件是只讀的，返回 TGroup 上一秒的帶寬。

3. limit 文件用于獲取和設(shè)置 TGroup 的四種內(nèi)存訪問的絕對(duì)帶寬限制。MT^2 會(huì)確保每個(gè)組使用的帶寬不會(huì)超過預(yù)設(shè)上限。

注意，每次發(fā)生進(jìn)程上下文切換時(shí)，都會(huì)為將在此 CPU 內(nèi)核上運(yùn)行的新線程設(shè)置相應(yīng)的 MT^2 上下文，即進(jìn)程對(duì)應(yīng)的 PMU 寄存器、MBA 相關(guān)的 MSR 寄存器并設(shè)置 CPU 配額，具體實(shí)現(xiàn)方法歡迎查閱論文原文。

03 實(shí)驗(yàn)評(píng)估

實(shí)驗(yàn)評(píng)估環(huán)境的準(zhǔn)備

本文從有效性、性能開銷以及可信環(huán)境下的準(zhǔn)確性等多個(gè)維度全面評(píng)估 MT^2，受限于篇幅，此處重點(diǎn)關(guān)注有效性方面。

本實(shí)驗(yàn)在具有兩個(gè) 28 核 Intel Xeon Gold 6238R CPU 并禁用超線程的服務(wù)器上進(jìn)行。服務(wù)器有兩個(gè) NUMA 節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都配備了 6*32GB DDR4 DRAM 和 6*128GB Optane PM，配置為交錯(cuò)的 app-direct 模式，所有實(shí)驗(yàn)都在單個(gè) NUMA 節(jié)點(diǎn)上進(jìn)行。

噪聲鄰居抑制情況分析

本文在使用 MT^2 的混合平臺(tái)上重新運(yùn)行了一遍任務(wù)并行時(shí)的帶寬運(yùn)行，用四種 fio 工作負(fù)載來說明 MT^2 在緩解不同類型帶寬之間競(jìng)爭(zhēng)的作用。結(jié)果如下圖所示，一般來說，帶有 MT^2 的列比沒有 MT^2 的列的顏色要淺得多，這表明 MT2 可以通過限制其帶寬使用來有效減少嘈雜鄰居的干擾。

以 NVM Read 工作負(fù)載為例，四種噪聲鄰居將 Victim 進(jìn)程 fio 的吞吐量降低到基線的 50%、39%、65% 和 44%。通過使用 MT^2 限制嘈雜鄰居的帶寬，Victim 進(jìn)程 fio 的吞吐量恢復(fù)到基線的 98%、92%、99% 和 98%。其他工作負(fù)載呈現(xiàn)類似現(xiàn)象。

分配指定內(nèi)存帶寬

本文利用 TGroup 為四種內(nèi)存訪問模式對(duì)應(yīng)的進(jìn)程分配了指定的帶寬上限限制，通過 fio 實(shí)驗(yàn)判斷本文設(shè)計(jì)的限制功能是否有效。結(jié)果如下表所示，第一列表示各個(gè)任務(wù)單獨(dú)運(yùn)行時(shí)的吞吐量，第二列表示四個(gè)任務(wù)同時(shí)運(yùn)行時(shí)各自的吞吐量。以 DRAM 寫入為例，多任務(wù)并行時(shí)吞吐量下降了 66%（從 7.4GB/s 到 2.5GB/s）。然后，本文為這些任務(wù)分配不同的帶寬保證（如括號(hào)中的數(shù)字所示），數(shù)據(jù)顯示這些任務(wù)的帶寬在 MT^2 的規(guī)定下得到滿足。

04 總結(jié)

持久內(nèi)存（PM）/ 非易失性內(nèi)存（NVM）的出現(xiàn)正改變著存儲(chǔ)系統(tǒng)的金字塔層次結(jié)構(gòu)。本文發(fā)現(xiàn)，由于 NVM 和 DRAM 共享同一條內(nèi)存總線，帶寬干擾問題變得更為嚴(yán)重和復(fù)雜，甚至?xí)@著降低系統(tǒng)的總帶寬。

本工作介紹了對(duì)內(nèi)存帶寬干擾的分析，對(duì)現(xiàn)有軟硬件技術(shù)進(jìn)行了深入調(diào)研，并提出了一種在 NVM/DRAM 混合平臺(tái)上監(jiān)控調(diào)節(jié)并發(fā)應(yīng)用的內(nèi)存帶寬的設(shè)計(jì)（MT^2）。MT^2 以線程為粒度準(zhǔn)確監(jiān)測(cè)來自混合流量的不同類型的內(nèi)存帶寬，使用軟硬件結(jié)合技術(shù)控制內(nèi)存帶寬。

在多個(gè)不同的用例中，MT^2 能夠有效限制 Noisy Neighbors，消除吵鬧鄰居的帶寬干擾，保證高優(yōu)先級(jí)應(yīng)用程序的性能。

審核編輯：劉清