隨著“新基建”的逐步發(fā)展落地，現(xiàn)代數(shù)據(jù)中心迅速崛起，數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，同時(shí)各種新存儲(chǔ)介質(zhì)和技術(shù)的應(yīng)用，使得存儲(chǔ)系統(tǒng)變得越來(lái)越復(fù)雜。用戶需要一套穩(wěn)定、高性能且簡(jiǎn)單易用的存儲(chǔ)系統(tǒng)。 AI技術(shù)可以解決存儲(chǔ)系統(tǒng)使用的復(fù)雜性問(wèn)題，提供簡(jiǎn)單易用、智能化的存儲(chǔ)系統(tǒng)。AI會(huì)不斷地從存儲(chǔ)及其運(yùn)行環(huán)境中采集存儲(chǔ)的各種狀態(tài)信息和性能數(shù)據(jù)，用機(jī)器學(xué)習(xí)算法分析，學(xué)習(xí)用戶的存儲(chǔ)使用情況，進(jìn)而自動(dòng)化的調(diào)整并優(yōu)化存儲(chǔ)系統(tǒng)，使存儲(chǔ)服務(wù)能更好地適應(yīng)用戶的需求。有AI加持的智能化存儲(chǔ)可以增強(qiáng)系統(tǒng)的可靠性，降低存儲(chǔ)的復(fù)雜性和維護(hù)成本。 因此，在前期的文章中，我們提出”客戶的未來(lái)，從AI加持的新存儲(chǔ)開(kāi)始”的觀點(diǎn)，并介紹了存儲(chǔ)AIOps的五大關(guān)鍵技術(shù)：監(jiān)控、學(xué)習(xí)、預(yù)測(cè)、推薦、實(shí)施。 今天我們來(lái)具體探討一下被客戶重點(diǎn)關(guān)注的存儲(chǔ)磁盤(pán)故障預(yù)測(cè)和性能容量預(yù)測(cè)技術(shù)。

1

磁盤(pán)故障預(yù)測(cè)和性能容量預(yù)測(cè)

給復(fù)雜的存儲(chǔ)管理做“減法”

存儲(chǔ)本身很復(fù)雜，數(shù)據(jù)中心環(huán)境和客戶應(yīng)用也很復(fù)雜，預(yù)測(cè)性分析技術(shù)是準(zhǔn)確預(yù)測(cè)存儲(chǔ)風(fēng)險(xiǎn)和故障，解決存儲(chǔ)的復(fù)雜性的重要一部分。預(yù)測(cè)性分析技術(shù)是通過(guò)分析歷史的日志、告警、報(bào)錯(cuò)等信息，AI算法可以自動(dòng)分析出問(wèn)題出現(xiàn)前的頻繁出現(xiàn)的數(shù)據(jù)模式，之后在從正常存儲(chǔ)系統(tǒng)上匹配這些AI學(xué)習(xí)到模式就能形成預(yù)測(cè)。 對(duì)于一個(gè)復(fù)雜的存儲(chǔ)系統(tǒng)來(lái)說(shuō)，用戶關(guān)注最多的是硬盤(pán)、性能和容量的預(yù)測(cè)分析，磁盤(pán)故障預(yù)測(cè)和性能容量預(yù)測(cè)則成為兩大關(guān)鍵功能。 為什么關(guān)注硬盤(pán)故障預(yù)測(cè)？

公開(kāi)數(shù)據(jù)顯示百度數(shù)據(jù)中心4年29萬(wàn)次硬件故障中，硬盤(pán)故障占比高達(dá)81.84%。對(duì)于傳統(tǒng)的存儲(chǔ)廠商來(lái)說(shuō)，雖然磁盤(pán)的絕對(duì)故障率不高，但是在所有的存儲(chǔ)部件中，如CPU、內(nèi)存、主板、網(wǎng)卡、HBA卡、電源等，磁盤(pán)的故障率是最高的。

雖然傳統(tǒng)存儲(chǔ)有RAID、副本等機(jī)制，但是數(shù)據(jù)重建過(guò)程中使用了大量IO資源，這導(dǎo)致存儲(chǔ)性能嚴(yán)重下降，而且重建時(shí)間很長(zhǎng)往往以天計(jì)。因此，數(shù)據(jù)重建對(duì)客戶的業(yè)務(wù)影響很大。如果我們可以提前預(yù)測(cè)磁盤(pán)故障，用戶可以選擇業(yè)務(wù)不繁忙的時(shí)間來(lái)重建數(shù)據(jù)，那么重建帶來(lái)的影響可以忽略不計(jì)。同時(shí)，預(yù)測(cè)可以把突發(fā)事件變?yōu)橛?jì)劃事件，也降低了存儲(chǔ)的維護(hù)成本。

為什么關(guān)注容量性能預(yù)測(cè)？

除故障外，用戶在日常使用存儲(chǔ)的過(guò)程中關(guān)注最多的就是容量和性能。系統(tǒng)容量不足會(huì)導(dǎo)致系統(tǒng)不可用，客戶業(yè)務(wù)中斷。性能指標(biāo)主要指時(shí)延、帶寬、IOPS，隨著用戶業(yè)務(wù)的發(fā)展，給存儲(chǔ)帶來(lái)的性能壓力越來(lái)越大，性能不足會(huì)讓客戶的應(yīng)用變慢甚至無(wú)響應(yīng)。

利用AI技術(shù)，對(duì)存儲(chǔ)的性能、容量變化趨勢(shì)進(jìn)行準(zhǔn)確預(yù)測(cè)，一方面可以告知客戶進(jìn)行擴(kuò)容、軟硬件升級(jí)的時(shí)間點(diǎn)，另一方面也能提供存儲(chǔ)規(guī)劃的具體參考指標(biāo)。

2

存儲(chǔ)磁盤(pán)故障預(yù)測(cè)技術(shù) 同典型的AI系統(tǒng)一樣，先對(duì)歷史數(shù)據(jù)進(jìn)行訓(xùn)練，生成AI模型，最后在新的數(shù)據(jù)到來(lái)時(shí)形成預(yù)測(cè)。具體說(shuō)包括以下五個(gè)部分：輸入數(shù)據(jù)、預(yù)處理、模型訓(xùn)練、優(yōu)化集成和預(yù)測(cè)。對(duì)于軟件系統(tǒng)來(lái)說(shuō)關(guān)鍵點(diǎn)有：數(shù)據(jù)來(lái)源、算法選擇和評(píng)估指標(biāo)。

磁盤(pán)故障預(yù)測(cè)系統(tǒng)整體架構(gòu) 數(shù)據(jù)來(lái)源

硬盤(pán)本身提供了SMART數(shù)據(jù)（Self-Monitoring Analysis andReporting Technology）。SMART是90年代定義的硬盤(pán)狀態(tài)檢測(cè)和預(yù)警系統(tǒng)的規(guī)范，提供了磁頭、磁盤(pán)、電機(jī)、電路等硬盤(pán)硬件的運(yùn)行數(shù)據(jù)。目前幾乎所有的硬盤(pán)廠商都已經(jīng)支持了該規(guī)范。下表列出了與故障相關(guān)的SMART值。

表1：故障相關(guān)的SMART值

絕大多數(shù)的廠商和科研院校都是基于SMART數(shù)據(jù)進(jìn)行磁盤(pán)故障預(yù)測(cè)，且都取得了不錯(cuò)的效果。但是在2020年2月的存儲(chǔ)頂會(huì)FAST（USENIXConference on File and Storage Technologies）上發(fā)表的最新論文表明，SMART再加上存儲(chǔ)性能數(shù)據(jù)可以進(jìn)一步提升預(yù)測(cè)準(zhǔn)確率。作者采用了12個(gè)磁盤(pán)IO性能指標(biāo)、18個(gè)服務(wù)器性能指標(biāo)、4個(gè)位置信息，基于CNN和LSTM的AI算法實(shí)現(xiàn)了提前10天故障預(yù)測(cè)誤報(bào)率0.5%、漏報(bào)率5.1%。我們期待著存儲(chǔ)產(chǎn)品上能應(yīng)用最新的技術(shù)來(lái)進(jìn)一步提高預(yù)測(cè)的準(zhǔn)確性。

算法選擇

可用于磁盤(pán)故障預(yù)測(cè)的AI算法有很多，如傳統(tǒng)算法決策樹(shù)、經(jīng)典的SVM（Support Vector Machine）、在各種競(jìng)賽上大放異彩的XGBoost（Gradient Tree Boosting）以及深度學(xué)習(xí)算法CNN和LSTM。實(shí)際效果及頂級(jí)會(huì)議KDD、ATC、FAST的論文實(shí)驗(yàn)結(jié)果都表明，XGBoost、CNN、LSTM的效果比傳統(tǒng)算法有明顯優(yōu)勢(shì)。

評(píng)價(jià)指標(biāo)在完成了歷史數(shù)據(jù)訓(xùn)練，故障預(yù)測(cè)之后，我們需要對(duì)預(yù)測(cè)的效果進(jìn)行評(píng)估。表2描述了機(jī)器學(xué)習(xí)中標(biāo)準(zhǔn)的評(píng)價(jià)指標(biāo)。

表2：機(jī)器學(xué)習(xí)模型評(píng)價(jià)指標(biāo)

基于表2中的定義，評(píng)價(jià)磁盤(pán)故障預(yù)測(cè)的主要有準(zhǔn)確率、漏報(bào)率和誤報(bào)率：

準(zhǔn)確率=：判定正確的盤(pán)（含好盤(pán)和壞盤(pán)）占所有盤(pán)的比例

誤報(bào)率=：好盤(pán)被誤判成壞盤(pán)占所有好盤(pán)的比例

漏報(bào)率=：沒(méi)有識(shí)別出的壞盤(pán)占所有壞盤(pán)的比例

準(zhǔn)確率高，誤報(bào)和漏報(bào)低，是我們追求的目標(biāo)。這相當(dāng)于我們?cè)诎l(fā)現(xiàn)幾乎壞盤(pán)的同時(shí)沒(méi)有把好盤(pán)誤判成壞盤(pán)。但是從算法調(diào)優(yōu)的角度看，誤報(bào)率和漏報(bào)率是一對(duì)矛盾，誤報(bào)率的降低會(huì)引起漏報(bào)率的上升，漏報(bào)率的降低會(huì)引起誤報(bào)率的上升。對(duì)于同一個(gè)算法來(lái)說(shuō)，如果誤報(bào)和漏洞同時(shí)降低，很可能發(fā)生了過(guò)擬合現(xiàn)象，當(dāng)換一類盤(pán)后，誤報(bào)和漏報(bào)都會(huì)大幅上升。

3

存儲(chǔ)性能容量預(yù)測(cè)技術(shù) 對(duì)于存儲(chǔ)來(lái)說(shuō)，性能和容量預(yù)測(cè)是兩件不同的事情，都為客戶帶來(lái)不同的價(jià)值。但是站在技術(shù)角度，兩者都屬于數(shù)據(jù)挖掘中時(shí)間序列預(yù)測(cè)問(wèn)題（Time Series Prediction）。時(shí)間序列，也叫時(shí)間數(shù)列、歷史復(fù)數(shù)或動(dòng)態(tài)數(shù)列。它是將某種統(tǒng)計(jì)指標(biāo)的數(shù)值，按時(shí)間先后順序排到所形成的數(shù)列。預(yù)測(cè)的基本原理是：統(tǒng)計(jì)分析過(guò)去的時(shí)間序列數(shù)據(jù)，形成擬合函數(shù)或者AI算法模型，以擬合的函數(shù)結(jié)果或模型來(lái)預(yù)測(cè)未來(lái)的趨勢(shì)。

時(shí)間序列預(yù)測(cè)法可用于短期、中期和長(zhǎng)期預(yù)測(cè)。造成時(shí)間序列數(shù)據(jù)發(fā)生變化的因素主要有以下四個(gè)：

趨勢(shì)性：時(shí)間序列曲線呈現(xiàn)出一種緩慢而長(zhǎng)期的持續(xù)上升、下降、不變的整體趨勢(shì)。

周期性：由于外部的影響，隨季節(jié)的交替，時(shí)間序列曲線有明顯的周期性的高峰、低谷。

隨機(jī)性：個(gè)別的數(shù)據(jù)變化為隨機(jī)變動(dòng)，但整體呈現(xiàn)出統(tǒng)計(jì)規(guī)律。

綜合性：以上幾種變化因素的疊加或組合。預(yù)測(cè)時(shí)可以過(guò)濾除去不規(guī)則的隨機(jī)因素，最終展現(xiàn)出趨勢(shì)性和周期性變動(dòng)。

經(jīng)典的時(shí)間序列預(yù)測(cè)算法有ARIMA、線性回歸、深度學(xué)習(xí)算法等。這些算法有各自的優(yōu)劣勢(shì)，產(chǎn)品會(huì)根據(jù)不同的客戶應(yīng)用場(chǎng)景來(lái)選擇不同的算法。下圖展示了各個(gè)算法的實(shí)際效果。

時(shí)間序列算法效果比較

對(duì)于存儲(chǔ)來(lái)說(shuō)，除核心算法外，存儲(chǔ)還有自身的容量和性能指標(biāo)。表3列出了浪潮智能存儲(chǔ)管理平臺(tái)InView支持的未來(lái)1天、7天、30天、90天的3個(gè)容量趨勢(shì)指標(biāo)，15個(gè)性能趨勢(shì)指標(biāo)。

表3：浪潮存儲(chǔ)性能容量預(yù)測(cè)指標(biāo)

4

存儲(chǔ)AIOps的產(chǎn)業(yè)落地浪潮智能存儲(chǔ)管理平臺(tái)InView 存儲(chǔ)產(chǎn)業(yè)界中，作為新數(shù)據(jù)時(shí)代“新存儲(chǔ)”引領(lǐng)者，浪潮存儲(chǔ)推出了領(lǐng)先且獨(dú)具特色的智能存儲(chǔ)管理平臺(tái)InView，提供了預(yù)測(cè)性分析、端到端的故障定位、性能洞察等一系列的智能化功能，幫助用戶分析復(fù)雜應(yīng)用環(huán)境下從虛擬機(jī)到后端存儲(chǔ)端到端的性能瓶頸，確定影響性能瓶頸的主要因素，并最終給出可行的優(yōu)化或解決問(wèn)題的建議。 其中磁盤(pán)故障預(yù)測(cè)、性能容量預(yù)測(cè)的智能化功能，可以幫助客戶預(yù)防硬件故障帶來(lái)的損失，并給出具體的擴(kuò)容建議，為客戶提供更穩(wěn)定、高性能、智能化的存儲(chǔ)服務(wù)，使存儲(chǔ)服務(wù)能更好地適應(yīng)用戶需求，同時(shí)降低存儲(chǔ)的復(fù)雜性和維護(hù)成本。 注：感謝我的同事葉毓睿對(duì)本篇文章提供啟發(fā)。

原文標(biāo)題：【科技放大鏡】AI加持，給復(fù)雜存儲(chǔ)管理做“減法”

文章出處：【微信公眾號(hào)：浪潮存儲(chǔ)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。