（文章來源：比特網(wǎng)）

人工智能（AI）和機(jī)器學(xué)習(xí)將成為幫助企業(yè)利用其核心數(shù)字資產(chǎn)創(chuàng)造競爭優(yōu)勢的最重要工具之一。但在選購AI數(shù)據(jù)存儲(chǔ)設(shè)備之前，企業(yè)必須考慮機(jī)器學(xué)習(xí)平臺(tái)在獲取、處理和保留數(shù)據(jù)時(shí)的一系列需求。

我們首先需要研究一下機(jī)器學(xué)習(xí)軟件使用的數(shù)據(jù)的生命周期，因?yàn)檫@有助于企業(yè)理解在為AI選擇存儲(chǔ)時(shí)應(yīng)該考慮哪些因素。最開始的時(shí)候，企業(yè)必須獲取大量的數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)或AI算法。AI軟件工具通過處理數(shù)據(jù)來學(xué)習(xí)任務(wù)，如識(shí)別某個(gè)對(duì)象、處理視頻和跟蹤運(yùn)動(dòng)。數(shù)據(jù)可以從各種各樣的源生成，并且本質(zhì)上是非結(jié)構(gòu)化的，比如對(duì)象和文件。

在訓(xùn)練或開發(fā)AI算法時(shí)，能夠通過對(duì)數(shù)據(jù)的處理開發(fā)一個(gè)模型，為企業(yè)提供所需的洞察力或效益。開發(fā)機(jī)器學(xué)習(xí)算法很少是作為一個(gè)單一的過程來完成的。隨著企業(yè)不斷積累新的數(shù)據(jù)，算法也會(huì)得到改進(jìn)。這意味著很少有數(shù)據(jù)被丟棄，相反，數(shù)據(jù)會(huì)隨著時(shí)間的推移而快速增長和重新處理。

AI數(shù)據(jù)存儲(chǔ)設(shè)備的價(jià)格對(duì)企業(yè)來說是一個(gè)關(guān)鍵因素。顯然，高管層和那些參與采購決策的人會(huì)希望存儲(chǔ)盡可能具有成本效益，在許多情況下，這將影響組織的產(chǎn)品選擇和策略。在創(chuàng)建機(jī)器學(xué)習(xí)或AI模型的過程中，收集、存儲(chǔ)和處理大量數(shù)據(jù)是非常必要的。機(jī)器學(xué)習(xí)算法要求源數(shù)據(jù)呈指數(shù)增長，才能實(shí)現(xiàn)精度的線性提高。創(chuàng)建可靠而準(zhǔn)確的機(jī)器學(xué)習(xí)模型可能需要數(shù)百TB甚至PB的數(shù)據(jù)，而且這只會(huì)隨著時(shí)間的推移而增加。

構(gòu)建PB級(jí)存儲(chǔ)系統(tǒng)，一般需要使用對(duì)象存儲(chǔ)或橫向擴(kuò)展文件系統(tǒng)。如今的對(duì)象存儲(chǔ)當(dāng)然可以滿足AI工作負(fù)載的容量需求，但它們可能無法滿足其他標(biāo)準(zhǔn)，如高性能。橫向擴(kuò)展文件系統(tǒng)可以提供高性能和良好的可伸縮性，但是將整個(gè)數(shù)據(jù)集存儲(chǔ)在一個(gè)平臺(tái)上可能會(huì)很昂貴。另外，出于可伸縮性需求和高容量產(chǎn)品的成本，塊存儲(chǔ)往往不是機(jī)器學(xué)習(xí)或人工智能的正確選擇。這里唯一的例外是公有云，稍后我們對(duì)此進(jìn)行討論。

性能的另一個(gè)方面是吞吐量，以及從存儲(chǔ)平臺(tái)寫入或讀取數(shù)據(jù)的速度。系統(tǒng)吞吐量很重要，因?yàn)锳I訓(xùn)練需要處理大量數(shù)據(jù)集，經(jīng)常重復(fù)讀取相同的數(shù)據(jù)，以準(zhǔn)確地開發(fā)模型。機(jī)器學(xué)習(xí)和AI數(shù)據(jù)的來源，例如自動(dòng)駕駛汽車上的傳感器，每天可以生成多個(gè)TB的新數(shù)據(jù)。所有這些信息都必須添加到現(xiàn)有的數(shù)據(jù)存儲(chǔ)中，并且對(duì)任何現(xiàn)有處理的影響要最小。

性能的最后一個(gè)方面是并行訪問。機(jī)器學(xué)習(xí)和AI算法并行處理數(shù)據(jù)，運(yùn)行多個(gè)任務(wù)，這些任務(wù)可以多次讀取相同的數(shù)據(jù)，并跨越多個(gè)并行任務(wù)。對(duì)象存儲(chǔ)擅長并行讀取I/O處理，因?yàn)椴恍枰芾韺?duì)象鎖或?qū)傩?。文件服?wù)器跟蹤內(nèi)存中打開的I/O請求或文件句柄。因此，活動(dòng)I/O請求的數(shù)量取決于平臺(tái)上可用的內(nèi)存。

機(jī)器學(xué)習(xí)數(shù)據(jù)可以由大量的小文件組成。在這個(gè)領(lǐng)域，文件服務(wù)器可以提供比對(duì)象存儲(chǔ)更好的性能。這里需要問AI存儲(chǔ)方案供應(yīng)商的一個(gè)關(guān)鍵問題是，在大文件類型和小文件類型上，他們的產(chǎn)品的性能特征會(huì)如何變化。機(jī)器學(xué)習(xí)和AI模型可以長時(shí)間連續(xù)運(yùn)行。通過訓(xùn)練開發(fā)算法可能需要幾天或幾周的時(shí)間。在此期間，存儲(chǔ)系統(tǒng)必須保持啟動(dòng)并持續(xù)可用。這意味著任何升級(jí)、技術(shù)替換或系統(tǒng)擴(kuò)展都需要在不停機(jī)的情況下進(jìn)行。

在大型系統(tǒng)中，組件故障是常見的。這意味著任何用于AI工作的平臺(tái)都應(yīng)該能夠從設(shè)備(如硬盤或SSD)和節(jié)點(diǎn)或服務(wù)器故障中恢復(fù)。對(duì)象存儲(chǔ)使用擦除編碼在許多節(jié)點(diǎn)上廣泛分布數(shù)據(jù)，并最小化組件故障的影響。有一些擦除編碼技術(shù)可以用在橫向擴(kuò)展文件系統(tǒng)，以提供同等水平的彈性。擦除編碼方案的效率非常重要，因?yàn)樗苯雨P(guān)系到讀寫I/O的性能，特別是對(duì)于小文件而言。

使用公有云計(jì)算的挑戰(zhàn)在于，如何以一種同時(shí)具有成本效益和實(shí)用性的方式將數(shù)據(jù)導(dǎo)入公有云?；谠频膶?duì)象存儲(chǔ)速度太慢，跟不上機(jī)器學(xué)習(xí)的I/O需求；因此，必須使用本地塊存儲(chǔ)。每延遲一分鐘移動(dòng)數(shù)據(jù)，就會(huì)帶來更多運(yùn)行基礎(chǔ)設(shè)施的成本，以及執(zhí)行機(jī)器學(xué)習(xí)的延遲。

產(chǎn)品的預(yù)打包使供應(yīng)商能夠在將產(chǎn)品交付給客戶之前測試和優(yōu)化其產(chǎn)品。如今，有一些存儲(chǔ)產(chǎn)品結(jié)合了流行的AI軟件、計(jì)算(如通用cpu和gpu)、網(wǎng)絡(luò)和存儲(chǔ)，以交付一個(gè)AI就緒的平臺(tái)，許多詳細(xì)的調(diào)優(yōu)工作是在部署這些系統(tǒng)之前完成的。盡管成本可能是個(gè)問題，但對(duì)許多客戶來說，預(yù)先打包的系統(tǒng)可以降低采用AI存儲(chǔ)的障礙。

顯然，選擇正確的AI數(shù)據(jù)存儲(chǔ)平臺(tái)，其實(shí)是性能、可伸縮性和成本等指標(biāo)之間的平衡。正確使用存儲(chǔ)平臺(tái)非常重要，因?yàn)樯婕暗臄?shù)據(jù)量非常大。一旦選擇錯(cuò)誤，其代價(jià)可能是高昂的。與任何存儲(chǔ)產(chǎn)品選型決策一樣，重要的是與供應(yīng)商溝通，包括演示和評(píng)估，以準(zhǔn)確了解他們的產(chǎn)品如何滿足人工智能和機(jī)器學(xué)習(xí)的需求。
? ? ? （責(zé)任編輯：fqj）