ChatGPT從2022年11月問世至今，憑借著“上知天文，下知地理”的智能表現(xiàn)火速出圈，在內容生成、搜索引擎優(yōu)化、編程協(xié)助、智能客服等領域展現(xiàn)出的巨大潛力，甚至引發(fā)了AI領域的新一輪技術升級與產(chǎn)業(yè)重構，國內外科技企業(yè)也紛紛加入這場人工智能的競賽。

就在不久前，北京市經(jīng)濟和信息化局發(fā)布的《2022年北京人工智能產(chǎn)業(yè)發(fā)展白皮書》中明確提出“支持頭部企業(yè)打造對標ChatGPT的大模型，著力構建開源框架和通用大模型的應用生態(tài)。加強人工智能算力基礎設施布局。加速人工智能基礎數(shù)據(jù)供給?！?/p>

一場全球化、全領域的AI新浪潮已經(jīng)來臨。

ChatGPT“狂飆”之路背后的存儲挑戰(zhàn)

ChatGPT是由美國人工智能研究實驗室OpenAI發(fā)布的一款生成式人工智能聊天機器人，是由人工智能技術驅動的自然語言處理工具，它能夠通過學習和理解人類的語言來進行對話，還能根據(jù)聊天的上下文進行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務。

ChatGPT使用的是GPT-3技術，即第三代生成式預訓練Transformer (Generative Pretrained Transformer 3)，這是一種自回歸語言模型，所采用的數(shù)據(jù)量多達上萬億，主要使用的是公共爬蟲數(shù)據(jù)集和有著超過萬億單詞的人類語言數(shù)據(jù)集，對應的模型參數(shù)量也達到1,750億。

GPT-3.5則是GPT-3微調優(yōu)化后的版本，比后者更強大。ChatGPT正是由GPT-3.5架構的大型語言模型(LLM)所支持的，使ChatGPT能夠響應用戶的請求，做出“類似人類的反應”。在此背后是參數(shù)量和訓練樣本量的增加，據(jù)了解，GPT-3.5包含超過1746億個參數(shù)，預估訓練一次ChatGPT至少需要約3640 PFlop/s-day的算力(即1PetaFLOP/s效率跑3640天)。

ChatGPT“無所不知”的背后除了考驗算力成本外，對數(shù)據(jù)存儲在速度、功耗、容量、可靠性等層面也提出了更高要求。

ChatGPT每個訓練步驟對存儲都有著嚴苛的要求：

①數(shù)據(jù)獲取…

因為ChatGPT的訓練需要大量的文本數(shù)據(jù)，所以需要先準備一個大規(guī)模的語料庫。語料庫可以來自各種渠道，例如維基百科、新聞網(wǎng)站、社交媒體等，并進行一定的預處理，例如去除特殊字符、分詞、轉換成小寫等。為了縮短收集數(shù)據(jù)進行分析所需的時間，需要同時從各渠道進行采集，該階段的重點在持續(xù)寫入，定期進行容量存儲的非易失性寫入，AI獲取的I/O配置文件通常是100%的順序寫入。

②數(shù)據(jù)整理…

由于從各種渠道收集到的數(shù)據(jù)結構多種多樣，因此需要對獲取的數(shù)據(jù)進行整理后再進行訓練，例如對不完整的數(shù)據(jù)進行修復。針對不同屬性的數(shù)據(jù)，例如用于面部識別的圖像，必須進行歸一化；非結構化數(shù)據(jù)需要進行標記和注釋，便于深度學習算法的訓練，進而增強算法。最后將來源于不同渠道的數(shù)據(jù)進行合并，并轉換為目標格式。

這是一個不斷迭代的過程，也是具有高度并發(fā)性的混合工作負載過程，因為需要讀寫不同數(shù)量的數(shù)據(jù)，包括隨機和順序讀寫。讀寫比將根據(jù)攝入數(shù)據(jù)的準確性和達到目標格式所需的轉換程度而變化，極端情況下的工作負載可以接近50%的寫入，擁有高吞吐量、低延遲以及高QoS的存儲設備是減少數(shù)據(jù)整理時間的關鍵。

③訓練…

ChatGPT的訓練使用了自監(jiān)督學習（Self-supervised learning）的方法，即根據(jù)文本數(shù)據(jù)中的上下文關系來預測下一個單詞或字符。在訓練過程中，ChatGPT 使用了基于梯度下降的優(yōu)化算法來調整模型參數(shù)，使得模型的預測結果更加接近實際結果。

這個階段非常耗費資源，因為涉及到從基于數(shù)據(jù)的預測到強化學習，再到神經(jīng)網(wǎng)絡和基于運動模型的預測一系列重復的步驟，并不斷調節(jié)超參數(shù)與優(yōu)化模型性能。大多使用的是隨機讀取和一些寫入用于檢查點設置，因此維持超快、高帶寬隨機讀取的存儲設備更有利于訓練，更快的讀取可以使有價值的訓練資源得到快速利用，而隨機性有助于提高模型的準確性。在此階段，減少I/O等待時間至關重要。

④推理…

訓練結束后，將訓練好的模型執(zhí)行推理，觀察并使用新的數(shù)據(jù)驗證推理結果是否符合預期。在推理階段同樣也需要大量讀取和具有極低響應時間的高性能存儲。推理可以部署在數(shù)據(jù)中心或邊緣設備中，實時邊緣部署不僅需要快速將已訓練好的模型讀入推理，還需要快速寫入攝取的數(shù)據(jù)以進行實時決策。隨著更多邊緣部署采用強化學習，對存儲設備性能的要求將更高。

AI浪潮之下，憶聯(lián)SSD能做什么

面對AI應用更嚴苛的存儲要求，憶聯(lián)UH711a作為一款數(shù)據(jù)中心級SSD，憑借在各方面出色的性能表現(xiàn)可應用在AI業(yè)務中的各個階段。

全場景調優(yōu)，助推AI應用落地…

UH711a面向數(shù)據(jù)中心級的讀密集場景、混合場景、寫密集場景等業(yè)務場景和各類IO pattern，可提供全面的性能、功耗調優(yōu)。尤其在數(shù)據(jù)庫、塊存儲、對象存儲、海量存儲等對隨機IOPS性能高要求場景下UH711a的性能顯著。在與國內某互聯(lián)網(wǎng)客戶數(shù)據(jù)中心的合作中，通過使用憶聯(lián)UH711a，在混合讀寫滿負載業(yè)務場景下，存儲集群能耗比提升了12.5%。

尤其在隨機讀寫4K性能指標上，可提供更優(yōu)的SSD能耗比，能滿足AI業(yè)務中高吞吐量的需求，使其可以更快地收集更多的數(shù)據(jù)，縮短從數(shù)據(jù)中獲取反饋的時間。如下圖所示，UH711a在數(shù)據(jù)中心業(yè)務隨機4K場景下IOPS per Watt 相比友商可提升42%。在數(shù)據(jù)中心級應用場景中可獲得12.5%的IOPS per Watt收益。

各類場景下的IOPS per Watt測試對比

SR-IOV技術加持，降本增效顯著…

因SR-IOV技術可提供更好的密度性能、隔離性和安全性，目前已被數(shù)據(jù)中心廣泛采用。在面向AI應用進行部署與邏輯較為復雜的場景時，SR-IOV可為用戶提供安全、優(yōu)質的AI計算資源。UH711a 通過使能SR-IOV技術優(yōu)化云業(yè)務虛擬機場景，相比SPDK方案優(yōu)勢顯著。憶聯(lián)采用的SR-IOV 2.0優(yōu)化了各VF的性能隔離調度邏輯，使各VF間的性能隔離度更好，在純讀純寫場景下從原來的5%波動降低到3%；混合場景業(yè)務的波動從部分場景10%的波動優(yōu)化到5%以內。

此外，UH711a基于QOS保障的SR-IOV特性，在虛擬化AI場景，配合NVIDIA GPU Directed Storage場景下提供高達7GBps、170M IOPS訪問能力，同時節(jié)約CPU算力10%，可減輕AI業(yè)務因數(shù)據(jù)持續(xù)增長的算力壓力。

例：

一臺12盤位服務器(128vCPU Core)使用憶聯(lián)SR-IOV特性，每片盤可節(jié)省2個vCPU Core(累計節(jié)省24vCPU Core)；CPU價格按40$來計算，單臺服務器可節(jié)約CPU算力18.5%，釋放的CPU算力可額外提供存儲租用服務12個（24vCPU core / 2個vcpu綁定一個虛擬盤 ）。

支持DIF特性，保障數(shù)據(jù)的可靠性…

在機器學習中，若數(shù)據(jù)發(fā)生錯誤，研發(fā)人員可能花費大量時間進行查錯，拉高時間成本的同時也會影響數(shù)據(jù)集的質量，更有可能出現(xiàn)模型精度降低的風險。憶聯(lián)UH711a可支持DIF特性，能提升全鏈路數(shù)據(jù)保護能力。不僅與系統(tǒng)配合，實現(xiàn)端到端的保護，更能夠在盤內實現(xiàn)獨立的端到端保護機制，確保盤內整個通路的數(shù)據(jù)安全，從而為AI業(yè)務中多種極端場景下的正常運維提供雙重保護。

憶聯(lián)UH711a還支持多種DIF配置，512+8、4K+8、4K+64，支持從應用到Flash的端到端數(shù)據(jù)保護，并能有效杜絕data replacement故障發(fā)生的可能，保障數(shù)據(jù)的完整性，助力AI模型的訓練與推理能順利完成。

優(yōu)異的QoS，提升用戶體驗…

憶聯(lián)UH711a采用了One Time Read技術，即結合介質分組管理、最優(yōu)讀電壓實時追蹤技術，對每個IO進行最優(yōu)應答策略設計?？稍鰪姳P片的QoS競爭力，99.9% IO讀一次成功，延時小于350us，能縮短在AI訓練與推理時的實時決策時間，并提升盤片QoS能力與延長End of Life。

在前臺最優(yōu)響應用戶IO：

·以IO PPN信息，查詢最優(yōu)電壓分組管理表；

·同時獲取介質狀態(tài)信息（Open Close Affected WL等）；

·根據(jù)介質狀態(tài)和分組表記錄最優(yōu)電壓，采用預先設計的最優(yōu)應答策略讀取數(shù)據(jù)，最大程度縮短每個IO的響應延時。

在后臺進行智能維護：

·依據(jù)大數(shù)據(jù)分析，對介質進行智能分組管理；

·關鍵事件觸發(fā)，對介質狀態(tài)進行更新維護；

·根據(jù)介質狀態(tài)、實時巡檢，依托最優(yōu)電壓跟蹤IP，對電壓分組管理表進行更新，保障電壓準確度。

面向未來，憶聯(lián)推動數(shù)據(jù)存儲再進化

據(jù)報道，OpenAI已建立了一個比ChatGPT更先進的大型語言模型GPT-4，更有傳聞稱其可以通過圖靈測試，這意味人工智能將再次邁向新的臺階。憶聯(lián)作為科技浪潮中的一員將堅持以創(chuàng)新為驅動，為人工智能的部署與優(yōu)化提速。

產(chǎn)品層面：針對AI業(yè)務場景及IO pattern，對SSD的高穩(wěn)態(tài)性能、虛擬化與高能耗提出的更高需求，憶聯(lián)將積極研發(fā)更具創(chuàng)新力與更高性能的存儲產(chǎn)品，從產(chǎn)品形態(tài)、性能、深度定制化特性等多維度豐富產(chǎn)品矩陣。

解決方案層面：聯(lián)合上下游伙伴探索先進技術，面向云計算、數(shù)據(jù)中心、服務器、運營商等關鍵行業(yè)打造場景化的存儲解決方案，并積極推動產(chǎn)品與基礎軟硬件的兼容適配，加快人工智能部署升級。

審核編輯 ：李倩