一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

浪潮信息剖析智能時代數(shù)據(jù)存儲領域面臨的挑戰(zhàn)與機遇

浪潮存儲 ? 來源:浪潮存儲 ? 2024-12-30 09:43 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在當今數(shù)字化時代,算力與存力的協(xié)同增長已成為驅(qū)動各行各業(yè)發(fā)展的關鍵力量。特別是在人工智能AI)這一前沿領域,隨著數(shù)據(jù)量的爆炸式增長,對存儲系統(tǒng)的需求日益復雜和多樣。近期,在首屆CCF中國存儲大會上,浪潮信息存儲首席架構師孫斌深刻剖析了智能時代數(shù)據(jù)存儲領域面臨的挑戰(zhàn)與機遇。

算力增長與新范式

近年來,數(shù)據(jù)中心計算性能的增長呈現(xiàn)出前所未有的態(tài)勢。據(jù)統(tǒng)計,過去20年間,數(shù)據(jù)中心的計算性能已經(jīng)增長了超過1000倍。2018年,我們迎來了特定領域架構(Domain Specific Architecture, DSA)發(fā)展的黃金時代,這標志著算力增長的新范式已經(jīng)到來。這一范式以通用算力與AI算力的緊密結合為基礎,通過集群擴展和xPU多元編程模式,支撐未來20年計算性能的持續(xù)增長。

在傳統(tǒng)CPU場景中,邏輯控制遵循摩爾定律,盡管近年來性能增長放緩,但眾核與集群擴展技術的應用仍然推動了性能的不斷提升。而在GPU/TPU/NPU多場景中,并行計算能力的迅速提升更是令人矚目,近6年來每年性能增長達2.5倍。CUDA、HIP、OneAPI等編程模型的出現(xiàn),為AI計算提供了強有力的支持。

智能時代多元存力需求

然而,隨著AI技術的廣泛應用,智能時代對存力的需求也呈現(xiàn)出多維度、多層次的特征,數(shù)據(jù)的高效匯聚、析取、流動與算子部署成為了關鍵所在。據(jù)預測,AI合成新數(shù)據(jù)的規(guī)模增速將顯著加快,到2025年,其在全球數(shù)據(jù)總量中的占比將達到10%。為了實時獲取洞察力并加速數(shù)據(jù)價值的變現(xiàn),存儲系統(tǒng)需要滿足計算、存儲、網(wǎng)絡吞吐率1:1:1的比例,而未來20年存力的增長需求更是高達100倍以上。

此外,智能時代的存儲需求還體現(xiàn)在多源、多維、多模、多態(tài)、多域等多個方面。數(shù)據(jù)來源于多個行業(yè)、設備、階段,形態(tài)也多種多樣,包括文本、二進制、數(shù)據(jù)庫等。這些數(shù)據(jù)需要在云數(shù)據(jù)中心、邊緣數(shù)據(jù)中心和大型數(shù)據(jù)中心之間高效流動和協(xié)同處理。

制約存儲性能提升的隱形枷鎖

盡管存儲系統(tǒng)在性能上取得了顯著進步,但存儲節(jié)點仍面臨諸多挑戰(zhàn)。I/O棧依賴的硬件技術發(fā)展進入平緩期,單核IOPS效率、多核擴展性、內(nèi)存和IO帶寬與CPU核的比例均呈現(xiàn)下降趨勢。這意味著,保持成本與能耗不變的情況下,兩年翻番的紅利期已經(jīng)結束。

首先,存儲節(jié)點的緊耦合設計限制了其靈活性和擴展性。傳統(tǒng)存儲節(jié)點通常采用2/4/5U固定高度,并靜態(tài)配置CPU、內(nèi)存、磁盤和網(wǎng)絡設備。這種設計雖然簡化了部署和管理,但導致了資源利用率低的問題。由于器部件、設備、數(shù)據(jù)生命周期不匹配,部分硬件提前淘汰,從而造成資源浪費。同時,SSD存控耦合也限制了單盤容量的提升,進一步制約了存儲性能的增長。

其次,以CPU為中心編程的I/O棧存在數(shù)據(jù)通量受限的問題。在處理小規(guī)模數(shù)據(jù)時,這種設計可能表現(xiàn)良好,但隨著數(shù)據(jù)量的增加,CPU逐漸成為瓶頸,限制了數(shù)據(jù)通量。這使得CPU對數(shù)據(jù)I/O的五類算子(編碼、搬移、比較、查詢、插?。┑奶幚硇什桓?,導致單節(jié)點性能上限僅為百萬級IOPS。

此外,I/O驅(qū)動的存儲架構還導致AI就緒數(shù)據(jù)準備周期長。AI就緒數(shù)據(jù)通常需要經(jīng)過清洗、轉(zhuǎn)換、聚合等多個預處理步驟,在I/O驅(qū)動的存儲架構下,這些步驟往往耗時較長,導致數(shù)據(jù)準備時間占比超過80%,模型迭代緩慢。

面向未來數(shù)據(jù)中心的存儲底座

為了應對數(shù)據(jù)洪流的洶涌澎湃,存力必須實現(xiàn)百倍的增長。這一需求不僅是對存儲容量的簡單擴張,更是對存儲架構設計范式的根本性變革。重構存儲節(jié)點硬件資源的耦合設計、打破以CPU為中心的傳統(tǒng)編程模式,將成為支撐未來20年存儲效率與擴展能力百倍提升的關鍵。

在此背景下,浪潮信息存儲首次提出了打造“機柜級存儲底座(Bottom of Rack, BoR)”和“數(shù)據(jù)中心級存儲底座(Bottom of Datacenter, BoD)”的創(chuàng)新理念。BoR支持近計算端按需組合存儲節(jié)點配置和軟件微服務,能夠重構多形態(tài)存儲系統(tǒng),滿足全場景綜合負載需求。而BoD則支持全域、全局、全生命周期的數(shù)據(jù)編制服務,能夠解決數(shù)據(jù)孤島問題,提升數(shù)據(jù)流動效率,為AI應用提供高質(zhì)量的實時數(shù)據(jù),進一步簡化部署和運維。

浪潮信息在今年5月份CCF秀湖會議提出的“三層三面兩體”新型存儲架構理念為BoR和BoD的實施提供了具體的方向:即向內(nèi)不斷優(yōu)化存儲算法、提升硬件性能、完善軟件功能,以實現(xiàn)對存儲資源的高效利用和靈活擴展;向外積極與云計算、大數(shù)據(jù)、人工智能等新興技術融合,推動存儲系統(tǒng)的智能化、自動化和云化發(fā)展。

近年來,浪潮信息存儲積極探索新型存儲系統(tǒng)與架構技術,以應對智能時代的存儲需求。其中,解耦可組合存儲硬件/軟件設計v2.0是關鍵的創(chuàng)新方向。這一研究深入探索控制/計算、多層異構介質(zhì)硬件資源的解耦與互連,以及存儲功能軟件組件的微服務化與通信機制。通過AI統(tǒng)籌的存儲I/O棧微服務、線程、協(xié)程并發(fā)調(diào)度,實現(xiàn)近線性擴展。同時,基于新協(xié)議互連,實現(xiàn)軟件動態(tài)定義邏輯控制節(jié)點,實現(xiàn)存算資源按需彈性組合,SSD模組解耦控制服務軟硬件與定義盤控協(xié)同規(guī)范,從而支撐SSD容量密度達到PB級。

此外,浪潮信息存儲還致力于面向數(shù)據(jù)算子的xPU協(xié)同編程新模式的研究。該模式通過聚焦傳統(tǒng)存儲數(shù)據(jù)I/O流和AI就緒的數(shù)據(jù)算子硬件加速技術,旨在建立xPU協(xié)同編程的新模式。通過分布式共享緩存架構和數(shù)據(jù)算子硬件加速技術,這一模式能夠?qū)崿F(xiàn)單節(jié)點千萬級IOPS高通量和跨節(jié)點近線性擴展,從而大幅提升存儲系統(tǒng)的性能。

在全域全局全生命周期數(shù)據(jù)編織服務平臺方面浪潮信息存儲也進行了深入研究。通過構建全域、全局、全生命周期的數(shù)據(jù)編織服務平臺,實現(xiàn)API驅(qū)動的數(shù)據(jù)容納、處理、安全、流動、共享和管理。該平臺突破了數(shù)據(jù)與存儲系統(tǒng)解耦技術,建立了數(shù)據(jù)流通技術規(guī)范,驅(qū)動數(shù)據(jù)跨應用、跨系統(tǒng)、跨云共享。同時,主動元數(shù)據(jù)管理引擎、數(shù)據(jù)與算子的統(tǒng)籌部署為AI實時提供高質(zhì)量的就緒數(shù)據(jù),進一步提升了存儲系統(tǒng)的智能化和自動化水平。

在智能時代的大背景下,浪潮信息存儲不斷探索和突破新型存儲系統(tǒng)與架構技術,以應對日益復雜和多樣的存儲需求,通過創(chuàng)新舉措正逐步構建起一個高效、可擴展、智能化的存儲生態(tài)系統(tǒng)。未來,隨著技術的不斷進步和應用場景的不斷拓展,浪潮信息存儲將繼續(xù)引領存儲行業(yè)的發(fā)展潮流,為數(shù)字經(jīng)濟的繁榮發(fā)展貢獻力量。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 浪潮
    +關注

    關注

    1

    文章

    475

    瀏覽量

    24714
  • 存儲系統(tǒng)

    關注

    2

    文章

    423

    瀏覽量

    41382
  • 算力
    +關注

    關注

    2

    文章

    1202

    瀏覽量

    15672

原文標題:浪潮信息存儲首席架構師孫斌:智能時代的新型存儲系統(tǒng)與架構創(chuàng)新

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    飛利信與浪潮信息達成戰(zhàn)略合作

    近日,2025年浪潮信息北京ISP戰(zhàn)略伙伴簽約授牌儀式成功舉辦。浪潮信息與北京飛利信電子技術有限公司等22家戰(zhàn)略合作伙伴達成簽約,其中將面向北京人工智能應用大市場,在產(chǎn)品技術共創(chuàng)、行業(yè)場景深化及區(qū)域
    的頭像 發(fā)表于 06-24 17:37 ?565次閱讀

    華為加速AI時代數(shù)據(jù)存儲產(chǎn)業(yè)發(fā)展

    近日,在華為中國合作伙伴大會2025上,華為數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰發(fā)表“共筑數(shù)智解決方案,共享數(shù)據(jù)存儲產(chǎn)業(yè)大發(fā)展”主題演講,深入探討如何加速AI行業(yè)化落地,并分享AI
    的頭像 發(fā)表于 04-01 15:35 ?384次閱讀

    板狀天線:智能時代下的挑戰(zhàn)機遇并存

    深圳安騰納天線|板狀天線:智能時代下的挑戰(zhàn)機遇并存
    的頭像 發(fā)表于 03-13 09:02 ?524次閱讀

    浪潮信息存儲SATA SSD:技術創(chuàng)新引領數(shù)據(jù)存儲時代

    在智慧時代,數(shù)據(jù)存儲需求日益增長,對存儲產(chǎn)品的性能和穩(wěn)定性提出了更高要求。浪潮信息存儲,作為行業(yè)
    的頭像 發(fā)表于 02-07 13:41 ?659次閱讀

    浪潮信息參編《中國金融科技發(fā)展報告(2024)》,為數(shù)字金融打造新型算力底座

    (2024)》(以下簡稱藍皮書)。 藍皮書對照人民銀行《金融科技發(fā)展規(guī)劃》重點任務,全面回顧并總結一年來我國整體金融科技發(fā)展情況,透過豐富的應用案例,分析新技術在金融領域應用所面臨機遇挑戰(zhàn)
    的頭像 發(fā)表于 01-24 10:23 ?430次閱讀
    <b class='flag-5'>浪潮信息</b>參編《中國金融科技發(fā)展報告(2024)》,為數(shù)字金融打造新型算力底座

    浪潮信息存儲SATA SSD:以技術創(chuàng)新,開啟數(shù)據(jù)存儲新篇章

    計算平臺以及個人用戶的數(shù)字化需求,迫切需要高效、可靠的存儲解決方案。 浪潮信息存儲積極響應市場需求,通過自主研發(fā)不斷積累技術優(yōu)勢,推出了SATA、NVMe、雙端口、ZNS等全系列存儲產(chǎn)
    的頭像 發(fā)表于 01-24 10:02 ?465次閱讀

    浪潮信息首提機柜級和數(shù)據(jù)中心級兩大存儲底座

    AIGC時代,數(shù)據(jù)中心正在經(jīng)歷一場深刻的變革,數(shù)據(jù)中心逐漸向數(shù)據(jù)型中心演進。在這個過程中,人工智能數(shù)據(jù)
    的頭像 發(fā)表于 01-10 11:30 ?829次閱讀

    浪潮信息與智源研究院攜手共建大模型多元算力生態(tài)

    近日,浪潮信息與北京智源人工智能研究院正式簽署戰(zhàn)略合作協(xié)議,雙方將緊密合作,共同構建大模型多元算力開源創(chuàng)新生態(tài)。 此次合作旨在提升大模型創(chuàng)新研發(fā)的算力效率,降低大模型應用開發(fā)的算力門檻,推動人工智能
    的頭像 發(fā)表于 12-31 11:49 ?608次閱讀

    浪潮信息與17家元腦伙伴共簽億級分銷協(xié)議

    。 此次簽約標志著浪潮信息與這些元腦伙伴將在產(chǎn)品技術創(chuàng)新、市場拓展及解決方案等多個領域展開深入合作。雙方將充分發(fā)揮各自優(yōu)勢,共同推動技術革新,加速智能化轉(zhuǎn)型的步伐,為千行百業(yè)的數(shù)字化轉(zhuǎn)型注入強勁動力。
    的頭像 發(fā)表于 12-25 15:46 ?764次閱讀

    浪潮信息如何應對智能時代下的數(shù)據(jù)存儲需求

    隨著智能時代的全面到來,數(shù)據(jù)量呈現(xiàn)出爆炸性增長,這對存儲系統(tǒng)提出了前所未有的高標準要求。從早期的“百模大戰(zhàn)”演進至“千模大戰(zhàn)”,現(xiàn)已邁入了一個以數(shù)據(jù)
    的頭像 發(fā)表于 11-26 13:42 ?660次閱讀

    浪潮信息AI存儲性能測試的領先之道

    AI技術的無限可能。近日,在MLCommons的子項目MLPerf Storage v1.0性能基準評測中,浪潮信息再度展現(xiàn)了在AI存儲領域的卓越實力。
    的頭像 發(fā)表于 10-29 16:30 ?663次閱讀
    <b class='flag-5'>浪潮信息</b>AI<b class='flag-5'>存儲</b>性能測試的領先之道

    浪潮信息趙帥:開放計算創(chuàng)新 應對Scaling Law挑戰(zhàn)

    北京2024年8月15日?/美通社/ -- 日前在2024開放計算中國峰會上,浪潮信息服務器產(chǎn)品線總經(jīng)理趙帥表示,智能時代,開源模型和開放計算激發(fā)了人工智能產(chǎn)業(yè)生態(tài)的創(chuàng)新活力,面對大模
    的頭像 發(fā)表于 08-15 16:02 ?509次閱讀
    <b class='flag-5'>浪潮信息</b>趙帥:開放計算創(chuàng)新 應對Scaling Law<b class='flag-5'>挑戰(zhàn)</b>

    33家元腦區(qū)域伙伴與浪潮信息簽署戰(zhàn)略合作協(xié)議

    近日,2024年浪潮信息區(qū)域ISP伙伴戰(zhàn)略簽約儀式圓滿落幕,標志著浪潮信息在人工智能領域的合作版圖再度擴大。此次盛會匯聚了全國范圍內(nèi)33家實力雄厚的億級及千萬級元腦區(qū)域伙伴,共同簽署戰(zhàn)
    的頭像 發(fā)表于 08-14 16:25 ?755次閱讀

    33家區(qū)域ISP伙伴與浪潮信息簽署戰(zhàn)略合作協(xié)議

    ,涉及互聯(lián)網(wǎng)、電信、金融和制造等人工智能應用落地的前沿行業(yè),雙方將依托浪潮信息元腦生態(tài)體系,以大模型開發(fā)平臺"元腦企智"EPAI為引擎,結合區(qū)域伙伴的行業(yè)優(yōu)勢,共同把握人工智能時代的新
    的頭像 發(fā)表于 08-14 15:43 ?619次閱讀
    33家區(qū)域ISP伙伴與<b class='flag-5'>浪潮信息</b>簽署戰(zhàn)略合作協(xié)議

    長擎安全操作系統(tǒng)24與浪潮信息HF/AS存儲系列成功兼容

    在數(shù)字化轉(zhuǎn)型浪潮席卷全球的今天,信息安全與數(shù)據(jù)存儲的穩(wěn)定高效成為企業(yè)不可忽視的兩大核心要素。近日,一項重要的技術兼容性測試認證結果揭曉,標志著長擎安全操作系統(tǒng)24與
    的頭像 發(fā)表于 07-22 16:20 ?1093次閱讀