一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

支撐海量數(shù)據(jù),分布式存儲該如何應戰(zhàn)

中科曙光 ? 來源:中科曙光 ? 作者:中科曙光 ? 2022-03-25 14:44 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在曙光舉辦的技術圓桌派上,來自業(yè)內的多位大咖和專家就數(shù)字化轉型與分布式存儲發(fā)展趨勢展開討論。

支撐海量數(shù)據(jù)

分布式存儲該如何應戰(zhàn)

伴隨著云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息技術的快速發(fā)展和傳統(tǒng)產業(yè)數(shù)字化的轉型,新技術的應用與推廣帶來海量數(shù)據(jù)的規(guī)?;奂?。用戶對存儲系統(tǒng)的穩(wěn)定性、性能和彈性擴展能力有著更高的期待,而傳統(tǒng)集中式存儲煙囪式的部署模式在擴展性和管理上都遇到非常多的挑戰(zhàn),主持人黃海峰在圓桌派一開始向嘉賓們提出了這一問題。

“2021年,分布式存儲和云存儲在量和銷售額方面的增速分別達到30%和20%,相較于傳統(tǒng)存儲的20%和8%,分布式存儲遠遠勝于傳統(tǒng)存儲?!辟惖项檰枠I(yè)務總監(jiān)高丹對2021年的存儲市場格局做出了總結。

“面對海量爆發(fā)的數(shù)據(jù),以前傳統(tǒng)集中式的存儲已經不是最優(yōu)選了?!敝锌剖锕獯鎯κ聵I(yè)部副總經理張新鳳表示,“對分布式存儲本身來說,破解海量數(shù)據(jù)存儲難題,也是有非常多的挑戰(zhàn)?!?/p>

首先,就是解決海量數(shù)據(jù)的存儲。海量不簡簡單單的是設備的堆集,技術難度是指數(shù)級的增長。要看廠商是否有豐富的超大部署規(guī)模和實施經驗;第二是能對5G、AI、區(qū)塊鏈等新技術有更好的支持。這就需要統(tǒng)一協(xié)議的支持,打通從數(shù)據(jù)的采集、應用、分析到歸檔的鏈路,做到異構數(shù)據(jù)的融合;第三,針對用戶實際應用,在產品性能和功能上做到深度的定制。

自研優(yōu)勢盡顯

曙光分布式存儲領跑市場

“存儲的市場,是一個需要很深的技術積累和很大資金投入的市場。曙光推出的產品是自研的。自研的路線,對客戶節(jié)約成本角度來說,還是對我們自己安全的角度來說,都是一套比較好的技術路線,我也希望我們自己國家的自研路線走的越來越好?!备叩け硎?。

“曙光做存儲,一開始就選擇了分布式存儲路線?!睆埿馒P介紹,2009年,曙光推出第一代全自主研發(fā)的分布式存儲系統(tǒng)ParaStor,基于POSIX協(xié)議,在做數(shù)據(jù)處理的時候有很好的性能體驗;2013年,數(shù)據(jù)中心已經開始比較規(guī)?;牟渴穑@個時候我們完成了對NAS共享的支持;2019年,基本各個行業(yè)都在普及云化,我們?yōu)榱私鉀Q業(yè)務上云的問題,又推出分布式塊協(xié)議。現(xiàn)在, 曙光分布式存儲系統(tǒng)ParaStor完成了對文件、塊、對象和大數(shù)據(jù)協(xié)議的支持,基本覆蓋所有應用場景。

基于自研優(yōu)勢,曙光可根據(jù)不同行業(yè)用戶的不同需求,進行代碼級的定制化設計與開發(fā),產品功能和性能指標可大大優(yōu)于同類產品?!氨热缥覀兊姆植际綄ο?,單桶就可以實現(xiàn)4K小文件千億級別的存儲,一個系統(tǒng)TPS的聚合性能可以達到百萬級,這種水平是業(yè)內一流的?!睆埿馒P說。

曙光成就產業(yè)數(shù)字化轉型

最佳實踐

“分布式的應用越來越廣泛,但細化到具體的應用場景里,又會發(fā)現(xiàn)應用需求是千差萬別的?!泵鎸Ξ斍胺植际酱鎯Χ鄻踊膽眯枨?,張新鳳表示“要快速的響應市場需求,推出合適的產品,首先要有強有力的團隊支撐,其次是對行業(yè)的深耕和理解,基于以上兩者的優(yōu)勢,對用戶推出定制化的產品及運維服務。”

張新鳳介紹,在某科研機構氣候模擬和科學研究項目中,為了幫助用戶解決業(yè)務流程時間過長的問題,曙光集結專業(yè)研發(fā)團隊為客戶定制加速技術。在計算和存儲節(jié)點之間,配備了大內存和高速NVMe的性能加速節(jié)點,把大量4K非對齊IO在這個節(jié)點上先做聚合,再到存儲上面。最后用戶實測使用性能提升8到10倍?!皩Υ鎯夹g有了一定的積累,對應用有相當?shù)睦斫?,才能迅速抓到用戶需求痛點,快速響應?!?/p>

“在石油勘探過程中,數(shù)據(jù)存儲和分析處理的需求呈幾何倍增長,對存儲容量以及擴展性都提了很高的要求;石油勘探領域對收集上來的數(shù)據(jù),需要提供TB級及PB級的讀寫性能,來滿足我們現(xiàn)在前端的密集計算和模擬?!保惺臀锾郊夹g研究院信息中心技術主管葛鑫提及。

“在輿情數(shù)據(jù)智能分析時,客戶要求系統(tǒng)架構能融合訓練、分析及推理,傳統(tǒng)存算一體化的模式就不太適用?!敝锌铺飙^區(qū)域拓展部總經理劉維秦在分布式存儲應用中談到,”曙光原生HDFS協(xié)議的支持,在存算分離的基礎上,保證了性能的指數(shù)級提升,還可以支持更多大數(shù)據(jù)高級功能。”

“未來的存儲系統(tǒng)要很好地支撐應用,無論是性能的極致優(yōu)化,或者是功能的定制”,張新鳳對存儲市場的未來發(fā)展演進做出判斷,“沒有一蹴而就的捷徑可以走,更多的是天長日久的積累和演進”,作為國內第一批做自研分布式存儲的廠商,曙光將以更扎實的科研技術、更先進的存儲產品、更優(yōu)質的存儲服務,助力產業(yè)升級和數(shù)字化轉型。

原文標題:曙光技術圓桌派——分布式是新存儲時代的破題密鑰

文章出處:【微信公眾號:中科曙光】歡迎添加關注!文章轉載請注明出處。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)

    關注

    8

    文章

    7254

    瀏覽量

    91785
  • 存儲
    +關注

    關注

    13

    文章

    4529

    瀏覽量

    87381
  • 數(shù)字化
    +關注

    關注

    8

    文章

    9500

    瀏覽量

    63481

原文標題:曙光技術圓桌派——分布式是新存儲時代的破題密鑰

文章出處:【微信號:sugoncn,微信公眾號:中科曙光】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    曙光存儲領跑中國分布式存儲市場

    近日,賽迪顧問發(fā)布《中國分布式存儲市場研究報告(2025)》,指出2024 年中國分布式存儲市場首次超過集中式存儲,規(guī)模達 198.2 億元
    的頭像 發(fā)表于 05-19 16:50 ?462次閱讀

    兆芯+圖云創(chuàng)智—可信分布式存儲系統(tǒng)解決方案

    圖云創(chuàng)智分布式存儲系統(tǒng)采用全分布式設計與先進的存儲虛擬化技術相結合,由多個獨立的兆芯 x86 服務器作為存儲節(jié)點,聯(lián)合道熵
    的頭像 發(fā)表于 04-23 10:29 ?209次閱讀
    兆芯+圖云創(chuàng)智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)解決方案

    分布式存儲數(shù)據(jù)恢復—虛擬機上hbase和hive數(shù)據(jù)數(shù)據(jù)恢復案例

    分布式存儲數(shù)據(jù)恢復環(huán)境: 16臺某品牌R730xd服務器節(jié)點,每臺服務器節(jié)點上有數(shù)臺虛擬機。 虛擬機上部署Hbase和Hive數(shù)據(jù)庫。
    的頭像 發(fā)表于 04-17 11:05 ?212次閱讀

    分布式站點設備出現(xiàn)異常故障如何快速定位并進行維護

    一、行業(yè)背景 隨著數(shù)字化、經濟化進程的飛速發(fā)展,分布式站點在各個行業(yè)中的應用愈發(fā)廣泛。無論是集團企業(yè)的分布式工廠,還是城市生命線的供水泵站,亦或是負責存儲與處理海量
    的頭像 發(fā)表于 03-03 11:02 ?300次閱讀
    <b class='flag-5'>分布式</b>站點設備出現(xiàn)異常故障如何快速定位并進行維護

    分布式存儲有哪幾種類型?

    分布式存儲有哪幾種類型?分布式存儲系統(tǒng)是一種將數(shù)據(jù)分散存儲在多臺獨立節(jié)點上的技術,根據(jù)
    的頭像 發(fā)表于 02-20 11:00 ?557次閱讀

    分布式云化數(shù)據(jù)庫有哪些類型

    分布式云化數(shù)據(jù)庫有哪些類型?分布式云化數(shù)據(jù)庫主要類型包括:關系型分布式數(shù)據(jù)庫、非關系型分布式數(shù)據(jù)
    的頭像 發(fā)表于 01-15 09:43 ?474次閱讀

    HarmonyOS Next 應用元服務開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)文件資產遷移

    提供了async版本供該場景使用。 當前,wantParams中“sessionId”字段在遷移流程中被系統(tǒng)占用,建議開發(fā)者在wantParams中定義其他key值存儲分布式數(shù)據(jù)對象
    發(fā)表于 12-24 10:11

    HarmonyOS Next 應用元服務開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)權限與基礎數(shù)據(jù)

    提供了async版本供該場景使用。 當前,wantParams中“sessionId”字段在遷移流程中被系統(tǒng)占用,建議開發(fā)者在wantParams中定義其他key值存儲分布式數(shù)據(jù)對象
    發(fā)表于 12-24 09:40

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲項目

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數(shù)據(jù)存儲項目
    的頭像 發(fā)表于 11-11 09:59 ?499次閱讀
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)軟件助力電信工程<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>存儲</b>項目

    NetApp與Google Cloud深化合作,強化分布式存儲

    智能數(shù)據(jù)基礎設施領導者NetApp?宣布,其與Google Cloud的戰(zhàn)略合作再升級。此次合作中,NetApp將統(tǒng)一數(shù)據(jù)存儲和智能服務融入Google Distributed Cloud架構,為
    的頭像 發(fā)表于 10-11 17:21 ?791次閱讀

    分布式存儲費用高嗎?大概需要多少錢

    分布式存儲的費用是否高,取決于多個因素,包括存儲容量、性能要求、服務提供商、計費模式等。因此,無法簡單地給出一個“高”或“不高”的答案。通常分布式
    的頭像 發(fā)表于 09-24 10:41 ?578次閱讀

    基于分布式存儲系統(tǒng)醫(yī)療影像數(shù)據(jù)存儲解決方案

    基于分布式存儲系統(tǒng)醫(yī)療影像數(shù)據(jù)存儲解決方案
    的頭像 發(fā)表于 09-14 09:53 ?684次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)醫(yī)療影像<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>存儲</b>解決方案

    基于分布式對象存儲WDS的信托非結構化數(shù)據(jù)整合平臺

    基于分布式對象存儲WDS的信托非結構化數(shù)據(jù)整合平臺
    的頭像 發(fā)表于 08-28 09:56 ?639次閱讀
    基于<b class='flag-5'>分布式</b>對象<b class='flag-5'>存儲</b>WDS的信托非結構化<b class='flag-5'>數(shù)據(jù)</b>整合平臺

    醫(yī)療PACS影像數(shù)據(jù)的極速分布式存儲解決方案

    醫(yī)療PACS影像數(shù)據(jù)的極速分布式存儲解決方案
    的頭像 發(fā)表于 08-23 10:13 ?732次閱讀
    醫(yī)療PACS影像<b class='flag-5'>數(shù)據(jù)</b>的極速<b class='flag-5'>分布式</b>塊<b class='flag-5'>存儲</b>解決方案

    基于分布式存儲WDS的金融信創(chuàng)云承載數(shù)據(jù)庫類關鍵應用

    基于分布式存儲WDS的金融信創(chuàng)云承載數(shù)據(jù)庫類關鍵應用
    的頭像 發(fā)表于 08-16 09:42 ?558次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>WDS的金融信創(chuàng)云承載<b class='flag-5'>數(shù)據(jù)</b>庫類關鍵應用