一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

非結(jié)構(gòu)化數(shù)據(jù)時(shí)代下對(duì)象存儲(chǔ)該怎么玩?

SSDFans ? 來(lái)源:ssdfans ? 作者:ssdfans ? 2020-12-03 14:13 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

對(duì)象,是對(duì)象存儲(chǔ)的昵稱(chēng)。相對(duì)于NAS,我喜歡叫她OBJ,一個(gè)基于網(wǎng)絡(luò)的存儲(chǔ)程序。

最早由AWS(Amazon Web Services)的工程師開(kāi)發(fā)了這個(gè)后來(lái)被稱(chēng)為(Simple Storage Service)的程序,因?yàn)槿齻€(gè)首字母都是S,所以簡(jiǎn)稱(chēng)S3。目前,Amazon S3已經(jīng)成為了事實(shí)上的對(duì)象存儲(chǔ)標(biāo)準(zhǔn),而這也是一個(gè)在線零售商向科技公司轉(zhuǎn)型的印記。

按照貝索斯的理解,作為一個(gè)網(wǎng)絡(luò)服務(wù),對(duì)象可以存儲(chǔ)和檢索任意位置,任意數(shù)量的數(shù)據(jù),當(dāng)時(shí)貝索斯對(duì)S3提出要求是,“其規(guī)模要達(dá)到無(wú)限大,而且沒(méi)有計(jì)劃性的停機(jī)時(shí)間?!?/p>

對(duì)象的使用場(chǎng)景和分類(lèi)

商業(yè)環(huán)境中,很多公司都有大量的電子影像和文件需要存儲(chǔ),例如,銀行票據(jù),電子保單和電子合同等。當(dāng)然更少不了各種手機(jī)APP產(chǎn)生的照片、音樂(lè)和視頻。這些場(chǎng)景以前都是NAS,未來(lái)終將歸于對(duì)象。

從某種程度上講,在非結(jié)構(gòu)化的存儲(chǔ)世界里,對(duì)象存儲(chǔ)一切,下面就介紹幾個(gè)對(duì)象給你認(rèn)識(shí)。

商用:主要是HDS的HCP、IBM的CleverSafe和NetApp的Grid等

開(kāi)源:事實(shí)上似乎只有Ceph

搞對(duì)象的經(jīng)驗(yàn)和教訓(xùn)

有人的地方就有江湖,有產(chǎn)品地方,除了故事,還有事故。還記得上次NAS文章中提到的那個(gè)朋友嗎?今天接著講他跟HDS的小故事。

朋友說(shuō),多年前他們公司就建了影像集中存儲(chǔ)平臺(tái),數(shù)據(jù)存在NAS上,但是隨著業(yè)務(wù)快速發(fā)展,影像文件飛速增加,NAS在存儲(chǔ)容量和inode等方面都受到了挑戰(zhàn)。也就是說(shuō),隨著影像文件越來(lái)越多,這個(gè)痛點(diǎn)越發(fā)明顯。當(dāng)然,總是有辦法可以維持,但是能維持多久?

長(zhǎng)痛不如短痛,為了應(yīng)對(duì)未來(lái)更大規(guī)模的存儲(chǔ)需求,上馬對(duì)象成了一項(xiàng)必須完成的任務(wù)。看Gartner分析報(bào)告,跟行業(yè)用戶技術(shù)交流,最終,他們選擇了HCP,作為影像平臺(tái)的新一代存儲(chǔ)解決方案。

但是上線沒(méi)多久,對(duì)象存儲(chǔ)就遇到了性能不穩(wěn)的情況,這次不再是245萬(wàn)個(gè)垃圾文件,而是8000萬(wàn)個(gè)生產(chǎn)影像。

問(wèn)題很快就定位了,廠商給出的結(jié)論是,他家的桶(Bucket,對(duì)象存儲(chǔ)里的專(zhuān)有名詞,用來(lái)放具體對(duì)象數(shù)據(jù))需要文件存儲(chǔ)時(shí)有相應(yīng)的目錄層次,否則就會(huì)造成數(shù)據(jù)分布不均衡,影響性能。最后,在開(kāi)發(fā)人員的配合下,重新對(duì)數(shù)據(jù)做了遷移,算是徹底消除了這個(gè)隱患。

對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的管理,不管使用什么存儲(chǔ),NAS還是OBJ,也不管產(chǎn)品什么樣,最安全,最穩(wěn)妥的方式就是一定要設(shè)計(jì)好數(shù)據(jù)存儲(chǔ)的目錄層次。

你以為故事就這樣結(jié)束了?當(dāng)然沒(méi)有,這只不過(guò)是頭盤(pán),后面還有主菜,因?yàn)槠邢?,找機(jī)會(huì)再講后來(lái)發(fā)生的故事。

對(duì)象的現(xiàn)狀與對(duì)比分析

對(duì)象存儲(chǔ)的主要特征,基于S3標(biāo)準(zhǔn)的X86分布式,采用多副本和糾刪碼存儲(chǔ)數(shù)據(jù)。不過(guò),在本周的華為2019上海全聯(lián)接大會(huì)上,已經(jīng)有人開(kāi)始玩ARM了。

目前,傳統(tǒng)商業(yè)存儲(chǔ)廠商都有自己相應(yīng)的對(duì)象存儲(chǔ)產(chǎn)品,各家也都有拿的出手的客戶案例,而我這次主要想談?wù)勯_(kāi)源的Ceph。

如果讓我給Ceph定位,我就把Ceph跟OBJ劃等號(hào)。當(dāng)然無(wú)論做云的,還是做存儲(chǔ)的都不會(huì)認(rèn)同我的說(shuō)法,因?yàn)樗麄儽任腋芨蛻糁v故事。

早年間,我朋友就開(kāi)始接觸學(xué)習(xí)Ceph,做了很多準(zhǔn)備工作,但因?yàn)槟承┰?,最后并沒(méi)有真正落地到具體項(xiàng)目。最近聽(tīng)說(shuō)他那里又有新需求,打算重新對(duì)開(kāi)源對(duì)象存儲(chǔ)進(jìn)行測(cè)試,就順便問(wèn)了問(wèn)情況。

目前基于Ceph研發(fā)的存儲(chǔ)玩家主要是XSKY和杉巖數(shù)據(jù),也是他們這次測(cè)試的主要目標(biāo)。

XSKY,不多說(shuō)了,算是Ceph的布道者。

杉巖數(shù)據(jù),一家總部在深圳,專(zhuān)注存儲(chǔ)的科技公司,業(yè)務(wù)發(fā)展還不錯(cuò)。朋友說(shuō)他印象最深的就是,第一次跟杉巖做交流,看了幾頁(yè)P(yáng)PT,就已經(jīng)知道杉巖是干嘛的了,完全對(duì)標(biāo)XSKY,商業(yè)戰(zhàn)略和產(chǎn)品定位很清晰。當(dāng)然,杉巖的對(duì)象產(chǎn)品也提供CDP這種數(shù)據(jù)保護(hù),算是自己獨(dú)特的優(yōu)勢(shì)。

要說(shuō)產(chǎn)品功能和售后服務(wù),相對(duì)還是傳統(tǒng)存儲(chǔ)廠商更完善。初創(chuàng)公司都是基于開(kāi)源Ceph做的研發(fā),版本迭代快,產(chǎn)品功能同質(zhì)化,我覺(jué)得技術(shù)差異反而弱化,需要綜合評(píng)估服務(wù),當(dāng)然姿態(tài)也很重要。

現(xiàn)在對(duì)象之后

客戶搞開(kāi)源對(duì)象似乎就兩種選擇,要么自己養(yǎng)一票懂代碼人的玩自研,要么就找個(gè)專(zhuān)業(yè)基于Ceph做研發(fā)的公司買(mǎi)產(chǎn)品,前者門(mén)檻太高,國(guó)內(nèi)玩得起的沒(méi)多少,后者似乎像是更現(xiàn)實(shí)的做法。

朋友負(fù)責(zé)的對(duì)象存儲(chǔ),上線兩年,對(duì)象存了5億多,目前每天增量還有100萬(wàn)左右,這個(gè)量級(jí),沒(méi)個(gè)對(duì)象,誰(shuí)受得了。

這個(gè)時(shí)代,面對(duì)新技術(shù)、新產(chǎn)品,唯一的選擇就是以開(kāi)放的心態(tài)去擁抱他。沒(méi)對(duì)象的,抓緊找個(gè)合適的吧。否則,被時(shí)代拋棄的時(shí)候,連聲再見(jiàn)都沒(méi)有。

原文標(biāo)題:非結(jié)構(gòu)化數(shù)據(jù)時(shí)代,對(duì)象存儲(chǔ)該怎么玩?

文章出處:【微信公眾號(hào):ssdfans】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲(chǔ)
    +關(guān)注

    關(guān)注

    13

    文章

    4522

    瀏覽量

    87293
  • NAS
    NAS
    +關(guān)注

    關(guān)注

    11

    文章

    302

    瀏覽量

    113469

原文標(biāo)題:非結(jié)構(gòu)化數(shù)據(jù)時(shí)代,對(duì)象存儲(chǔ)該怎么玩?

文章出處:【微信號(hào):SSDFans,微信公眾號(hào):SSDFans】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    智能體AI面臨結(jié)構(gòu)化數(shù)據(jù)難題:IBM推出解決方案

    ,同時(shí)提供一個(gè)開(kāi)放的混合數(shù)據(jù)基礎(chǔ)架構(gòu)和企業(yè)級(jí)的結(jié)構(gòu)化結(jié)構(gòu)化數(shù)據(jù)管理。 智能體AI面臨
    的頭像 發(fā)表于 07-02 09:40 ?71次閱讀

    DDN攜手NVIDIA釋放結(jié)構(gòu)化數(shù)據(jù)的AI價(jià)值

    DDN 通過(guò)與 NVIDIA AI 數(shù)據(jù)平臺(tái)的合作,推出聯(lián)合解決方案,簡(jiǎn)化了企業(yè)對(duì)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、訪問(wèn)和激活方式,助力客戶釋放生成式 A
    的頭像 發(fā)表于 06-10 10:31 ?313次閱讀

    數(shù)智化時(shí)代數(shù)據(jù)存儲(chǔ)“進(jìn)化論”如何書(shū)寫(xiě)?

    。Gartner預(yù)測(cè),到2028年,企業(yè)軟件應(yīng)用中具備自主性AI的比例將從不到1%升至33%,30%的企業(yè)機(jī)構(gòu)會(huì)把數(shù)據(jù)變現(xiàn)或入表納入數(shù)據(jù)戰(zhàn)略。在此背景,作為數(shù)據(jù)承載關(guān)鍵設(shè)施的
    的頭像 發(fā)表于 04-16 11:21 ?193次閱讀
    數(shù)智化<b class='flag-5'>時(shí)代</b>,<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>存儲(chǔ)</b>“進(jìn)化論”<b class='flag-5'>該</b>如何書(shū)寫(xiě)?

    從零到一:如何利用結(jié)構(gòu)化數(shù)據(jù)中臺(tái)快速部署AI解決方案

    ……這些“非標(biāo)”數(shù)據(jù)量大、來(lái)源廣、結(jié)構(gòu)雜,卻恰恰是驅(qū)動(dòng)AI模型的關(guān)鍵燃料。 ? 想要從零到一,快速部署AI解決方案,一個(gè)可行路徑是——構(gòu)建結(jié)構(gòu)化數(shù)
    的頭像 發(fā)表于 04-14 13:50 ?245次閱讀

    樹(shù)莓派AI套件:如何將混亂的數(shù)據(jù)變成有序的魔法

    使用RaspberryPiAI套件進(jìn)行結(jié)構(gòu)化數(shù)據(jù)處理——Hailo邊緣AI結(jié)構(gòu)化數(shù)據(jù)處理、R
    的頭像 發(fā)表于 03-25 09:37 ?317次閱讀
    樹(shù)莓派AI套件:如何將混亂的<b class='flag-5'>數(shù)據(jù)</b>變成有序的魔法

    結(jié)構(gòu)化數(shù)據(jù)中臺(tái):企業(yè)AI應(yīng)用安全落地的核心引擎

    在數(shù)字轉(zhuǎn)型浪潮中,結(jié)構(gòu)化數(shù)據(jù)(如文檔、圖片、音視頻等)已成為企業(yè)核心資產(chǎn),其價(jià)值挖掘能力直接影響AI應(yīng)用的效能與安全性。然而,數(shù)據(jù)分散、
    的頭像 發(fā)表于 02-27 17:06 ?471次閱讀

    對(duì)象存儲(chǔ)是什么結(jié)構(gòu)類(lèi)型?

    對(duì)象存儲(chǔ)屬于結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)架構(gòu),采用扁平命名空間
    的頭像 發(fā)表于 02-10 11:14 ?310次閱讀

    彈性云服務(wù)器通過(guò)什么存儲(chǔ)數(shù)據(jù)和文件?

    彈性云服務(wù)器通過(guò)多種存儲(chǔ)方式存儲(chǔ)數(shù)據(jù)和文件,包括云硬盤(pán)、對(duì)象存儲(chǔ)服務(wù)、分布式文件系統(tǒng)和數(shù)據(jù)庫(kù)服務(wù)
    的頭像 發(fā)表于 01-13 09:50 ?430次閱讀

    IBM Storage -?支持AI應(yīng)用場(chǎng)景的數(shù)據(jù)存儲(chǔ)軟硬件解決方案

    為了解決數(shù)據(jù)和工作負(fù)載在各地分散的現(xiàn)狀,需要實(shí)現(xiàn)對(duì)存儲(chǔ)在分布式文件和對(duì)象存儲(chǔ)系統(tǒng)中的大量結(jié)構(gòu)化
    的頭像 發(fā)表于 12-30 15:00 ?567次閱讀
    IBM Storage -?支持AI應(yīng)用場(chǎng)景的<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>存儲(chǔ)</b>軟硬件解決方案

    戴爾數(shù)據(jù)湖倉(cāng)助力企業(yè)數(shù)字轉(zhuǎn)型

    在數(shù)字轉(zhuǎn)型的浪潮,企業(yè)正面臨著前所未有的數(shù)據(jù)挑戰(zhàn)。從傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)到如今的
    的頭像 發(fā)表于 12-20 09:31 ?484次閱讀

    探討大模型時(shí)代背景數(shù)據(jù)存儲(chǔ)的變革之道

    在當(dāng)今數(shù)字浪潮洶涌澎湃的時(shí)代背景,大模型技術(shù)猶如一顆璀璨的明星,照亮了科技發(fā)展的廣闊蒼穹,而存儲(chǔ)技術(shù)的變革,作為這一進(jìn)程中的堅(jiān)實(shí)基石,正日益成為產(chǎn)業(yè)界與學(xué)術(shù)界共同矚目的核心焦點(diǎn)。
    的頭像 發(fā)表于 12-16 14:05 ?659次閱讀

    結(jié)構(gòu)化布線在AI數(shù)據(jù)中心的關(guān)鍵作用

    AI 正在不斷顛覆各行各業(yè),推動(dòng)從電影制作到金融行業(yè)等各個(gè)領(lǐng)域的創(chuàng)新。而在 AI 系統(tǒng)的背后,隱藏著這樣一位無(wú)名英雄:結(jié)構(gòu)化布線。
    的頭像 發(fā)表于 11-21 16:51 ?877次閱讀

    關(guān)于對(duì)象存儲(chǔ)和云硬盤(pán)區(qū)別,你了解多少?

    對(duì)象存儲(chǔ)和云硬盤(pán)是兩種不同的云存儲(chǔ)解決方案。對(duì)象存儲(chǔ)適合處理大規(guī)模
    的頭像 發(fā)表于 11-01 10:57 ?505次閱讀

    戴爾升級(jí)結(jié)構(gòu)化存儲(chǔ)數(shù)據(jù)管理,AI創(chuàng)新引領(lǐng)新變革

    在快速演進(jìn)的人工智能(AI)與數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,企業(yè)唯有不斷追逐技術(shù)創(chuàng)新的浪潮,方能搶占先機(jī),引領(lǐng)行業(yè)前行。戴爾科技,作為AI就緒型數(shù)據(jù)平臺(tái)的領(lǐng)航者,近期對(duì)其Dell PowerScale及數(shù)據(jù)
    的頭像 發(fā)表于 10-29 16:52 ?981次閱讀

    基于分布式對(duì)象存儲(chǔ)WDS的信托結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)

    基于分布式對(duì)象存儲(chǔ)WDS的信托結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)
    的頭像 發(fā)表于 08-28 09:56 ?632次閱讀
    基于分布式<b class='flag-5'>對(duì)象</b><b class='flag-5'>存儲(chǔ)</b>WDS的信托<b class='flag-5'>非</b><b class='flag-5'>結(jié)構(gòu)化</b><b class='flag-5'>數(shù)據(jù)</b>整合平臺(tái)