一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

盤點(diǎn)一下這些常見的分布式文件系統(tǒng)

存儲(chǔ)界 ? 來源:未知 ? 作者:李倩 ? 2018-08-15 16:25 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

大數(shù)據(jù)的最底層的內(nèi)容就是存儲(chǔ),只有把數(shù)據(jù)存在能高效訪問的分布式系統(tǒng)下才能提升工作效率。今天帶大家來盤點(diǎn)一下這些常見的分布式文件系統(tǒng):

Lustre

Lustre是一個(gè)非常安全,規(guī)模很大的分布式文件系統(tǒng),最早由CFS(Cluster File System Inc.)公司研發(fā),最后由CFS、惠普和因特爾三家公司一起與2003年推出第一版發(fā)布版,發(fā)展到現(xiàn)在已經(jīng)非常成熟。其存儲(chǔ)量通常以PB起步,節(jié)點(diǎn)支持?jǐn)?shù)也能打到萬級(jí)。但是其對(duì)設(shè)備有特殊要求。

HDFS

HDFS是Hadoop內(nèi)置的分布式文件系統(tǒng),之前也有過介紹。HDFS最大的優(yōu)勢(shì)就是價(jià)格低廉,因此也使用極為廣泛。并且其高可靠性,高容錯(cuò)性也讓使用者非常信賴。雖然HDFS的存儲(chǔ)級(jí)別也在PB以上,但是對(duì)于小文件過多的情況HDFS不能很好的支持。

QFS

QFS和HDFS類似,都是為了解決高效順序讀寫大量數(shù)據(jù)的問題。但是QFS在性能上優(yōu)于HDFS,讀寫效率提升綜合越60%?,F(xiàn)在QFS還比較小眾,沒有經(jīng)過大量的使用測(cè)試,因此還不能用于大規(guī)模的生產(chǎn)環(huán)境。

GlusterFS

GlusterFS也是一個(gè)PB級(jí)別的集群文件系統(tǒng),其思想是將集群內(nèi)所有服務(wù)器的存儲(chǔ)空間匯到一個(gè)大的網(wǎng)絡(luò)系統(tǒng)上。這樣做最大的特點(diǎn)就是無中心,不會(huì)有單點(diǎn)故障。

Alluxio

Alluxio是第一個(gè)基于內(nèi)存的分布式文件系統(tǒng),因此其相應(yīng)速度也會(huì)超出普通的分布式文件系統(tǒng)很多,例如HDFS就比它慢數(shù)百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中國(guó)人開發(fā)的,文檔都是中文的,對(duì)于被英文文檔困擾很久的小伙伴絕對(duì)是福音。

Ceph

Ceph也是一個(gè)沒有單點(diǎn)故障的分布式文件系統(tǒng),Ceph的每個(gè)節(jié)點(diǎn)上都有一小部分資源用于計(jì)算節(jié)點(diǎn)的數(shù)據(jù)信息,從而非常優(yōu)秀的實(shí)現(xiàn)負(fù)載均衡。

PVFS

PVFS是一個(gè)并行虛擬文件系統(tǒng),他能很好的支持linux上的原聲命令和工具,例如rm、dd、cat等。但是PSFS是單管理節(jié)點(diǎn)的,因此存在單點(diǎn)故障,并且在啟動(dòng)后無法靈活的修改。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 文件系統(tǒng)
    +關(guān)注

    關(guān)注

    0

    文章

    296

    瀏覽量

    20395
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8960

    瀏覽量

    140246

原文標(biāo)題:常見分布式文件系統(tǒng)大盤點(diǎn),想了解大數(shù)據(jù)先從存儲(chǔ)開始

文章出處:【微信號(hào):cunchujie,微信公眾號(hào):存儲(chǔ)界】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    分布式軟件系統(tǒng)

    、分布式程序設(shè)計(jì)語言及其編譯(解釋)系統(tǒng)、分布式文件系統(tǒng)分布式數(shù)據(jù)庫系統(tǒng)等。 分布式操作
    發(fā)表于 07-22 14:53

    分布式文件系統(tǒng)和fastDFS

    項(xiàng)目(1)(分布式文件系統(tǒng)、fastDFS,代碼實(shí)現(xiàn)fastDFS 文件上傳和下載)
    發(fā)表于 05-10 08:51

    文解讀在RTThread平臺(tái)上使用DFS分布式文件系統(tǒng)

    1、RTThread平臺(tái)使用DFS文件系統(tǒng)  簡(jiǎn)單介紹了一下DFS代碼框架和如何在RTThread平臺(tái)上使用DFS分布式文件系統(tǒng)。工作比較忙先把目前整理的發(fā)出來,希望對(duì)小伙伴們有幫助,
    發(fā)表于 09-15 16:57

    HarmonyOS分布式文件系統(tǒng)開發(fā)指導(dǎo)

    分布式文件系統(tǒng)概述 分布式文件系統(tǒng)(hmdfs,HarmonyOS Distributed File System)提供跨設(shè)備的文件訪問能力
    發(fā)表于 11-14 17:14

    采用信任管理的分布式文件系統(tǒng)TrustFs

    在傳統(tǒng)的分布式文件系統(tǒng)中用戶無法判斷文件的可信任性,針對(duì)此問題提出采用信任管理的分布式文件系統(tǒng)TrustFs,使用數(shù)字簽名對(duì)
    發(fā)表于 04-02 08:57 ?19次下載

    海量郵件分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

    本文通過歸納分析已有的分布式系統(tǒng)體系結(jié)構(gòu),研究并設(shè)計(jì)了個(gè)針對(duì)于海量郵件存儲(chǔ)的分布式文件系統(tǒng)。受Google File System 架構(gòu)的
    發(fā)表于 01-09 13:56 ?12次下載

    基于分布式文件系統(tǒng)元數(shù)據(jù)操作優(yōu)化

    隨著網(wǎng)絡(luò)應(yīng)用的迅速發(fā)展,網(wǎng)絡(luò)時(shí)代數(shù)據(jù)規(guī)模越來越大,海量數(shù)據(jù)存儲(chǔ)和大規(guī)模并發(fā)的I/O成為了分布式系統(tǒng)中的瓶頸。單機(jī)環(huán)境文件系統(tǒng)已經(jīng)不能滿足當(dāng)前網(wǎng)絡(luò)時(shí)代的大容量、高可靠性、高性能、高擴(kuò)
    發(fā)表于 02-24 13:46 ?0次下載
    基于<b class='flag-5'>分布式</b><b class='flag-5'>文件系統(tǒng)</b>元數(shù)據(jù)操作優(yōu)化

    AFS,GFS ,QKFile主流分布式存儲(chǔ)文件系統(tǒng)

    主流的3種分布式存儲(chǔ)文件系統(tǒng) 存儲(chǔ)架構(gòu)分兩種,種是傳統(tǒng)存儲(chǔ)陣列架構(gòu),另種就是本文將要重點(diǎn)介紹的分布式存儲(chǔ)架構(gòu)
    發(fā)表于 08-02 11:04 ?3857次閱讀

    解析夸克分布式文件系統(tǒng)如何實(shí)現(xiàn)資源共享

    QKFILE—“夸克分布式文件系統(tǒng)”。簡(jiǎn)單點(diǎn)說,它是個(gè)點(diǎn)對(duì)點(diǎn)的分布式文件系統(tǒng)(和比特幣技術(shù)
    發(fā)表于 08-06 08:45 ?5175次閱讀

    分布式文件存儲(chǔ)系統(tǒng)GFS的基礎(chǔ)知識(shí)

    GFS是google的分布式文件存儲(chǔ)系統(tǒng),是專為存儲(chǔ)海量搜索數(shù)據(jù)而設(shè)計(jì)的,2003年提出,是閉源的分布式文件系統(tǒng)。
    發(fā)表于 08-25 17:49 ?6359次閱讀
    <b class='flag-5'>分布式</b><b class='flag-5'>文件</b>存儲(chǔ)<b class='flag-5'>系統(tǒng)</b>GFS的基礎(chǔ)知識(shí)

    分布式文件系統(tǒng)主從的伸縮性架構(gòu)設(shè)計(jì)

    Hadoop當(dāng)中負(fù)責(zé)分布式存儲(chǔ)的HDFS,被定義為分布式文件系統(tǒng),對(duì)于進(jìn)入到平臺(tái)當(dāng)中的數(shù)據(jù),提供高效的、可容錯(cuò)、可擴(kuò)展的數(shù)據(jù)存儲(chǔ),這得益于分布式文件
    發(fā)表于 01-05 10:42 ?1386次閱讀
    <b class='flag-5'>分布式</b><b class='flag-5'>文件系統(tǒng)</b>主從<b class='flag-5'>式</b>的伸縮性架構(gòu)設(shè)計(jì)

    常見分布式文件存儲(chǔ)系統(tǒng)的優(yōu)缺點(diǎn)

    分布式文件系統(tǒng),可以說是分布式系統(tǒng)個(gè)子集,這里我們選取市場(chǎng)應(yīng)用比較廣泛的幾款產(chǎn)品,HDFS
    發(fā)表于 01-15 09:45 ?1.1w次閱讀
    <b class='flag-5'>常見</b>的<b class='flag-5'>分布式</b><b class='flag-5'>文件</b>存儲(chǔ)<b class='flag-5'>系統(tǒng)</b>的優(yōu)缺點(diǎn)

    什么是分布式文件系統(tǒng)

    我們無時(shí)無刻不在使用文件系統(tǒng),進(jìn)行開發(fā)時(shí)在使用文件系統(tǒng),瀏覽網(wǎng)頁時(shí)在使用文件系統(tǒng),玩手機(jī)時(shí)也在使用文件系統(tǒng)
    的頭像 發(fā)表于 03-10 16:21 ?4789次閱讀

    分布式文件系統(tǒng)的設(shè)計(jì)框架

    因?yàn)镠DFS系統(tǒng)分布式文件系統(tǒng))可由數(shù)百或數(shù)千個(gè)存儲(chǔ)文件數(shù)據(jù)片段的服務(wù)器組成,即HDFS系統(tǒng)包含較多的硬件設(shè)備,所以HDFS
    的頭像 發(fā)表于 03-20 11:37 ?1344次閱讀

    分布式文件系統(tǒng)的設(shè)計(jì)原理是什么?

    多個(gè)源訪問相同的數(shù)據(jù),并且即使個(gè)或多個(gè)源不可用也可以訪問該數(shù)據(jù)。 下面,小編給大家介紹一下分布式文件系統(tǒng)的設(shè)計(jì)原理是什么? 1、可擴(kuò)展性:分布式
    的頭像 發(fā)表于 10-17 17:35 ?1319次閱讀