大數(shù)據(jù)的最底層的內(nèi)容就是存儲(chǔ),只有把數(shù)據(jù)存在能高效訪問的分布式系統(tǒng)下才能提升工作效率。今天帶大家來盤點(diǎn)一下這些常見的分布式文件系統(tǒng):
Lustre
Lustre是一個(gè)非常安全,規(guī)模很大的分布式文件系統(tǒng),最早由CFS(Cluster File System Inc.)公司研發(fā),最后由CFS、惠普和因特爾三家公司一起與2003年推出第一版發(fā)布版,發(fā)展到現(xiàn)在已經(jīng)非常成熟。其存儲(chǔ)量通常以PB起步,節(jié)點(diǎn)支持?jǐn)?shù)也能打到萬級(jí)。但是其對(duì)設(shè)備有特殊要求。
HDFS
HDFS是Hadoop內(nèi)置的分布式文件系統(tǒng),之前也有過介紹。HDFS最大的優(yōu)勢(shì)就是價(jià)格低廉,因此也使用極為廣泛。并且其高可靠性,高容錯(cuò)性也讓使用者非常信賴。雖然HDFS的存儲(chǔ)級(jí)別也在PB以上,但是對(duì)于小文件過多的情況HDFS不能很好的支持。
QFS
QFS和HDFS類似,都是為了解決高效順序讀寫大量數(shù)據(jù)的問題。但是QFS在性能上優(yōu)于HDFS,讀寫效率提升綜合越60%?,F(xiàn)在QFS還比較小眾,沒有經(jīng)過大量的使用測(cè)試,因此還不能用于大規(guī)模的生產(chǎn)環(huán)境。
GlusterFS
GlusterFS也是一個(gè)PB級(jí)別的集群文件系統(tǒng),其思想是將集群內(nèi)所有服務(wù)器的存儲(chǔ)空間匯到一個(gè)大的網(wǎng)絡(luò)系統(tǒng)上。這樣做最大的特點(diǎn)就是無中心,不會(huì)有單點(diǎn)故障。
Alluxio
Alluxio是第一個(gè)基于內(nèi)存的分布式文件系統(tǒng),因此其相應(yīng)速度也會(huì)超出普通的分布式文件系統(tǒng)很多,例如HDFS就比它慢數(shù)百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中國(guó)人開發(fā)的,文檔都是中文的,對(duì)于被英文文檔困擾很久的小伙伴絕對(duì)是福音。
Ceph
Ceph也是一個(gè)沒有單點(diǎn)故障的分布式文件系統(tǒng),Ceph的每個(gè)節(jié)點(diǎn)上都有一小部分資源用于計(jì)算節(jié)點(diǎn)的數(shù)據(jù)信息,從而非常優(yōu)秀的實(shí)現(xiàn)負(fù)載均衡。
PVFS
PVFS是一個(gè)并行虛擬文件系統(tǒng),他能很好的支持linux上的原聲命令和工具,例如rm、dd、cat等。但是PSFS是單管理節(jié)點(diǎn)的,因此存在單點(diǎn)故障,并且在啟動(dòng)后無法靈活的修改。
-
文件系統(tǒng)
+關(guān)注
關(guān)注
0文章
296瀏覽量
20395 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8960瀏覽量
140246
原文標(biāo)題:常見分布式文件系統(tǒng)大盤點(diǎn),想了解大數(shù)據(jù)先從存儲(chǔ)開始
文章出處:【微信號(hào):cunchujie,微信公眾號(hào):存儲(chǔ)界】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
分布式軟件系統(tǒng)
分布式文件系統(tǒng)和fastDFS
一文解讀在RTThread平臺(tái)上使用DFS分布式文件系統(tǒng)
HarmonyOS分布式文件系統(tǒng)開發(fā)指導(dǎo)
采用信任管理的分布式文件系統(tǒng)TrustFs
海量郵件分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
基于分布式文件系統(tǒng)元數(shù)據(jù)操作優(yōu)化

AFS,GFS ,QKFile主流分布式存儲(chǔ)文件系統(tǒng)
解析夸克分布式文件系統(tǒng)如何實(shí)現(xiàn)資源共享
分布式文件存儲(chǔ)系統(tǒng)GFS的基礎(chǔ)知識(shí)

分布式文件系統(tǒng)主從式的伸縮性架構(gòu)設(shè)計(jì)

常見的分布式文件存儲(chǔ)系統(tǒng)的優(yōu)缺點(diǎn)

評(píng)論