我們一般接觸到的存儲(chǔ)是機(jī)械硬盤HDD或固態(tài)硬盤SSD,其實(shí)還有磁帶庫(kù)、藍(lán)光等海量存儲(chǔ)介質(zhì),比如Facebook數(shù)據(jù)中心就采用了藍(lán)光存儲(chǔ)。
阿呆最近在SSDFans微信群看到一個(gè)華錄藍(lán)光存儲(chǔ)的PPT,摘錄出來分享給讀者。
一個(gè)DA-BH7010藍(lán)光存儲(chǔ)機(jī)柜最大容量為1.64PB,機(jī)柜的基本結(jié)構(gòu)如下圖,上面是6個(gè)6U的光盤單元,最底下是電源和控制服務(wù)器。
藍(lán)光存儲(chǔ)基本結(jié)構(gòu)
看看藍(lán)光存儲(chǔ)的基本結(jié)構(gòu),如下圖,左邊是光盤匣,右邊是光驅(qū)陣列,下面是機(jī)械手,最后以SAS接口連到服務(wù)器,包含了RAID和機(jī)械手控制器以及驅(qū)動(dòng)。
上層系統(tǒng)
以各光盤匣為單位進(jìn)行管理→容量為3.6TB
將光盤匣分為2組(6張碟片為一個(gè)單位),送入光驅(qū)
光驅(qū)系統(tǒng),6臺(tái)光驅(qū)為一組,使用RAID0/5/6,刻錄讀取數(shù)據(jù)
【特點(diǎn)】
以光盤匣為單位進(jìn)行數(shù)據(jù)的刻錄、讀取。
可以保證高傳輸速度、RAID冗余、離線管理等。
刻錄數(shù)據(jù)較大時(shí),可以使用Reed-Solomon。數(shù)據(jù)小時(shí),因?yàn)樵趥鬏斔俣壬蠜]有優(yōu)勢(shì),所以采用方案1的方式,光驅(qū)的效率更高。
【優(yōu)勢(shì)/不足】
以光盤匣為單位管理數(shù)據(jù)。使用RAID保護(hù)數(shù)據(jù)??梢赃M(jìn)行離線管理。
若要實(shí)現(xiàn)設(shè)備間的冗余,需要鏡像處理,所以系統(tǒng)成本提高。
另一種模式就沒有RAID了,光驅(qū)分別控制。
上層系統(tǒng)
以各碟片為單位進(jìn)行管理→容量為300GB
根據(jù)需要,將碟片送入光驅(qū)
以光驅(qū)為單位進(jìn)行控制、數(shù)據(jù)的刻錄與讀取
【特點(diǎn)】
以碟片為單位進(jìn)行數(shù)據(jù)的刻錄、讀取。雖然能夠有效的使用光驅(qū),但是傳輸速度下降。
Reed-Solomon分割的數(shù)據(jù),刻錄在不同的碟片中。
各碟片放置在不同的機(jī)柜中,即使設(shè)備本身出現(xiàn)問題,也能正常讀取數(shù)據(jù)。
如果各碟片放置在不同的數(shù)據(jù)中心,即使一個(gè)數(shù)據(jù)中心出現(xiàn)問題,也不影響數(shù)據(jù)的正常讀取。
【優(yōu)勢(shì)/不足】
可以實(shí)現(xiàn)設(shè)備間冗余,數(shù)據(jù)中心間冗余。
因?yàn)榇钶d多個(gè)光驅(qū),文件大小可以滿足多個(gè)用戶同時(shí)訪問的要求。
離線管理困難。
最后一種模式是最上層做成NAS、對(duì)象存儲(chǔ)。
上層系統(tǒng)
以卷為單位進(jìn)行管理→容量可調(diào)
將光盤匣分為2組(6張為一個(gè)單位),分割至每個(gè)卷使用
采用NAS、Object Storage的刻錄讀取方式,可以進(jìn)行文件的訪問
【特征】
有NAS、對(duì)象存儲(chǔ)等接口,與現(xiàn)存系統(tǒng)的連接性高。可以與普通的ISV相連接。
因?yàn)橐怨獗P匣為單位進(jìn)行數(shù)據(jù)的刻錄、讀取,可以保證高傳輸速度、RAID冗余、離線管理等
【優(yōu)勢(shì)/不足】
以光盤匣為單位管理數(shù)據(jù)、使用RAID保護(hù)數(shù)據(jù)、可以進(jìn)行離線管理。
若要實(shí)現(xiàn)設(shè)備間的冗余,需要鏡像處理,所以將提高系統(tǒng)成本。
Facebook藍(lán)光存儲(chǔ)
facebook是世界上最大的圖片分享網(wǎng)站
2013年活躍用戶的數(shù)量達(dá)到11.5億人,每天上傳照片數(shù)量超過3.5億張
2015年活躍用戶的數(shù)量超過15億人,單日使用量突破10億人次
facebook保存了數(shù)目龐大的照片數(shù)據(jù)
目前累計(jì)上傳照片數(shù)量超過6000億張
對(duì)于每張照片,facebook存儲(chǔ)大小不同的四個(gè)版本(在某些場(chǎng)景下只需展示縮略圖)
意味著:facebook服務(wù)器上存儲(chǔ)著2.4萬億張照片
下圖是社交網(wǎng)站圖片的訪問頻率隨時(shí)間的變化趨勢(shì),剛上傳后訪問頻率最高,后面逐漸降低,一年后就成了偶爾訪問。存儲(chǔ)介質(zhì)也是分級(jí)存儲(chǔ),從全閃存、SSD到HDD、光盤。
facebook保存大量圖像數(shù)據(jù)。為了滿足實(shí)時(shí)性要求,在Hadoop系統(tǒng)上保存圖像數(shù)據(jù)。
作為Hadoop發(fā)生故障時(shí)的候補(bǔ),在光存儲(chǔ)系統(tǒng)上存儲(chǔ)Hadoop的備份。
為了提升備份效率,使用Reed Solomon符號(hào)在光盤上分散記錄。
Facebook最終采用了藍(lán)光光盤作為冷存儲(chǔ)介質(zhì):
用戶照片等數(shù)據(jù)需要長(zhǎng)期保存,現(xiàn)有介質(zhì)成本高、可靠性低
與硬盤相比整體成本削減50%以上 [成本包括:設(shè)備成本、能耗成本、網(wǎng)絡(luò)成本、機(jī)房成本、人員成本、運(yùn)營(yíng)成本]
耗電量降低80%以上 [光盤庫(kù)工作功耗遠(yuǎn)低于硬盤,且不需要空調(diào)冷卻系統(tǒng)——光盤庫(kù)工作能耗為88W,采用外部空氣過濾系統(tǒng)替代空調(diào)冷卻系統(tǒng)]
異地備份方案
在冷存儲(chǔ)更新頻度低的前提下,地理上分離的多個(gè)場(chǎng)所間作數(shù)據(jù)冗余
以冷數(shù)據(jù)為對(duì)象搭載異地備份(Geo Replication)功能
由于有數(shù)據(jù)中心間的冗余功能,數(shù)據(jù)中心內(nèi)的冗余設(shè)備廢止(2系統(tǒng)供電、UPS、自備電源、回路2重化、防震構(gòu)造等),數(shù)據(jù)中心大幅降低成本,在這個(gè)基礎(chǔ)上云服務(wù)成本大幅降低
facebook已在Prineville的Forest City進(jìn)行商用,Google已在Spanner上實(shí)現(xiàn)
異地備份使可用性和吞吐量性能同時(shí)實(shí)現(xiàn)
藍(lán)光存儲(chǔ)的未來
先看看藍(lán)光存儲(chǔ)技術(shù)路線圖,2023年單盤可以到幾TB容量。
未來的光存儲(chǔ)技術(shù)還有:
全息光存儲(chǔ)技術(shù)(美國(guó)InPhase,日本日立、NHK);InPhace 1.6TB/盤;日立2TB-8TB/盤
雙光束超分辨技術(shù) (澳大利亞 顧敏院士,武漢光電國(guó)家實(shí)驗(yàn)室)
實(shí)驗(yàn)裝置水平:可實(shí)現(xiàn)單盤15TB容量
最新實(shí)驗(yàn)結(jié)果:9nm特征尺寸 理論上可達(dá)單盤 1PB
-
存儲(chǔ)
+關(guān)注
關(guān)注
13文章
4531瀏覽量
87439 -
藍(lán)光存儲(chǔ)
+關(guān)注
關(guān)注
0文章
4瀏覽量
2117
原文標(biāo)題:藍(lán)光存儲(chǔ),看這一篇就夠了!
文章出處:【微信號(hào):SSDFans,微信公眾號(hào):SSDFans】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
評(píng)論