全閃存數(shù)據(jù)中心讓Hadoop提速10倍
大小:0.08 MB 人氣: 2017-10-12 需要積分:1
標(biāo)簽:Hadoop(15736)vxrail(2550)
針對當(dāng)前的數(shù)字化轉(zhuǎn)型,EMC公司認(rèn)為,現(xiàn)代數(shù)據(jù)中心應(yīng)當(dāng)具備全閃存、云賦能、橫向擴(kuò)展和軟件定義四個特征。圍繞這四個核心,EMC發(fā)布了三款存儲產(chǎn)品,包括VxRail超融合基礎(chǔ)架構(gòu)應(yīng)用裝置、VMAX All flash以及DSSD D5機(jī)架級閃存解決方案。其中,DSSD D5可將高級數(shù)據(jù)分析等應(yīng)用提速多達(dá)10倍,并且可以改變Hadoop的三副本存儲機(jī)制。EMC預(yù)測,到2020年,用于生產(chǎn)應(yīng)用的所有存儲系統(tǒng)都將基于閃存陣列,傳統(tǒng)磁盤僅用于大容量及歸檔存儲。
現(xiàn)代化的數(shù)據(jù)中心
EMC認(rèn)為,2016年將是全閃存之年,主存儲系統(tǒng)進(jìn)入全閃存時代。
EMC全球高級副總裁、大中華區(qū)總裁葉成輝表示,當(dāng)前的數(shù)字化轉(zhuǎn)型中,大數(shù)據(jù)、移動、物聯(lián)網(wǎng)等新應(yīng)用不斷推動數(shù)據(jù)中心向更快速、更高效、更敏捷的方向變革。
VMware全球副總裁、大中華區(qū)總裁郭尊華認(rèn)為,企業(yè)都希望采用云計(jì)算、移動、互聯(lián)網(wǎng)技術(shù)去推動新的業(yè)務(wù)的發(fā)展,在搭建數(shù)據(jù)中心的時候,要非常快速地去部署、管理這些IT的資源,同時也必須要去追求高效、經(jīng)濟(jì)的效率。
葉成輝表示,從EMC的角度來看,現(xiàn)代化的數(shù)據(jù)中心有四個方面的亮點(diǎn)。
全閃存。現(xiàn)在已經(jīng)逐漸變成閃存的天下。EMC在三年半之前推出來第一臺閃存,大家覺得很貴,但是現(xiàn)在已經(jīng)在改變。現(xiàn)在EMC推出來的閃存產(chǎn)品已經(jīng)是3.8TB,三星在研發(fā)的是30TB的閃存。今天大部分企業(yè)用的非閃存的存儲還是1TB,而且是機(jī)械存儲,故障率更高,需要很多的維修工作,所以閃存會改變未來。因?yàn)楝F(xiàn)在閃存比較大,成本比較低。所有的數(shù)據(jù)中心在未來18個月將會轉(zhuǎn)換成新的應(yīng)用會放在閃存上面。
云賦能。所有的數(shù)據(jù)中心未來都要跟云結(jié)合,這就是云賦能的做法。
橫向擴(kuò)展。添加硬盤的傳統(tǒng)縱向擴(kuò)展做法只適合數(shù)據(jù)量增長不大的情況,但是未來的數(shù)據(jù)中心是橫向擴(kuò)展的做法。
軟件定義。新應(yīng)用快速迭代,工程師已經(jīng)沒有那么多時間去管理數(shù)據(jù)中心,需要利用軟件自動化管理來支持更多的新應(yīng)用,所以未來是軟件定義。
EMC全球高級副總裁、大中華區(qū)總裁葉成輝與VMware全球副總裁、大中華區(qū)總裁郭尊華
機(jī)架級閃存可讓Hadoop提速10倍
EMC資深產(chǎn)品顧問李君鵬(Mike)介紹了EMC最新發(fā)布的VxRail超融合基礎(chǔ)架構(gòu)應(yīng)用裝置、VMAX All flash和全新的機(jī)架級閃存的存儲解決方案DSSD D5的技術(shù)細(xì)節(jié)。
VxRail
隨著CPU和存儲的密度越來越高,以及有更快的網(wǎng)絡(luò)來連接CPU和存儲,現(xiàn)在可以使用軟件定義的基礎(chǔ)架構(gòu),超融合基礎(chǔ)架構(gòu)是軟件定義的,將計(jì)算、軟件定義的存儲、網(wǎng)絡(luò)和虛擬化集成在一起,超融合基礎(chǔ)架構(gòu)使計(jì)算、存儲和網(wǎng)絡(luò)功能與底層的硬件解耦合,運(yùn)行在通用的基于X86標(biāo)準(zhǔn)的工業(yè)組件上。
超融合基礎(chǔ)架構(gòu)簡化了SDDC軟件定義的數(shù)據(jù)中心,超融合基礎(chǔ)架構(gòu)包括兩個基本的組件,一個是超融合軟件,另外一個是工業(yè)標(biāo)準(zhǔn)硬件。超融合軟件提供了計(jì)算、存儲、網(wǎng)絡(luò)和管理功能。超融合軟件允許物體存儲融合在工業(yè)標(biāo)準(zhǔn)的X86服務(wù)器里,以構(gòu)件塊的方式提供了橫向擴(kuò)展的能力,可以使數(shù)據(jù)中心以敏捷、可擴(kuò)展以及成本高效的方式來運(yùn)行。
VMware的超融合軟件,包括vCenter Server、vSphere、VSAN等。
VCE VxRail是由EMC和VMware共同組建的、單一研發(fā)團(tuán)隊(duì)提供的超融合的應(yīng)用裝置,以2U、四節(jié)點(diǎn)、敏捷可擴(kuò)展、易管理、SDDC構(gòu)件塊的方式,提供了虛擬化、計(jì)算、存儲、網(wǎng)絡(luò)和數(shù)據(jù)保護(hù)。VxRail應(yīng)用裝置適合于部署在虛擬桌面、服務(wù)器工作負(fù)載、混合云以及分布式企業(yè)環(huán)境。VxRail應(yīng)用裝置提供了多種配置和規(guī)格,可以實(shí)現(xiàn)無中斷的SDDC的橫向擴(kuò)展。
VxRail也提供了可以提升效率的數(shù)據(jù)服務(wù),集成了復(fù)制、數(shù)據(jù)保護(hù)、備份功能。
VxRail為VMware超融合環(huán)境提供了單一廠商支持的單一廠商解決方案。
VxRail使用X86硬件運(yùn)行軟件定義的存儲環(huán)境,VxRail是專門構(gòu)建的SDDC軟件定義數(shù)據(jù)中心解決方案。
VxRail是完全集成的VMware的超融合基礎(chǔ)架構(gòu)應(yīng)用裝置。
如果使用其他的超融合解決方案,用戶需要使用第三方的工具和管理。VxRail允許客戶利用現(xiàn)有的標(biāo)準(zhǔn),使用相同的工具、管理、流程和技能,不需要新技術(shù)的學(xué)習(xí)過程。集成現(xiàn)有的VMware的軟件版本,簡化了生命周期管理,降低了TCO。
一個2U的VxRail最多可以有112個CPU核心,提供76TB的閃存容量,支持同步數(shù)據(jù)消除、壓縮、糾刪碼,一個2U的應(yīng)用裝置提供了更多的閃存、更多的性能。
使用VxRail可以從小配置開始,16個VxRail應(yīng)用裝置最多可以運(yùn)行3200個虛擬機(jī)。
使用VxRail可以選擇適合任何使用情形的配置,對于那些需要最大的性能和規(guī)格,要求低延遲的應(yīng)用程序,客戶可以選擇全閃存節(jié)點(diǎn)。對于那些需要兼顧性能和成本的使用場景,客戶可以選擇混合節(jié)點(diǎn)。
一個應(yīng)用裝置內(nèi)的四個節(jié)點(diǎn)必須是同構(gòu)的,不同配置的應(yīng)用裝置可以在一個群體當(dāng)中混搭。
使用VxRail,簡化了端到端的生命周期管理。VMware的超融合軟件,可以自動搭建、配置和驗(yàn)證客戶的VxRail,加速業(yè)務(wù)的敏捷性,加快了收效時間。從開機(jī)到調(diào)配虛擬機(jī),客戶只需要不到15分鐘,就可以建立起一個VMware的群集,沒有其他超融合解決方案能夠做到這一點(diǎn)。要實(shí)現(xiàn)這個目標(biāo),超過200多個配置步驟,實(shí)現(xiàn)了自動化。添加一個新的應(yīng)用裝置到這個環(huán)境,只需要5分鐘就可以完全配置好。
VxRail中,RecoverPoint提供了復(fù)制、數(shù)據(jù)保護(hù)和先進(jìn)的災(zāi)難恢復(fù)。VMware的VDP提供了原端消重的數(shù)據(jù)恢復(fù),還可以使用EMC的Data Domain,還可以將VxRail的存儲容量可以擴(kuò)展到可擴(kuò)展的云存儲當(dāng)中。VxRail的市場當(dāng)中,有一些經(jīng)過驗(yàn)證的、預(yù)配置的應(yīng)用程序供客戶選擇,進(jìn)一步擴(kuò)展了客戶VxRail的價值。隨著時間的推移,VxRail市場里會有越來越多的應(yīng)用程序供客戶選擇。
EMC的融合平臺提供了這種端到端的方式,將Vblock、VxRack等混合在一起,在邊緣或者是在遠(yuǎn)程辦公室、分支辦公室,有VxRail,所有這一切通過VCE vScale聯(lián)結(jié)在一起,使用VCE來管控。這就是分級的分布式企業(yè)應(yīng)用的融合基礎(chǔ)架構(gòu)平臺,是由EMC的VCE提供。
郭尊華表示,VMware自身也是VxRail的客戶,在全球用了130套,節(jié)省了很多機(jī)房的空間和機(jī)架的空間。
對于EMC融合架構(gòu)的三種不同產(chǎn)品Vblock、VxRack和VxRail的差異性,李君鵬總結(jié)說,Vblock最適合于部署在傳統(tǒng)的數(shù)據(jù)中心,運(yùn)行以前關(guān)鍵任務(wù)應(yīng)用,像SAP、Oracle、Microsoft等等,第二平臺最關(guān)鍵的應(yīng)用。VxRack部署在傳統(tǒng)的企業(yè)數(shù)據(jù)中心和服務(wù)提供商的數(shù)據(jù)中心最合適,運(yùn)行這些通用的一般的第二平臺工作應(yīng)用和最新的第三平臺應(yīng)用。VxRail最適合于部署在數(shù)據(jù)中心以外,或者是中小企業(yè),中小企業(yè)可能是很小的數(shù)據(jù)中心,只有很少的IT人員。像這些都是VxRail直接運(yùn)行的虛擬化工作負(fù)載,都是VxRail比較適合的。都提供了很好的橫向擴(kuò)展能力,即使2U的VxRail應(yīng)用裝置,也可以擴(kuò)展到16個應(yīng)用裝置,運(yùn)行多達(dá)3200個虛擬機(jī)。如果是客戶未來的環(huán)境需要擴(kuò)展得更大,一開始就建議上VxRack。此外,不同于VxRail與VMware緊密集成,VxRack可以支持OpenStack環(huán)境。
VMAX All flash
認(rèn)為全閃存年到來,EMC重新設(shè)計(jì)了VMAX,盡可能的利用最高密度的閃存,通過支持3.8TB的閃存盤,使VMAX All flash與混合陣列相比,在購買成本和總體擁有成本方面,更具有吸引力。與混合陣列相比,VMAX All flash提供了更高的性能,400萬IOPS,低于0.5毫米的延遲,150GB/S的帶寬。簡化了基于應(yīng)用裝置的軟件打包方式和橫向擴(kuò)展的構(gòu)件塊配置,消除了銷售和購買的復(fù)雜性,使客戶更樂意采納全閃存的VMAX,和使用高端的數(shù)據(jù)存儲服務(wù)。
由于全部是閃存盤,只提供了一個服務(wù)節(jié)點(diǎn),不需要關(guān)心應(yīng)用程序的I/O偏斜的不同,因?yàn)檎麄€應(yīng)用程序都是應(yīng)用在閃存盤上。
VMAX All flash與ECM此前推出的XtremIO全閃存陣列的相同和不同之處:
首先,XtremIO和VMAX All flash都支持混合工作負(fù)載整合,都提供了一致的低延遲。與XtremIO不同的是,VMAX All flash提供了多維度的擴(kuò)展,無論是端口支持的設(shè)備數(shù)量還是容量。VMAX All flash為關(guān)鍵任務(wù)應(yīng)用提供了世界級的業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)解決方案,提供了6個9的可用性。除了數(shù)據(jù)塊的工作負(fù)載,VMAX All flash還可以整合mainframe、IBM 系列和文件的工作負(fù)載。VMAX All flash提供了線內(nèi)的消重和壓縮,還有無中斷的VMAX數(shù)據(jù)遷移。
VMAX All flash為閃存而設(shè)計(jì),能夠支持巨大的規(guī)模,增加了閃存的耐用性,提供了一致的低于0.5毫秒的延遲。VMAX All flash提供了高IOPS、巨大的帶寬。
多核多線程設(shè)計(jì),用于超過100萬個虛擬機(jī),VMAX All flash有巨大的全局緩存,寫I/O首先寫到VMAX的cache當(dāng)中,如果同一個地址的數(shù)據(jù)被反復(fù)修改,VMAX就把最后的修改寫到后端的閃存盤上。VMAX巨大的全局內(nèi)存使后端寫到閃存盤的I/O數(shù)量減少了80%,增加了閃存的耐用性。同時VMAX All flash也提供了閃存的模組分析技術(shù),可以監(jiān)控閃存盤的使用壽命。當(dāng)發(fā)現(xiàn)閃存盤的使用壽命接近的時候,可以預(yù)先準(zhǔn)備好備用的閃存盤。
巨大的寫緩存、智能的讀寫算法,為VMAX All flash提供了極低的、一致的低于0.5毫秒的延遲。CPU按照工作負(fù)載的要求,動態(tài)分配CPU的核,先進(jìn)的QoS、優(yōu)先級控制,可調(diào)整的前端后端的FE/BE樣本文件。
VMAX All flash有巨大的SPC吞吐量,支持BI和DW。
VMAX All flash的基本構(gòu)件塊是V-brick,包括引擎和53TB的閃存軟件,可按照13TB閃存包實(shí)現(xiàn)橫向擴(kuò)展。VMAX All flash縱向和橫向擴(kuò)展能力,可以分別擴(kuò)展容量和性能。V-brick和驅(qū)動器升級都是打包的。
客戶在尋求全閃存系統(tǒng)帶來好處的同時,又不想失去高端存儲支持他們關(guān)鍵任務(wù)的能力和價值,VMAX All flash廣泛的生態(tài)環(huán)境為各種平臺、操作系統(tǒng)、混合云等各類應(yīng)用提供了通用的標(biāo)準(zhǔn)的交付存儲服務(wù)的方式。VMAX All flash堅(jiān)若磐石般的復(fù)制和集成技術(shù),支持了客戶的關(guān)鍵應(yīng)用程序,維護(hù)數(shù)據(jù)的可用性,避難了災(zāi)難。
VMAX All flash企業(yè)規(guī)模的管理和自動化,簡化了管理,降低了運(yùn)行成本。
VMAX All flash巨大的整合能力可以滿足服務(wù)提供商和大企業(yè)需要的可預(yù)測性、規(guī)模和控制。
使用unisphere配置VMAX All flash,平均的調(diào)配時間不到30秒。
VMAX All flash部署也非常靈活,可以單獨(dú)部署,也可以作為Vblock融合存儲架構(gòu)來快速部署。
一個VMAX All flash技術(shù)更新的案例,客戶原先有一個9機(jī)柜的VMAX20K,通過更新為相同容量的單一機(jī)柜的VMAX All flash,實(shí)現(xiàn)了6倍性能的提升,總體應(yīng)用成本降低了40%,能耗減少了87%,占地面積減少了92%,預(yù)計(jì)驅(qū)動器的更換數(shù)量會減少98%。
VMAX All flash是真正的關(guān)鍵任務(wù)存儲,管理自動化、豐富的企業(yè)數(shù)據(jù)服務(wù)、深入的生態(tài)環(huán)境集成、可信的保護(hù)、超大規(guī)模的整合,簡化了規(guī)劃和部署,實(shí)現(xiàn)閃存的潛能。
葉成輝認(rèn)為,VMAX All flash最顛覆的就是傳統(tǒng)的金融銀行,因?yàn)?0%的銀行都有VMAX,對他們來講最需要的是穩(wěn)定、可靠、快,以前可能沒有All flash,他們不夠快。
機(jī)架級閃存存儲解決方案DSSD D5
DSSD提供了一個共享的和直接訪問的高性能機(jī)架級閃存存儲池,支持高度可擴(kuò)展的協(xié)議,實(shí)現(xiàn)了NVMe從user space來訪問,也實(shí)現(xiàn)了NVMe的熱插拔的存儲模塊。
DSSD提供了超高的性能,一千萬個IOPS,100GB/S的帶寬,100微秒的延遲,144TB的閃存容量。
DSSD優(yōu)化了數(shù)據(jù)通道和客戶通道,DSSD的數(shù)據(jù)通道是不使用軟件的,這樣就提供了最低的應(yīng)用程序的延遲,最大的IOPS和帶寬。應(yīng)用程序直接訪問DSSD,不需要經(jīng)過傳統(tǒng)的I/O軟件站。
DSSD D5是一個5U的高性能、高密度和基于NAED閃存的機(jī)架級存儲,最多可以有36個閃存模塊,可以全裝或者半裝。DSSD D5提供了不同的配置,可以有36TB、72TB或者144TB的閃存容量。
DSSD的閃存模塊是雙端口的,PCIe Gen3的,是熱插拔的。DSSD有兩個控制模塊,提供了冗余。
DSSD有兩個I/O模塊,每一個IO模塊可以連接48臺冗余連接的主機(jī)。DSSD的控制模塊不用來處理I/O請求。
與應(yīng)用程序的接口,是DSSD與其他解決方案最大的不同點(diǎn)。DSSD直接連接各種應(yīng)用程序,根據(jù)傳統(tǒng)的應(yīng)用程序特別是數(shù)據(jù)塊內(nèi)的應(yīng)用程序,DSSD提供了一個block drive,不需要修改I/O原代碼,直接訪問DSSD。對于Hadoop類的應(yīng)用程序,DSSD提供了Hadoop的HBase插件。
DSSD增減了空間、時間的垃圾回收可靠性,閃存物理控制,增強(qiáng)了閃存的耐用性。客戶在尋求實(shí)時解決方案,EMC看到三類數(shù)據(jù)密集、性能密集的工作負(fù)載,受到傳統(tǒng)存儲瓶頸的影響最大。一類是高性能的數(shù)據(jù)倉庫,包括傳統(tǒng)的數(shù)據(jù)庫、Oracle、MPP、內(nèi)存數(shù)據(jù)庫。另外一類是運(yùn)行在HDFS上的高性能應(yīng)用,SQL等等。第三類是定制應(yīng)用。使用DSSD運(yùn)行高性能的數(shù)據(jù)庫和數(shù)據(jù)倉庫,可以實(shí)時分析更大的數(shù)據(jù)級,并且不需要做過多的調(diào)整。
使用DSSD運(yùn)行在HDFS上的高性能應(yīng)用,可以使實(shí)時分析成為可能,并且可以獨(dú)立擴(kuò)展計(jì)算和存儲。
使用DSSD用于定制應(yīng)用,可以提供更好的帶寬密度,減少等待時間和增加分析。
DSSD可以達(dá)到1000萬的IOPS(5U系統(tǒng)),延遲100微秒,帶寬100GB/s,原始數(shù)據(jù)存儲容量144TB(可用容量100TB)。運(yùn)行數(shù)據(jù)庫,與Oracle最快的存儲平臺相比,性能是Oracle的三倍,延遲是Oracle的1/3,總體擁有成本是Oracle的1/3。
在DSSD上運(yùn)行Hadoop,只需要存儲一份數(shù)據(jù)就可以了,這與傳統(tǒng)的Hadoop解決方案相比,存儲容量僅是傳統(tǒng)解決方案的1/3,速度是傳統(tǒng)解決方案的10倍。
DSSD可以用于各行各業(yè),可以用于信用卡的欺詐甄別,金融的風(fēng)險分析,可以用于預(yù)測建模,流數(shù)據(jù)的近實(shí)時分析,還可以用于金融的交易建模,政府的設(shè)計(jì)仿真,石油天然氣的抽取模擬網(wǎng)格,生命科學(xué)研究等定制應(yīng)用。
在信用卡實(shí)時分析方面,過去由于沒有能力快速地分析,可能只能分析少量的字段,來判斷這筆交易是正常交易還是欺詐交易。有了DSSD,可以在更短的時間分析更多的字段,來分析這筆交易是否是正常交易還是欺詐交易。一家公司使用DSSD支持欺詐分析,使欺詐的金額降低了25%。
?
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
全閃存數(shù)據(jù)中心讓Hadoop提速10倍下載
相關(guān)電子資料下載
- 大數(shù)據(jù)計(jì)算框架簡介 1089
- 大數(shù)據(jù)相關(guān)介紹:Hadoop的生態(tài)系統(tǒng)構(gòu)成 1011
- 史上體積最小、功能最多的VxRail即將上市! 363
- Hadoop大數(shù)據(jù)存算分離方案:計(jì)算層無縫對接存儲系統(tǒng) 576
- IT大偵“碳”:VxRail的可持續(xù)法寶 428
- 開源“摩爾定律”即將打破《2022開源大數(shù)據(jù)熱力報(bào)告》云棲大會上發(fā)布 309
- 如何將Hadoop部署在低廉的硬件上 993
- Ampere將在2022 Apache Hadoop Meetup上解讀云原生 782
- VxRail使用vSAN RDMA提高應(yīng)用程序性能 1577
- 基于Hadoop的產(chǎn)品大數(shù)據(jù)分布式存儲優(yōu)化 515