一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

分享海量大數(shù)據(jù)背后的處理技術的原理

貿(mào)澤電子 ? 來源:djl ? 作者:Murray Slovick ? 2019-08-29 10:34 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

幾乎每個人當然也包括工程師都聽說過集成電路領域的摩爾定律,即戈登.摩爾預測,工藝技術的進步將導致芯片上的晶體管數(shù)量大約每兩年就翻一番。但只有少數(shù)人聽說過網(wǎng)絡領域的摩爾定律,即梅特卡夫定律,它由羅伯特.梅特卡夫提出,他指出通信網(wǎng)絡的價值正比于系統(tǒng)內(nèi)連接用戶數(shù)量的平方。簡單地說,網(wǎng)絡服務的用戶越多,該網(wǎng)絡服務對全體用戶的價值也越大。

現(xiàn)在,讓我們思考一下物聯(lián)網(wǎng)IOT),在這個網(wǎng)中的用戶并不一定是人,而是一個機器。人們開發(fā)了以太網(wǎng)系統(tǒng),通過硬件來連接建筑物內(nèi)的不同機器。它已演變成一系列網(wǎng)絡技術,其最新迭代是40 / 100 千兆以太網(wǎng)(GE)標準,也被稱為IEEE 802.3ba,特別針對數(shù)據(jù)中心通訊。

為管理不間斷的高速連接,當前的數(shù)據(jù)中心需要容納成千上萬臺主機服務器,這些服務器組成一個集群。每個主機包含一個或多個處理器、內(nèi)存、網(wǎng)絡接口以及本地高速I/O,它們通過高帶寬網(wǎng)絡緊耦合連接。大多數(shù)情況下,以太網(wǎng)采用集群方式連接(其次是采用InfiniBand)。

爆炸式增長

數(shù)據(jù)中心行業(yè)在不斷壯大,隨著全球更多設備加入線上網(wǎng)絡以及更多的企業(yè)轉(zhuǎn)向云計算以共享使用數(shù)據(jù)基礎設施,這種發(fā)展的速度還在加速。對于數(shù)據(jù)中心市場以及供應商和相關技術來說,IoT對它們的轉(zhuǎn)型影響最大。據(jù)研究公司Gartner推測,到2020年,IoT設備的安裝量將達260億臺,它們生成的大數(shù)據(jù)規(guī)模將無法想象,而且這些數(shù)據(jù)還需要實時的處理和分析。這些數(shù)據(jù)占數(shù)據(jù)中心負載的比重也將越來越大,到時供應商將面臨容量、速度、分析和安全等方面的新挑戰(zhàn)。

分享海量大數(shù)據(jù)背后的處理技術的原理

圖1:互連設備總量,單位是10億臺(來源:Gartner)

需求帶寬

索引擎提供商和其它大數(shù)據(jù)用戶(社交媒體論壇、在線購物網(wǎng)站,流媒體視頻供應商)為順暢的數(shù)據(jù)中心連接管道付出高額成本。以搜索引擎為例,數(shù)千臺服務器通過關鍵字和元數(shù)據(jù)來索引整個互聯(lián)網(wǎng)以提供網(wǎng)絡搜索服務。谷歌每天的索引高達200億頁面。一旦它們完成這項任務,為保持相關性,這些索引必須迅速轉(zhuǎn)移到其它數(shù)據(jù)中心。為適應該需求,連接數(shù)據(jù)中心的管道必須足夠?qū)?。但索引移動之后,管道的利用率就下降,此時服務器就可用于其它業(yè)務,但假設數(shù)據(jù)移動的不夠快,服務器就不得不暫停。

因此帶寬是大數(shù)據(jù)最大的考慮因素之一。這是一個簡單直觀的概念:更快連接,更好服務。目前,10Gbps的傳輸率是目前以太網(wǎng)中廣泛使用的最快連接。為更易于理解,對比之下大多數(shù)家庭和企業(yè)使用5類雙絞線電纜連接到以太網(wǎng),最大傳輸率是1Gbps。

對于其中的內(nèi)部基礎設施,數(shù)據(jù)中心開始采用面向40Gbps到10Gbps以太網(wǎng)連接的IEEE802.3ba標準——比家庭雙絞線電纜快40到100倍。最先由IEEE在2010年規(guī)定,100千兆以太網(wǎng)(簡稱100GbE)和40千兆以太網(wǎng)(簡稱40GbE)為首批實例,在一個單一的標準中規(guī)定兩個不同的以太網(wǎng)速度。兩種不同速度的采用來自于兩種不同的應用要求,40Gbps的速率用以支持本地服務器應用,而100 GbE以太網(wǎng)更適用于網(wǎng)絡聚合應用,如服務提供商的客戶端連接、互聯(lián)網(wǎng)骨干網(wǎng)、核心網(wǎng)等等。兩年前, IEEE帶寬評估報告預計,核心網(wǎng)絡帶寬每18個月就翻一番,而服務器帶寬則是每24個月增加一倍。

數(shù)據(jù)中心內(nèi)已經(jīng)開始部署40Gbps和100Gbps以太網(wǎng)鏈路,這里的通信帶寬要求最高,比如中心內(nèi)機架到機架通信。大多數(shù)中心仍使用40GbE,但隨著需求日益增加,快速遷移到100GbE以太網(wǎng)只是時間問題?;ヂ?lián)網(wǎng)服務商對管道需求最高,已經(jīng)開始采用100GbE,而路由器也已經(jīng)支持該標準。

移動設備應用程序的繁盛使“東西通信”的重要性突顯(服務器之間的通信或者是存儲器到服務器之間的通信),而不再是傳統(tǒng)的“南北通信”(客戶端到服務器)。據(jù)思科所述,去年移動數(shù)據(jù)流量總和幾乎是2000年全球互聯(lián)網(wǎng)流量的18倍。2000年,全球互聯(lián)網(wǎng)總共傳輸了一百億億字節(jié) (EB)的流量,而2013移動網(wǎng)絡承載了近18 EB的流量。

據(jù)英特爾計算,每打開600部手機,就需要一個服務器的容量來滿足這些手機流量請求。而每120個平板則需要另一臺服務器,類似的,每臺服務器支撐約20個數(shù)字標牌,或12個監(jiān)控攝像頭。

就在你看這篇微信的幾分鐘內(nèi) ,全球就產(chǎn)生了大量的數(shù)據(jù),你知道全球一分鐘產(chǎn)生多少數(shù)據(jù)嗎?這是2014年5月最新的數(shù)據(jù):

全球一分鐘傳送數(shù)據(jù)約64萬GB;發(fā)布了2億400萬封郵件;下載了4.7萬個App;亞馬遜賣出了8.3萬美元的貨物;Flickr發(fā)布了2000萬張照片;Youtube的視頻被查看了130萬次;Facebook被查看了600萬次;Pandora電臺播放了總計6.1萬小時的歌曲。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    云計算、大數(shù)據(jù)處理技術交流

    云計算、大數(shù)據(jù)處理技術交流圖形圖像是數(shù)據(jù)處理量最大的版塊之一,也是當今云計算的重要課題之一,圖形圖像處理大會給大家?guī)碇T多名家方案,探究大數(shù)據(jù)
    發(fā)表于 09-16 14:18

    常用大數(shù)據(jù)處理技術歸類

    “21世紀最缺的是什么?人才!”。在大數(shù)據(jù)發(fā)展如此之快的今天,大數(shù)據(jù)工程師已經(jīng)成為一個新興職業(yè)。大數(shù)據(jù)是信息技術,是人和人、人和機器、機器和機器交互的內(nèi)容特征,是最底層的信息
    發(fā)表于 02-28 17:02

    海量數(shù)據(jù)處理技術

    MapReduceMapReduce是云計算的核心技術之一,是一種簡化并行計算的分布式編程模型,主要目的是為了大型集群的系統(tǒng)能在大數(shù)據(jù)集上進行并行工作,并用于大規(guī)模數(shù)據(jù)的并行運算。以上是處理
    發(fā)表于 03-23 14:23

    大數(shù)據(jù)運用的技術

    大數(shù)據(jù)是對海量數(shù)據(jù)進行存儲、計算、統(tǒng)計、分析處理的一系列處理手段,處理
    發(fā)表于 04-08 16:50

    大數(shù)據(jù)專業(yè)技術學習之大數(shù)據(jù)處理流程

    集中的大型分布式數(shù)據(jù)庫 或者分布式存儲集群,利用分布式技術來對存儲于其內(nèi)的集中的海量數(shù)據(jù)進行普通的查詢和分類匯總等,以此滿足大多數(shù)常見的分析需求。特點和挑戰(zhàn):導入
    發(fā)表于 06-11 16:41

    大數(shù)據(jù)開發(fā)核心技術詳解

    數(shù)據(jù)的核心是云技術和BI。關于大數(shù)據(jù)和云計算的關系人們通常會有誤解,而且也會把它們混起來說,分別做一句話直白解釋就是:云計算就是硬件資源的虛擬化;大數(shù)據(jù)就是
    發(fā)表于 07-26 16:26

    NLPIR系統(tǒng)KGB知識圖譜技術助力大數(shù)據(jù)深度挖掘

      大數(shù)據(jù)時代的到來,意味著海量數(shù)據(jù)的產(chǎn)生,給我們現(xiàn)有的數(shù)據(jù)存儲技術帶來了巨大的挑戰(zhàn)。而隨著時代的進步,
    發(fā)表于 12-05 11:49

    什么是大數(shù)據(jù)?大數(shù)據(jù)的特點有哪些

    大數(shù)據(jù)(big data)目錄1什么是大數(shù)據(jù)2大數(shù)據(jù)的定義3大數(shù)據(jù)的特點[1]4大數(shù)據(jù)的作用[2]5大數(shù)
    發(fā)表于 07-12 06:52

    大數(shù)據(jù)技術與應用是學什么的?

    大數(shù)據(jù)技術與應用是學什么的?大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理數(shù)據(jù)集合。
    發(fā)表于 07-27 07:47

    云端海量大數(shù)據(jù)的安全防護

    云端海量大數(shù)據(jù)數(shù)據(jù)分析的基礎,數(shù)據(jù)本身的安全性和準確性,對數(shù)據(jù)分析的結(jié)果有重要影響。針對云端大數(shù)據(jù)的特性,融合Hadoop的
    發(fā)表于 12-11 17:18 ?0次下載
    云端<b class='flag-5'>海量大數(shù)據(jù)</b>的安全防護

    大數(shù)據(jù)海量數(shù)據(jù)處理方法總結(jié)

    大數(shù)據(jù)海量數(shù)據(jù)處理方法總結(jié)。
    發(fā)表于 04-26 09:16 ?13次下載

    大數(shù)據(jù)技術及應用介紹2

    大數(shù)據(jù)技術內(nèi)涵持續(xù)進行延伸,經(jīng)過十三五的發(fā)展,已從面向海量數(shù)據(jù)的存儲、處理、分析等基礎技術,延展
    的頭像 發(fā)表于 03-29 14:17 ?1224次閱讀

    大數(shù)據(jù)技術主要學什么 大數(shù)據(jù)技術就業(yè)方向

    大數(shù)據(jù)技術專業(yè)主要包括以下方面的學習內(nèi)容:   數(shù)據(jù)技術數(shù)據(jù)庫是存儲和管理數(shù)據(jù)的關鍵
    的頭像 發(fā)表于 04-14 17:21 ?7408次閱讀

    大數(shù)據(jù)技術有哪些 大數(shù)據(jù)前景

    大數(shù)據(jù)從字面意思來理解,就是海量數(shù)據(jù)的結(jié)合,從數(shù)據(jù)分析全流程的角度,大數(shù)據(jù)技術主要包括
    的頭像 發(fā)表于 04-14 17:45 ?4585次閱讀

    大數(shù)據(jù)技術是干嘛的 大數(shù)據(jù)核心技術有哪些

    大數(shù)據(jù)技術是指用來處理和存儲海量、多類型、高速的數(shù)據(jù)的一系列技術和工具。現(xiàn)如今,
    的頭像 發(fā)表于 01-31 11:07 ?5784次閱讀