一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

冰上的大數(shù)據(jù)

星星科技指導(dǎo)員 ? 來(lái)源:嵌入式計(jì)算設(shè)計(jì) ? 作者:Brandon Lewis ? 2022-08-17 09:40 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

波音噴氣發(fā)動(dòng)機(jī)每運(yùn)行 30 分鐘,就會(huì)產(chǎn)生 10 TB 的數(shù)據(jù)。那是 1 萬(wàn)億字節(jié),或相當(dāng)于美國(guó)國(guó)會(huì)圖書館整個(gè)印刷館藏的數(shù)字化等價(jià)物。將其乘以每天在美國(guó)上空推動(dòng)超過(guò) 87,000 次航班的噴氣發(fā)動(dòng)機(jī)數(shù)量,您就會(huì)獲得大量數(shù)據(jù)。

盡管一些人猜測(cè)大數(shù)據(jù)不會(huì)轉(zhuǎn)化為分析療法,但它仍然與物聯(lián)網(wǎng)IoT) 密不可分。如果思科等公司的預(yù)測(cè)是正確的,那么到 2020 年,我們將有大約 500 億個(gè)支持互聯(lián)網(wǎng)的“事物”不斷地啁啾,雖然它們可能不會(huì)都在噴氣發(fā)動(dòng)機(jī)剪輯上生成數(shù)據(jù),但這絕對(duì)構(gòu)成了數(shù)據(jù)海嘯。

那么,我們將如何處理所有這些數(shù)據(jù)?收獲的信息必須在某種程度上具有價(jià)值,否則它一開始就不會(huì)被收獲。另一方面,并??非所有數(shù)據(jù)都是平等的。收集到的絕大多數(shù)數(shù)據(jù)可能會(huì)被存檔和遺忘,直到偶爾報(bào)告需要它,訪問(wèn)一次或兩次,然后再次被遺忘。根據(jù) Enterprise Strategy Group 的研究,這種“不經(jīng)常訪問(wèn)”的信息(也稱為第 3 層或“冷”數(shù)據(jù))占記錄數(shù)據(jù)的 80%。而且,盡管這些年來(lái)內(nèi)存的平均成本急劇下降,但在大數(shù)據(jù)規(guī)模上,每 GB 幾美分的成本可以很快加起來(lái)。

這種信息過(guò)載的明顯答案是冷數(shù)據(jù)存儲(chǔ)替代方案,它們比用于定期訪問(wèn)的數(shù)據(jù)更便宜且容量更大。因此,公司通常選擇以下兩種解決方案之一:歷史悠久的磁帶庫(kù),或者最近的云。

磁帶庫(kù)已經(jīng)使用了幾十年,非常適合以極低的成本存儲(chǔ)大量數(shù)據(jù)。它們也可以被認(rèn)為是“綠色的”,因?yàn)榇艓?a target="_blank">驅(qū)動(dòng)器僅在使用時(shí)旋轉(zhuǎn)(這可以節(jié)省電力),并且位于內(nèi)部可以相對(duì)快速地訪問(wèn)冷數(shù)據(jù)。然而,磁帶庫(kù)也有一些缺點(diǎn),包括大中型存儲(chǔ)系統(tǒng)的前期費(fèi)用高昂、遠(yuǎn)程訪問(wèn)困難、磁帶退化的可能性以及在單個(gè)現(xiàn)場(chǎng)位置維護(hù)檔案的漏洞。而不是“數(shù)據(jù)海嘯”想想“數(shù)據(jù)”和“海嘯”)。

公司探索云存儲(chǔ)的可能性,通過(guò)提供無(wú)限的存儲(chǔ)空間、低成本以及防止盜竊、自然災(zāi)害等的遠(yuǎn)程容量,彌補(bǔ)了磁帶庫(kù)的一些疑慮。然而,云解決方案的主要特點(diǎn)是檢索數(shù)據(jù)通常非常耗時(shí),并且可能會(huì)變得昂貴,具體取決于檢索的數(shù)據(jù)量。例如,Amazon Glacier 之類的服務(wù)至少需要 3-5 小時(shí)來(lái)檢索數(shù)據(jù)集(可在 24 小時(shí)內(nèi)下載),如果在給定的數(shù)據(jù)中檢索到超過(guò) 5% 的數(shù)據(jù),則按千兆字節(jié)收費(fèi)月。

兩者的交叉點(diǎn)似乎會(huì)有所改進(jìn),并包含優(yōu)化訪問(wèn)的硬件和軟件元素,同時(shí)確保每 GB 存儲(chǔ)的成本盡可能低。

冷藏:冰上的大數(shù)據(jù)

軟件定義存儲(chǔ) (SDS) 是一個(gè)新術(shù)語(yǔ),但從技術(shù)角度來(lái)看,它類似于軟件定義網(wǎng)絡(luò) (SDN),因?yàn)橛布壿嫳怀橄鬄楣芾泶鎯?chǔ)基礎(chǔ)設(shè)施的軟件層。從本質(zhì)上講,這意味著可以虛擬化存儲(chǔ)功能或服務(wù)(如重復(fù)數(shù)據(jù)刪除、復(fù)制、快照和精簡(jiǎn)配置),從而實(shí)現(xiàn)在商用硬件上運(yùn)行的融合存儲(chǔ)架構(gòu)。因此,可以實(shí)施具有成本效益的存儲(chǔ)策略,將磁帶庫(kù)的可訪問(wèn)性和效率與云的可擴(kuò)展性和遠(yuǎn)程功能相結(jié)合。

例如,由 Storiant 提供支持的 RGS Cold Storage 是針對(duì)第 3 層數(shù)據(jù)的本地存儲(chǔ)解決方案,它基于 Avnet, Inc. 的業(yè)務(wù)部門 RGS 的現(xiàn)成硬件。機(jī)柜級(jí)設(shè)備與 60 個(gè)提供 PB 級(jí)容量的 HDD 托架完全集成,并利用基于 OpenZFS 的 Storiant 軟件(以前稱為 SageCloud)與私有云接口。Storiant 數(shù)據(jù)管理軟件還提高了訪問(wèn)性能,將處于停滯狀態(tài)的數(shù)據(jù)的檢索時(shí)間縮短至 30 秒,同時(shí)允許 HDD 在不使用時(shí)減速以顯著降低功耗??蓴U(kuò)展的 RGS 冷存儲(chǔ)架構(gòu)每月每 GB 存儲(chǔ) 0.01 美元,針對(duì)大多數(shù)大數(shù)據(jù)部署進(jìn)行了成本優(yōu)化。

雖然 SDS 等存儲(chǔ)管理技術(shù)有助于為有價(jià)值的業(yè)務(wù)分析奠定基礎(chǔ),但它們還確保財(cái)務(wù)和計(jì)算資源可用于定期執(zhí)行的“第 1 層”數(shù)據(jù)。在一個(gè)過(guò)多的信息實(shí)際上會(huì)變成一件壞事的環(huán)境中,將其中的一些信息保持在深度凍結(jié)狀態(tài)是很重要的。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 發(fā)動(dòng)機(jī)

    關(guān)注

    33

    文章

    2540

    瀏覽量

    70814
  • 物聯(lián)網(wǎng)
    +關(guān)注

    關(guān)注

    2930

    文章

    46094

    瀏覽量

    390313
  • SDS
    SDS
    +關(guān)注

    關(guān)注

    0

    文章

    50

    瀏覽量

    15982
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    更改最大數(shù)據(jù)包大小時(shí)無(wú)法識(shí)別USB設(shè)備如何解決?

    將生產(chǎn)者 EP 端點(diǎn)描述符中的最大數(shù)據(jù)包大小從 1024 字節(jié)更改為 512 字節(jié)時(shí),無(wú)法識(shí)別 USB 設(shè)備。 請(qǐng)告知如何解決這個(gè)問(wèn)題。
    發(fā)表于 05-20 08:13

    大數(shù)據(jù)與云計(jì)算是干嘛的?

    大數(shù)據(jù)與云計(jì)算是支撐現(xiàn)代數(shù)字化技術(shù)的兩大核心。大數(shù)據(jù)專注于海量數(shù)據(jù)的采集、存儲(chǔ)、分析與價(jià)值挖掘;云計(jì)算通過(guò)虛擬化資源池提供彈性計(jì)算、存儲(chǔ)及服務(wù)能力。兩者結(jié)合,共同賦能企業(yè)決策、業(yè)務(wù)創(chuàng)新和效率提升。下面UU云小編將詳細(xì)剖析
    的頭像 發(fā)表于 02-20 14:48 ?553次閱讀

    大數(shù)據(jù)云計(jì)算都需要考什么證書?

    大數(shù)據(jù)和云計(jì)算領(lǐng)域包含多種專業(yè)證書,其中大數(shù)據(jù)領(lǐng)域涵蓋數(shù)據(jù)分析類證書、大數(shù)據(jù)工程類證書、數(shù)據(jù)治理類證書。云計(jì)算領(lǐng)域領(lǐng)域涵蓋云計(jì)算技術(shù)類證書、
    的頭像 發(fā)表于 02-19 11:05 ?578次閱讀

    工程大數(shù)據(jù)平臺(tái)

    由于無(wú)人駕駛系統(tǒng)開發(fā)需要長(zhǎng)期迭代優(yōu)化,其過(guò)程需要大量的路試數(shù)據(jù)支撐,經(jīng)緯恒潤(rùn)針對(duì)無(wú)人駕駛系統(tǒng)持續(xù)運(yùn)營(yíng)和持續(xù)迭代的需求,開發(fā)并在云端部署了車路云工程大數(shù)據(jù)平臺(tái),依托5G網(wǎng)絡(luò),具有遠(yuǎn)程數(shù)據(jù)采集、壓縮、傳輸、解析、回放與算法無(wú)縫銜接等
    的頭像 發(fā)表于 01-10 17:00 ?561次閱讀
    工程<b class='flag-5'>大數(shù)據(jù)</b>平臺(tái)

    緩存對(duì)大數(shù)據(jù)處理的影響分析

    緩存對(duì)大數(shù)據(jù)處理的影響顯著且重要,主要體現(xiàn)在以下幾個(gè)方面: 一、提高數(shù)據(jù)訪問(wèn)速度 在大數(shù)據(jù)環(huán)境中,數(shù)據(jù)存儲(chǔ)通常采用分布式存儲(chǔ)系統(tǒng),數(shù)據(jù)量龐大
    的頭像 發(fā)表于 12-18 09:45 ?721次閱讀

    大數(shù)據(jù)的3V、4V、7V,到底是什么意思?

    大數(shù)據(jù),顧名思義,就是大量的數(shù)據(jù)。更專業(yè)來(lái)說(shuō),大數(shù)據(jù),是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)軟件工具能力范圍的數(shù)據(jù)集合
    的頭像 發(fā)表于 12-06 01:01 ?1160次閱讀
    <b class='flag-5'>大數(shù)據(jù)</b>的3V、4V、7V,到底是什么意思?

    ADS1675最大數(shù)據(jù)吞吐率是是多少?

    ADS1675 24bit的ADC的采樣率最大是4Msps,請(qǐng)問(wèn)這款adc的最大數(shù)據(jù)吞吐率是是多少?怎么算的,在datasheet中有明確寫出來(lái)嗎
    發(fā)表于 11-28 07:56

    raid 在大數(shù)據(jù)分析中的應(yīng)用

    RAID(Redundant Array of Independent Disks,獨(dú)立磁盤冗余陣列)在大數(shù)據(jù)分析中的應(yīng)用主要體現(xiàn)在提高存儲(chǔ)系統(tǒng)的性能、可靠性和容量上。以下是RAID在大數(shù)據(jù)分析中
    的頭像 發(fā)表于 11-12 09:44 ?688次閱讀

    人工智能云計(jì)算大數(shù)據(jù)三者關(guān)系

    人工智能、云計(jì)算與大數(shù)據(jù)之間的關(guān)系是緊密相連、相互促進(jìn)的。大數(shù)據(jù)為人工智能提供了豐富的訓(xùn)練資源和驗(yàn)證環(huán)境;云計(jì)算為大數(shù)據(jù)和人工智能提供了強(qiáng)大的支撐平臺(tái);而人工智能則通過(guò)智能化應(yīng)用推動(dòng)了大數(shù)據(jù)
    的頭像 發(fā)表于 11-06 10:03 ?970次閱讀

    智慧城市與大數(shù)據(jù)的關(guān)系

    智慧城市與大數(shù)據(jù)之間存在著密切的關(guān)系,這種關(guān)系體現(xiàn)在大數(shù)據(jù)對(duì)智慧城市建設(shè)的支撐和推動(dòng)作用,以及智慧城市產(chǎn)生的大量數(shù)據(jù)對(duì)大數(shù)據(jù)技術(shù)的應(yīng)用需求。 大數(shù)據(jù)
    的頭像 發(fā)表于 10-24 15:27 ?1260次閱讀

    云計(jì)算在大數(shù)據(jù)分析中的應(yīng)用

    云計(jì)算在大數(shù)據(jù)分析中的應(yīng)用廣泛且深入,它為用戶提供了存儲(chǔ)、計(jì)算、分析和預(yù)測(cè)的強(qiáng)大能力。以下是對(duì)云計(jì)算在大數(shù)據(jù)分析中應(yīng)用的介紹: 一、存儲(chǔ)和處理海量數(shù)據(jù) 云計(jì)算提供了強(qiáng)大的存儲(chǔ)和計(jì)算能力,可以存儲(chǔ)
    的頭像 發(fā)表于 10-24 09:18 ?1071次閱讀

    IP 地址大數(shù)據(jù)分析如何進(jìn)行網(wǎng)絡(luò)優(yōu)化?

    一、大數(shù)據(jù)分析在網(wǎng)絡(luò)優(yōu)化中的作用 1.流量分析 大數(shù)據(jù)分析可以對(duì)網(wǎng)絡(luò)中的流量進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析,了解網(wǎng)絡(luò)的使用情況和流量趨勢(shì)。通過(guò)對(duì)流量數(shù)據(jù)的分析,可以發(fā)現(xiàn)網(wǎng)絡(luò)中的瓶頸和問(wèn)題,為網(wǎng)絡(luò)優(yōu)化提供依據(jù)
    的頭像 發(fā)表于 10-09 15:32 ?536次閱讀
    IP 地址<b class='flag-5'>大數(shù)據(jù)</b>分析如何進(jìn)行網(wǎng)絡(luò)優(yōu)化?

    使用CYW20829的BLE進(jìn)行最大數(shù)據(jù)發(fā)送應(yīng)用,BLE丟失數(shù)據(jù)如何解決?

    我目前正在使用 CYW20829 的 BLE 進(jìn)行最大數(shù)據(jù)發(fā)送應(yīng)用,我使用的是 FREERTOS(例程 Bluetooth_LE_GATT_Throughput_Server 是我的參考),藍(lán)牙被
    發(fā)表于 07-23 07:56

    大數(shù)據(jù)在軍事方面的應(yīng)用

    智慧華盛恒輝大數(shù)據(jù)在軍事方面的應(yīng)用廣泛且深入,涵蓋了戰(zhàn)爭(zhēng)決策、情報(bào)分析、裝備研發(fā)、后勤保障、科研方法、管理水平、作戰(zhàn)能力和信息化建設(shè)等多個(gè)方面。以下是對(duì)這些應(yīng)用的詳細(xì)歸納: 智慧華盛恒輝一、戰(zhàn)爭(zhēng)決策
    的頭像 發(fā)表于 07-16 09:44 ?1742次閱讀

    大數(shù)據(jù)采集系統(tǒng)分為幾類

    大數(shù)據(jù)采集系統(tǒng)是大數(shù)據(jù)生態(tài)系統(tǒng)中的重要組成部分,它負(fù)責(zé)從各種數(shù)據(jù)源收集、整合和存儲(chǔ)數(shù)據(jù)。根據(jù)不同的數(shù)據(jù)源、采集方法和應(yīng)用場(chǎng)景,
    的頭像 發(fā)表于 07-01 15:44 ?2285次閱讀