01 大數(shù)據(jù)概念

數(shù)據(jù)發(fā)展推動科技進步，海量數(shù)據(jù)給數(shù)據(jù)分析帶來了新的機遇和挑戰(zhàn)。大數(shù)據(jù)是一種強大到在獲取、存儲、管理、分析方面遠遠超出傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和較低的價值密度這四大特征。

于是，我們需要新的處理模式來實現(xiàn)更強的數(shù)據(jù)處理能力以應對多樣化的信息資產(chǎn)。

大數(shù)據(jù)技術追求的不是精確性的樣本數(shù)據(jù)，而是面向全體的數(shù)據(jù)，這部分數(shù)據(jù)可能是不精確的、非結構化的，但大數(shù)據(jù)技術正是利用這些之前未被利用的數(shù)據(jù)，創(chuàng)造新的價值。

從海量數(shù)據(jù)中獲得的數(shù)據(jù)處理結果可能是超乎我們的認知邏輯的，但是我們并不需要理解結果背后的因果關系。簡言之，我們需要用相關思維替代因果思維。

02 大數(shù)據(jù)核心技術

大數(shù)據(jù)在信息系統(tǒng)的生命周期中，從數(shù)據(jù)源到最終產(chǎn)生有價值的可視化信息，主要經(jīng)歷6個步驟，分別是數(shù)據(jù)收集、數(shù)據(jù)存儲、資源管理與服務協(xié)調(diào)、計算框架確定、數(shù)據(jù)分析和數(shù)據(jù)可視化，此過程涵蓋了海量分布式系統(tǒng)、數(shù)據(jù)庫、并行計算框架、數(shù)據(jù)挖掘等方面的技術。

圖2-1羅列了大數(shù)據(jù)技術中各個步驟目前所對應的主流技術體系，大數(shù)據(jù)的相關技術日新月異、層出不窮，由于篇幅限制，不再一一列舉。

▲圖2-1 大數(shù)據(jù)的主流技術體系

03 大數(shù)據(jù)特點

大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和較低的價值密度這四大特征，下面將分別進行詳細闡述。

1. 海量的數(shù)據(jù)規(guī)模（Volume）

大數(shù)據(jù)所采集、存儲和計算的數(shù)據(jù)規(guī)模都非常大。隨著互聯(lián)網(wǎng)的廣泛應用，使用互聯(lián)網(wǎng)的人和企業(yè)等增多，數(shù)據(jù)的創(chuàng)造者變多，數(shù)據(jù)量呈幾何級增長。近年來，隨著數(shù)據(jù)維度變多、數(shù)據(jù)類型增加、數(shù)據(jù)的描述能力增強，數(shù)據(jù)可以傳達的信息也越來越多，越來越準確。

2. 快速的數(shù)據(jù)流轉（Velocity）

大數(shù)據(jù)不僅增長速度快，處理速度也快，有很強的時效性。在信息時代，人成為網(wǎng)絡的核心，每個人每天都在制造新的數(shù)據(jù)，這些數(shù)據(jù)再被相應的機構如政府、互聯(lián)網(wǎng)企業(yè)、銀行、電信運營商等收集，形成了一個個龐大的數(shù)據(jù)體系。

面對如此龐大的數(shù)據(jù)體系，處理數(shù)據(jù)并得到結果的速度越快，數(shù)據(jù)的時效性就越強，價值就越高——而大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)挖掘最大的區(qū)別也在于此，大數(shù)據(jù)更強調(diào)數(shù)據(jù)處理的實時性和時效性。

3. 多樣的數(shù)據(jù)類型（Variety）

大數(shù)據(jù)的種類和來源多樣化，多樣的數(shù)據(jù)為數(shù)據(jù)處理帶來了挑戰(zhàn)。在數(shù)據(jù)結構上，大數(shù)據(jù)可以分為結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù);在具體形式上，大數(shù)據(jù)可以分為視頻、音頻、圖像、博客、社交網(wǎng)絡、互聯(lián)網(wǎng)搜索等。大數(shù)據(jù)迎接的挑戰(zhàn)就是要針對這些結構不一、形式多樣的數(shù)據(jù)，挖掘其中的相關性。而這些前所未有的、來自各個領域的、不同形式的數(shù)據(jù)，賦予了大數(shù)據(jù)強大的威力。

4. 較低的價值密度（Value）

大數(shù)據(jù)的價值密度相對較低。數(shù)據(jù)的價值密度和數(shù)據(jù)的規(guī)模呈反相關，數(shù)據(jù)的規(guī)模越大，數(shù)據(jù)的價值密度越低。大數(shù)據(jù)最大的價值即在于從大量低價值密度數(shù)據(jù)中挖掘出對分析和預測等有價值的信息。

相較于傳統(tǒng)數(shù)據(jù)挖掘利用結構化的數(shù)據(jù)類型，大數(shù)據(jù)把目光也投向了非結構化的、非抽樣的、包含全體的數(shù)據(jù)類型。這為大數(shù)據(jù)帶來了更多的有效信息，但同時也增加了大量無價值的甚至是錯誤的信息。

04 大數(shù)據(jù)的通用應用

大數(shù)據(jù)已經(jīng)滲透到了全世界市場中的各個領域，彰顯著巨大的價值，其在各個領域的詳細應用情況如下。

1. 金融領域

大數(shù)據(jù)在金融領域應用廣泛，如針對個人的信貸風險評估，銀行根據(jù)用戶的刷卡、轉賬、微信評論等數(shù)據(jù)有針對性地推送廣告;理財軟件通過大數(shù)據(jù)為客戶有針對性地推薦理財產(chǎn)品?？偨Y來說，大數(shù)據(jù)在金融領域的應用可以概括為精準營銷、風險控制、效率提升、決策支持。

2. 醫(yī)療領域

醫(yī)療行業(yè)擁有大量的病例、檢測記錄、藥物記錄、治療結果記錄等，這些數(shù)據(jù)中蘊含著巨大的價值，如果可以加以利用，將對醫(yī)療界產(chǎn)生不可估量的影響。疾病確診和因人而異的治療方案設定是醫(yī)療領域的重大問題，大數(shù)據(jù)可以幫助建立針對疾病特點、病人狀況以及治療方案的數(shù)據(jù)庫，為人類健康貢獻巨大的力量。

3. 生物領域

各國研究人員正如火如荼地推進著人類基因組計劃，這促進了生物數(shù)據(jù)的爆發(fā)式增長?；驒z測可以幫助人們對自己現(xiàn)在的以及未來的健康狀況有更深刻、全面的認識，甚至可以幫助父母在寶寶出生前就對其健康狀況進行檢測。因此，人類基因組計劃是未來人類戰(zhàn)勝疾病的重要工具。

大數(shù)據(jù)可以整合已有的人類基因的檢測結果并進行分析，加速人類基因組研究的進程。

4. 零售領域

零售行業(yè)可以利用大數(shù)據(jù)了解顧客的消費偏好和趨勢，用以商品的精準營銷和相關產(chǎn)品的精準推銷，降低運營成本，提高進貨管理和過期產(chǎn)品管理效率。大數(shù)據(jù)可以幫助零售商預測消費者需求趨勢，更高效地提高供應鏈滿足需求的能力。對大數(shù)據(jù)帶來的潛在信息的挖掘和有效利用，將成為未來零售領域的必爭之地。

5. 電商領域

電商行業(yè)的數(shù)據(jù)集中、數(shù)據(jù)規(guī)模大，可以利用大數(shù)據(jù)在很多方面進行有效信息的分析提取，如用戶消費趨勢、地域消費特點等。

電商領域中的大數(shù)據(jù)應用已經(jīng)頗具規(guī)模，電商也是最早利用大數(shù)據(jù)進行精準營銷的行業(yè)。電商可以根據(jù)顧客消費習慣提前備貨以提高商品送達效率，還可以通過對客戶瀏覽、收藏、加入購物車和購買記錄等數(shù)據(jù)的分析，對用戶進行有效的商品推薦，提高銷量。
責編AJX