深度學(xué)習(xí)、機器學(xué)習(xí)、人工智能——這些流行詞皆代表了分析學(xué)的未來。在這篇文章中，我們將通過一些真實世界的案例來解釋什么是機器學(xué)習(xí)和深度學(xué)習(xí)。在以后的文章中，我們將探索垂直用例。這樣做的目的不是要把你變成一個數(shù)據(jù)科學(xué)家，而是讓你更好地理解你可以用機器學(xué)習(xí)做什么。開發(fā)人員能越來越容易地使用機器學(xué)習(xí)，數(shù)據(jù)科學(xué)家時常與領(lǐng)域?qū)＜?、架?gòu)師、開發(fā)人員和數(shù)據(jù)工程師一起工作，因此，詳細了解機器學(xué)習(xí)的可能性對每個人來說都很重要。你的業(yè)務(wù)產(chǎn)生的每一條信息都有增加價值的潛力。這篇和以后的文章旨在激發(fā)你對自己數(shù)據(jù)的回顧，以發(fā)現(xiàn)新的機會。

什么是人工智能？

縱觀人工智能的歷史，其定義被不斷重寫。人工智能是一個概括性術(shù)語（這個概念始于50年代）;機器學(xué)習(xí)是AI的子集，而深度學(xué)習(xí)又是機器學(xué)習(xí)的子集。

1985年，當(dāng)我還是美國國家安全局的實習(xí)生時，人工智能也是一個非常熱門的話題。在美國國家安全局，我甚至上了一節(jié)麻省理工關(guān)于人工智能專家系統(tǒng)的視頻課程。專家系統(tǒng)在規(guī)則引擎中捕獲專家的知識。規(guī)則引擎在金融和醫(yī)療保健等行業(yè)中有廣泛的應(yīng)用，最近更是用于事件處理，但是當(dāng)數(shù)據(jù)發(fā)生變化時，規(guī)則的更新和維護會變得異常困難。機器學(xué)習(xí)的優(yōu)勢在于從數(shù)據(jù)中學(xué)習(xí)，并且可以提供數(shù)據(jù)驅(qū)動的概率預(yù)測。

在過去10年里，分析學(xué)發(fā)生了怎樣的變化？

根據(jù)《哈佛商業(yè)評論》的托馬斯?達文波特，分析技術(shù)過去十年里發(fā)生了翻天覆地的變化，跨商用服務(wù)器功能更強大、成本更低的分布式計算，流媒體分析、改進的機器學(xué)習(xí)技術(shù)，都使企業(yè)能夠存儲和分析更多的、不同類型的數(shù)據(jù)。

類似Apache Spark這樣的技術(shù)使用迭代算法，通過在內(nèi)存中跨迭代緩存數(shù)據(jù)并使用更輕量級的線程，進一步加速了分布式數(shù)據(jù)的并行處理。

圖形處理單元（GPUs）加快了多核服務(wù)器的并行處理速度。GPU擁有一個由數(shù)千個更小、更高效的核心組成的大規(guī)模并行架構(gòu)，這些核心專門設(shè)計用于同時處理多任務(wù)，而CPU由幾個為順序串行處理而優(yōu)化的核心組成。就潛在的性能而言，從Cray -1進化到如今擁有大量GPU的集群，其性能提升大約是曾經(jīng)世界上最快計算機的100萬倍，而成本卻只有其極小一部分。

什么是機器學(xué)習(xí)？

機器學(xué)習(xí)使用算法在數(shù)據(jù)中發(fā)現(xiàn)模式，然后使用一個能識別這些模式的模型對新的數(shù)據(jù)進行預(yù)測。

一般來說，機器學(xué)習(xí)可以分為三種類型：監(jiān)督型、非監(jiān)督型、介于兩者之間。監(jiān)督學(xué)習(xí)算法使用標記數(shù)據(jù)，而非監(jiān)督學(xué)習(xí)算法在未標記數(shù)據(jù)中發(fā)現(xiàn)模式。半監(jiān)督學(xué)習(xí)使用標記數(shù)據(jù)和未標記數(shù)據(jù)的混合。強化學(xué)習(xí)訓(xùn)練算法在反饋的基礎(chǔ)上最大化獎勵。

監(jiān)督學(xué)習(xí)

監(jiān)督算法使用標記數(shù)據(jù)，這些數(shù)據(jù)的輸入和目標的結(jié)果或標簽都會提供給算法。

監(jiān)督學(xué)習(xí)也被稱為預(yù)測建模或預(yù)測分析，因為你建立了一個能夠做出預(yù)測的模型。預(yù)測建模的一些例子是分類和回歸。分類根據(jù)已知項的已標記示例（例如，已知是否為欺詐的交易）來識別一個項屬于哪個類別（例如，某交易是否為欺詐）。邏輯回歸預(yù)測了一個概率——例如，欺詐的概率。線性回歸預(yù)測一個數(shù)值——例如，欺詐的數(shù)量。

一些分類的例子包括：

信用卡欺詐檢測（欺詐，不是欺詐）。

信用卡申請（良好信用，不良信用）。

垃圾郵件檢測（垃圾郵件，不是垃圾郵件）。

文字情緒分析（快樂，不快樂）。

預(yù)測患者風(fēng)險（高風(fēng)險患者、低風(fēng)險患者）。

惡性或非惡性腫瘤的分類。

邏輯回歸（或其他算法）的一些例子包括：

根據(jù)歷史汽車保險欺詐性索賠以及這些索賠的特征，例如索賠人的年齡、索賠金額、事故嚴重程度等，預(yù)測欺詐發(fā)生的概率。

給定患者特征，預(yù)測充血性心力衰竭的概率。

So線性回歸的一些例子包括：

根據(jù)歷史汽車保險欺詐性索賠以及這些索賠的特征，如索賠人的年齡、索賠金額、事故的嚴重程度等，預(yù)測欺詐金額。

根據(jù)歷史房地產(chǎn)銷售價格和房屋特征（如平方英尺，臥室數(shù)量，位置），預(yù)測房子的價格。

根據(jù)歷史上的社區(qū)犯罪統(tǒng)計，預(yù)測犯罪率。

這里還有其他的監(jiān)督和非監(jiān)督學(xué)習(xí)算法，我們不會一一介紹，但我們會詳細介紹每類中的一個。

分類示例 ：借記卡詐騙

分類選用一組具有已知標簽和預(yù)先確定特性的數(shù)據(jù)，并學(xué)習(xí)如何根據(jù)這些信息標記新數(shù)據(jù)。特性是你問的“是否”問題。標簽就是這些問題的答案。

讓我們看一個借記卡詐騙的示例。

我們想要預(yù)測什么？

某一筆借記卡交易是否為欺詐。

欺詐是標簽（對或錯）。

你可以用來進行預(yù)測的“ 是否 ”問題或?qū)傩允鞘裁矗?/p>

今天花費的金額是否大于歷史平均水平？

今天的這些交易是否在多個國家？

今天的交易數(shù)量是否大于歷史平均水平？

今天的新商戶類型與過去三個月相比是否較高？

今天是否在多個帶有風(fēng)險類別代碼的商家處購買？

今天是否有不尋常的簽名與以往使用PIN相比？

與過去三個月相比，是否有新的購買行為？

與過去三個月相比，現(xiàn)在是否有國外購買？

要構(gòu)建分類器模型，你需要提取對分類最有貢獻的有用特性。

決策樹

決策樹創(chuàng)建一個基于輸入特征預(yù)測類或標簽的模型。它的工作原理在于評估每個節(jié)點上包含一個特征的問題，然后根據(jù)答案選擇到下一個節(jié)點的分支。預(yù)測借記卡欺詐的可能決策樹如下所示。特性問題是節(jié)點，答案“是”或“否”是樹中到子節(jié)點的分支。（注意，真正的樹會有更多的節(jié)點。）

問題一：24小時內(nèi)的花費是否大于平均？

是

問題2：今天是否有多筆交易來自高風(fēng)險的商家？

是欺詐概率 = 90%

非欺詐概率 = 50%

決策樹很受歡迎，因為它們易于可視化和解釋。將算法與集成方法相結(jié)合，可以提高模型的精度。一個集成例子是一個隨機森林算法，它結(jié)合了決策樹的多個隨機子集。

無監(jiān)督學(xué)習(xí)

無監(jiān)督學(xué)習(xí)，有時也被稱為描述分析，沒有預(yù)先提供的標記數(shù)據(jù)。這些算法發(fā)現(xiàn)輸入數(shù)據(jù)中的相似性或規(guī)律。無監(jiān)督學(xué)習(xí)的一個例子是基于購買數(shù)據(jù)對相似的客戶進行分組。

聚類

在聚類中，一個算法通過分析輸入實例之間的相似性將它們分類。一些聚類用例包括：

搜索結(jié)果分組。

分組相似客戶。

分組相似病人。

文本分類。

網(wǎng)絡(luò)安全異常檢測（發(fā)現(xiàn)不相似之處，集群中的異常值）。

K均值算法將數(shù)據(jù)分組到K個集群中，每個數(shù)據(jù)都屬于離其集群中心均值最近的集群。

聚類的一個例子是，一個公司希望細分其客戶，以便更好地定制產(chǎn)品和服務(wù)?？蛻艨梢砸罁?jù)比如人口統(tǒng)計和購買歷史記錄等特征被分組。為了得到更有價值的結(jié)果，無監(jiān)督學(xué)習(xí)的聚類常常與有監(jiān)督學(xué)習(xí)相結(jié)合。例如，在這個banking customer 360用例中，首先根據(jù)問卷答案對客戶進行細分。接著對客戶群體進行分析，并標上用戶畫像。然后，這些標簽通過客戶ID與賬戶類型和購買內(nèi)容等特性進行鏈接。最后，我們在被標簽的客戶身上應(yīng)用了監(jiān)督機器學(xué)習(xí)，允許將調(diào)查用戶畫像與他們的銀行行為聯(lián)系起來，以提供深入的見解。

深度學(xué)習(xí)

深度學(xué)習(xí)用來稱呼多層神經(jīng)網(wǎng)絡(luò)，它是由輸入和輸出之間的節(jié)點“隱含層”組成的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)有許多變種，你可以在這個神經(jīng)網(wǎng)絡(luò)備忘單上了解更多。改進的算法、GPUs和大規(guī)模并行處理（MPP）使得具有數(shù)千層的神經(jīng)網(wǎng)絡(luò)成為可能。每個節(jié)點接受輸入數(shù)據(jù)和一個權(quán)重，然后向下一層的節(jié)點輸出一個置信值，直到到達輸出層，計算出該置信值的誤差。通過在一個叫做梯度下降的過程中進行反向傳播，誤差會再次通過網(wǎng)絡(luò)發(fā)送回來，并調(diào)整權(quán)值來改進模型。這個過程重復(fù)了數(shù)千次，根據(jù)產(chǎn)生的誤差調(diào)整模型的權(quán)值，直到誤差不無法再減少為止。

在此過程中，各層學(xué)習(xí)模型的最優(yōu)特征，其優(yōu)點是特征不需要預(yù)先確定。然而，這也意味著一個缺點，即模型的決策是不可解釋的。由于解釋決策可能很重要，研究人員正在開發(fā)新的方法來理解深度學(xué)習(xí)這個黑盒子。
責(zé)編AJX