今天開(kāi)始，我打算寫(xiě)寫(xiě)機(jī)器學(xué)習(xí)教程。說(shuō)實(shí)話，相比爬蟲(chóng)，掌握機(jī)器學(xué)習(xí)更實(shí)用競(jìng)爭(zhēng)力也更強(qiáng)些。

目前網(wǎng)上大多這類教程對(duì)新手都不友好，要么直接調(diào)用 Sklearn 包，要么滿篇抽象枯燥的算法公式文字，看這些教程你很難入門，而真正適合入門的手寫(xiě) Python 代碼教程寥寥無(wú)幾。最近看了慕課網(wǎng) bobo 老師的機(jī)器學(xué)習(xí)課程后，大呼過(guò)癮，最好的機(jī)器學(xué)習(xí)教程沒(méi)有之一。我打算以他的教程為基礎(chǔ)并結(jié)合自己的理解，從零開(kāi)始更新機(jī)器學(xué)習(xí)系列推文。

第一篇推文先不扯諸如什么是機(jī)器學(xué)習(xí)、機(jī)器學(xué)習(xí)有哪些算法這些總結(jié)性的文章，在你沒(méi)有真正知道它是什么之前，這些看了也不會(huì)有印象反而會(huì)增加心理負(fù)荷。

所以我將長(zhǎng)驅(qū)直入直接從一個(gè)算法實(shí)戰(zhàn)開(kāi)始，就像以前爬蟲(chóng)教程一樣，當(dāng)你真正感受到它的趣味性后，才會(huì)有想去學(xué)它的欲望。

下面就從一個(gè)場(chǎng)景故事開(kāi)始。

01 場(chǎng)景代入

在一個(gè)酒吧里，吧臺(tái)上擺著十杯幾乎一樣的紅酒，老板跟你打趣說(shuō)想不想來(lái)玩?zhèn)€游戲，贏了免費(fèi)喝酒，輸了付 3 倍酒錢，贏的概率有 50%。你是個(gè)愛(ài)冒險(xiǎn)的人，果斷說(shuō)玩。

老板接著道：你眼前的這十杯紅酒，每杯略不相同，前五杯屬于「赤霞珠」，后五杯屬于「黑皮諾」?，F(xiàn)在，我重新倒一杯酒，你只需要根據(jù)剛才的十杯正確地告訴我它屬于哪一類。

聽(tīng)完你有點(diǎn)心虛：根本不懂酒啊，光靠看和嘗根本區(qū)分辨不出來(lái)，不過(guò)想起自己是搞機(jī)器學(xué)習(xí)的，不由多了幾分底氣爽快地答應(yīng)了老板。

你沒(méi)有急著品酒而是問(wèn)了老板每杯酒的一些具體信息：酒精濃度、顏色深度等，以及一份紙筆。老板一邊倒一杯新酒，你邊瘋狂打草稿。很快，你告訴老板這杯新酒應(yīng)該是「赤霞珠」。

老板瞪大了眼下巴也差點(diǎn)驚掉，從來(lái)沒(méi)有人一口酒都不嘗就能答對(duì)，無(wú)數(shù)人都是反復(fù)嘗來(lái)嘗去，最后以猶豫不定猜錯(cuò)而結(jié)束。你神秘地笑了笑，老板信守承諾讓你開(kāi)懷暢飲。微醺之時(shí)，老板終于忍不住湊向你打探是怎么做到的。

你炫耀道：無(wú)他，但機(jī)器學(xué)習(xí)熟爾。

02 kNN 算法介紹

接下來(lái)，我們就要從這個(gè)故事中開(kāi)始接觸機(jī)器學(xué)習(xí)了，機(jī)器學(xué)習(xí)給很多人的感覺(jué)就是「難」，所以我編了上面這個(gè)故事，就是要引出機(jī)器學(xué)習(xí)的一個(gè)最簡(jiǎn)單算法：kNN 算法（K-Nearest Neighbor），也叫 K 近鄰算法。

別被「算法」二字嚇到，我保證你只要有高中數(shù)學(xué)加上一點(diǎn)點(diǎn) Python 基礎(chǔ)就能學(xué)會(huì)這個(gè)算法。

學(xué)會(huì) kNN 算法，只需要三步：

了解 kNN 算法思想

掌握它背后的數(shù)學(xué)原理（別怕，你初中就學(xué)過(guò)）

最后用簡(jiǎn)單的 Python 代碼實(shí)現(xiàn)

在說(shuō) kNN 算法前說(shuō)兩個(gè)概念：樣本和特征。

上面的每一杯酒稱作一個(gè)「樣本」，十杯酒組成一個(gè)樣本集。酒精濃度、顏色深度等信息叫作「特征」。這十杯酒分布在一個(gè)多維特征空間中。說(shuō)到空間，我們最多能感知三維空間，為了理解方便，我們假設(shè)區(qū)分赤霞珠和黑皮諾，只需利用：酒精濃度和顏色深度兩個(gè)特征值。這樣就能在二維坐標(biāo)軸來(lái)直觀展示。

橫軸是酒精濃度值，縱軸是顏色深度值。十杯酒在坐標(biāo)軸上形成十個(gè)點(diǎn)，綠色的 5 個(gè)點(diǎn)代表五杯赤霞珠，紅色的 5 個(gè)點(diǎn)代表五杯黑皮諾?？梢钥吹絻深惥朴忻黠@的界限。老板新倒的一杯酒是圖中黃色的點(diǎn)。

記得我們的問(wèn)題么？要確定這杯酒是赤霞珠還是黑皮諾，答案顯而易見(jiàn)，通過(guò)主觀距離判斷它應(yīng)該屬于赤霞珠。

這就用到了 K 近鄰算法思想。該算法首先需要取一個(gè)參數(shù) K，機(jī)器學(xué)習(xí)中給的經(jīng)驗(yàn)取值是 3，我們假設(shè)先取 3 ，具體取多少以后再研究。對(duì)于每個(gè)新來(lái)的點(diǎn)，K 近鄰算法做的事情就是在所有樣本點(diǎn)中尋找離這個(gè)新點(diǎn)最近的三個(gè)點(diǎn)，統(tǒng)計(jì)三個(gè)點(diǎn)所屬類別然后投票統(tǒng)計(jì)，得票數(shù)最多的類別就是新點(diǎn)的類別。

上圖有綠色和紅色兩個(gè)類別。離黃色最近的 3 個(gè)點(diǎn)都是綠點(diǎn)，所以綠色和紅色類別的投票數(shù)是 3:0 ，綠色取勝，所以黃色點(diǎn)就屬于綠色，也就是新的一杯就屬于赤霞珠。

這就是 K 近鄰算法，它的本質(zhì)就是通過(guò)距離判斷兩個(gè)樣本是否相似，如果距離夠近就覺(jué)得它們相似屬于同一個(gè)類別。當(dāng)然只對(duì)比一個(gè)樣本是不夠的，誤差會(huì)很大，要比較最近的 K 個(gè)樣本，看這 K 個(gè) 樣本屬于哪個(gè)類別最多就認(rèn)為這個(gè)新樣本屬于哪個(gè)類別。

是不是很簡(jiǎn)單？

再舉一例，老板又倒了杯酒讓你再猜，你可以在坐標(biāo)軸中畫(huà)出它的位置。離它最近的三個(gè)點(diǎn)，是兩個(gè)紅點(diǎn)和一個(gè)綠點(diǎn)。紅綠比例是 2:1，紅色勝出，所以 K 近鄰算法告訴我們這杯酒大概率是黑皮諾。

可以看到 K 近鄰算法就是通過(guò)距離來(lái)解決分類問(wèn)題。這里我們解決的二分類問(wèn)題，事實(shí)上 K 近鄰算法天然適合解決多分類問(wèn)題，除此之外，它也適合解決回歸問(wèn)題，之后一一細(xì)講。

02 數(shù)學(xué)理論

K 近鄰算法基本思想我們知道了，來(lái)看看它背后的數(shù)學(xué)原理。該算法的「距離」在二維坐標(biāo)軸中就是兩點(diǎn)之間的距離，計(jì)算距離的公式有很多，一般常用歐拉公式，這個(gè)我們中學(xué)就學(xué)過(guò)：

解釋下就是：空間中 m 和 n 兩個(gè)點(diǎn)，它們的距離等于 x y 兩坐標(biāo)差的平方和再開(kāi)根。

如果在三維坐標(biāo)中，多了個(gè) z 坐標(biāo)，距離計(jì)算公式也相同：

當(dāng)特征數(shù)量有很多個(gè)形成多維空間時(shí)，再用 x y z 寫(xiě)就不方便，我們換一個(gè)寫(xiě)法，用 X 加下角標(biāo)的方式表示特征維度，這樣 n 維 空間兩點(diǎn)之間的距離公式可以寫(xiě)成：

公式還可以進(jìn)一步精簡(jiǎn)：

這就是 kNN 算法的數(shù)學(xué)原理，不難吧？

只要計(jì)算出新樣本點(diǎn)與樣本集中的每個(gè)樣本的坐標(biāo)距離，然后排序篩選出距離最短的 3 個(gè)點(diǎn)，統(tǒng)計(jì)這 3 個(gè)點(diǎn)所屬類別，數(shù)量占多的就是新樣本所屬的酒類。

根據(jù)歐拉公式，我們可以用很基礎(chǔ)的 Python 實(shí)現(xiàn)。

03 Python 代碼實(shí)現(xiàn)

首先隨機(jī)設(shè)置十個(gè)樣本點(diǎn)表示十杯酒，我這里取了 Sklearn 中的葡萄酒數(shù)據(jù)

集的部分樣本點(diǎn)，這個(gè)數(shù)據(jù)集在之后的算法中會(huì)經(jīng)常用到會(huì)慢慢介紹。

1import numpy as np 2X_raw = ［［14.23， 5.64］， 3 ［13.2 ， 4.38］， 4 ［13.16， 5.68］， 5 ［14.37， 4.80 ］， 6 ［13.24， 4.32］， 7 ［12.07， 2.76］， 8 ［12.43， 3.94］， 9 ［11.79， 3. ］，10 ［12.37， 2.12］，11 ［12.04， 2.6 ］］1213y_raw = ［0， 0， 0， 0， 0， 1， 1， 1， 1， 1］

X_raw 的兩列值分別是顏色深度和酒精濃度值，y_raw 中的 0 表示黑皮諾，1 表示赤霞珠。

新的一杯酒信息：

1x_test = np.array（［12.8，4.1］）

在機(jī)器學(xué)習(xí)中常使用 numpy 的 array 數(shù)組而不是列表 list，因?yàn)?array 速度快也能執(zhí)行向量運(yùn)算，所以在運(yùn)算之前先把上面的列表轉(zhuǎn)為數(shù)組：

1X_train = np.array（X_raw）2y_train = np.array（y_raw）

有了 X Y 坐標(biāo)就可以繪制出第一張散點(diǎn)圖：

1import matplotlib.pyplot as plt 2plt.style.use（‘ggplot’） 3plt.figure（figsize=（10，6）） 4 5plt.scatter（X_train［y_train==1，0］，X_train［y_train==1，1］，s=100，color=color_g，label=‘赤霞珠’） 6plt.scatter（X_train［y_train==0，0］，X_train［y_train==0，1］，s=100，color=color_r，label=‘黑皮諾’） 7plt.scatter（x_test2［0］，x_test2［1］，s=100，color=color_y） # x_test 8 9plt.xlabel（‘酒精濃度’）10plt.ylabel（‘顏色深度’）11plt.legend（loc=‘lower right’）1213plt.tight_layout（）14plt.savefig（‘葡萄酒樣本.png’）

接著，根據(jù)歐拉公式計(jì)算黃色的新樣本點(diǎn)到每個(gè)樣本點(diǎn)的距離：

1from math import sqrt 2distances = ［sqrt（np.sum（（x - x_test）**2）） for x in X_train］ # 列表推導(dǎo)式 3distances 4 5［out］： 6［1.7658142597679973， 7 1.5558920271021373， 8 2.6135799203391503， 9 1.9784084512557052，10 1.5446682491719705，11 0.540092584655631，12 0.7294518489934753，13 0.4172529209005018，14 1.215113163454334，15 0.7011419257183239］

上面用到了列表生成式，以前的爬蟲(chóng)教程中經(jīng)常用到，如果不熟悉可以在公眾號(hào)搜索「列表生成式」關(guān)鍵字復(fù)習(xí)。

這樣就計(jì)算出了黃色點(diǎn)到每個(gè)樣本點(diǎn)的距離，接著找出最近的 3 個(gè)點(diǎn)，可以使用 np.argsort 函數(shù)返回樣本點(diǎn)的索引位置：

1sort = np.argsort（distances）2sort34［out］：array（［7， 5， 9， 6， 8， 4， 1， 0， 3， 2］， dtype=int64）

通過(guò)這個(gè)索引值就能在 y_train 中找到對(duì)應(yīng)酒的類別，再統(tǒng)計(jì)出排名前 3 的就行了：

1K = 3 2topK = ［y_train［i］ for i in sort［：K］］3topK45［out］：［1， 1， 1］

可以看到距離黃色點(diǎn)最近的 3 個(gè)點(diǎn)都是綠色的赤霞珠，與剛才肉眼觀測(cè)的結(jié)果一致。

到這里，距離輸出黃色點(diǎn)所屬類別只剩最后一步，使用 Counter 函數(shù)統(tǒng)計(jì)返回類別值即可：

1from collections import Counter2votes = Counter（topK）3votes4［out］：Counter（{1： 3}）56predict_y = votes.most_common（1）［0］［0］7predict_y8［out］：1

最后的分類結(jié)果是 1 ，也就是新的一杯酒是赤霞珠。

我們使用 Python 手寫(xiě)完成了一個(gè)簡(jiǎn)易的 kNN 算法，是不是不難？

如果覺(jué)得難，來(lái)看一個(gè)更簡(jiǎn)單的方法：調(diào)用 sklearn 庫(kù)中的 kNN 算法，俗稱調(diào)包，只要 5 行代碼就能得到同樣的結(jié)論。

04 sklearn 調(diào)包

1from sklearn.neighbors import KNeighborsClassifier 2kNN_classifier = KNeighborsClassifier（n_neighbors=3）3kNN_classifier.fit（X_train，y_train ）4x_test = x_test.reshape（1，-1）5kNN_classifier.predict（x_test）［0］67［out］：1

首先從 sklearn 中引入了 kNN 的分類算法函數(shù) KNeighborsClassifier 并建立模型，設(shè)置最近的 K 個(gè)樣本數(shù)量 n_neighbors 為 3。接下來(lái) fit 訓(xùn)練模型，最后 predict 預(yù)測(cè)模型得到分類結(jié)果 1，和我們剛才手寫(xiě)的代碼結(jié)果一樣的。

你可以看到，sklearn 調(diào)包雖然簡(jiǎn)單，不過(guò)作為初學(xué)者最好是懂得它背后的算法原理，然后用 Python 代碼親自實(shí)現(xiàn)一遍，這樣入門機(jī)器學(xué)習(xí)才快。