這是一本只有100頁，任何只要有基礎數(shù)學知識的人都能看懂的機器學習書籍。本書將涵蓋非監(jiān)督學習和監(jiān)督學習、包括神經(jīng)網(wǎng)絡，以及計算機科學、數(shù)學和統(tǒng)計學中最重要的一些機器學習問題。

一本100頁的機器學習書籍近日大受好評。

書名The Hundred-Page Machine Learning Book，作者Andriy Burkov是Gartner的機器學習團隊leader，人工智能專業(yè)PhD，有近20年各種計算項目的工作經(jīng)驗。

作者表示，他的目標是寫一本任何有基礎數(shù)學知識的人都能看懂的機器學習書籍。

這本書的前5章已經(jīng)在該書的配套網(wǎng)站上公開。這本書將涵蓋非監(jiān)督學習和監(jiān)督學習，包括神經(jīng)網(wǎng)絡，以及計算機科學、數(shù)學和統(tǒng)計學中最重要的一些ML問題，并通過例子提供直觀的解釋。代碼和數(shù)據(jù)也將在網(wǎng)站上公開。

作者相信一本書應該“先讀后買”，不僅可以免費下載已公開的章節(jié)，你也可以在這里訂閱即將出版的章節(jié)：

http://themlbook.com/wiki/doku.php

已發(fā)布章節(jié)：

第1章：簡介

第一部分：監(jiān)督學習

第2章：符號和定義

第3章：基本算法

第4章：剖析學習算法

第5章：基本實踐

以下是試讀：第3章：基本算法

試讀：第3章：基本算法

在本章中，我們描述了五種算法，這些算法不僅是最著名的，而且要么自身非常有效，要么被用作最有效的學習算法的構(gòu)建塊。

3.1 線性回歸

線性回歸是一種常用的回歸學習算法，它學習的模型是輸入示例特征的線性組合。

問題陳述

我們有一個標記示例的集合，其中N是集合的大小，是示例i = 1的D維特征向量，是一個實值目標(也是一個實數(shù)。

我們想要建立一個模型作為示例x的特征的線性組合：

其中w是參數(shù)的D維向量，b*是實數(shù)，wx是點積。符號表示模型f由兩個值參數(shù)化：w和b。

圖1：一維示例的線性回歸。

3.2 邏輯回歸

首先要說的是邏輯回歸不是回歸，而是一個分類學習算法。這個名稱來自統(tǒng)計學，因為邏輯回歸的數(shù)學公式與線性回歸的數(shù)學公式相似。

我們將在二元分類的情況下解釋邏輯回歸。但它也可以擴展到多元分類。

問題陳述

在邏輯回歸中，我們?nèi)匀幌Ｍ麑⑦@樣的特征的線性組合是從負無窮大到正無窮大的函數(shù)，而只有兩個可能的值。

在沒有計算機的年代，科學家們不得不手工進行計算，他們非常想找到一個線性分類模型。他們發(fā)現(xiàn)如果將負標簽定義為0，將正標簽定義為1，就只需要找到一個codomain為(0,1）的簡單連續(xù)函數(shù)。在這種情況下，如果模型為輸入x返回的值更接近于0，那么我們?yōu)閤分配負標簽，否則，該示例將被標記為正。具有這種屬性的一個函數(shù)是標準邏輯函數(shù)（也稱為sigmoid函數(shù)）：

如圖3所示。

圖3：標準邏輯函數(shù)

3.3 決策樹學習

決策樹是一個可用于做決策的非循環(huán)圖。在圖的每個分支節(jié)點中，檢查特征向量的特定特征j。如果特征的值低于特定的閾值，則遵循左分支，否則，遵循右分支。當?shù)竭_葉節(jié)點時，決定該示例所屬的類。

問題陳述

我們有一組帶標簽的示例；標簽屬于集合{0,1}。我們想要構(gòu)建一個決策樹，允許我們在給定特征向量的情況下預測示例的類。

圖4：決策樹構(gòu)建算法的圖示。

3.4 支持向量機

關于SVM，有兩個重要問題需要回答：

如果數(shù)據(jù)中存在噪聲，并且沒有超平面可以將正例和負例完美分開，該怎么辦？

如果數(shù)據(jù)不能使用平面分離，但可以用高階多項式分離呢？

圖5：線性不可分的情況。左：存在噪音。右：固有的非線性。

如圖5中描述的兩種情況。在左邊的示例中，如果沒有噪聲（異常值或帶有錯誤標簽的示例），數(shù)據(jù)可以用直線分隔。在正確的情況下，決策邊界是一個圓，而不是一條直線。

3.5 k-Nearest Neighbors

k-Nearest Neighbors（kNN）是一種非參數(shù)學習算法。與其他在構(gòu)建模型后丟棄訓練數(shù)據(jù)的學習算法相反，kNN將所有訓練示例保存在內(nèi)存中。一旦出現(xiàn)了一個新的、以前沒見過的示例，kNN算法會在D維空間中找到k個最接近的例子并返回多數(shù)標簽（在分類的情況下）或平均標簽（在回歸的情況下）。

兩點的接近程度由距離函數(shù)給出。例如，上面看到的Euclidean distance在實踐中經(jīng)常使用。距離函數(shù)的另一個常用選擇是負余弦相似性。余弦相似度的定義如下：