01 術語整理

本節(jié)概述機器學習及其三個分類（監(jiān)督學習、非監(jiān)督學習和強化學習）。首先，與機器學習相關的術語有人工智能（Artificial Intelligence，AI）、機器學習（Machine Learning，ML）、強化學習、深度學習等，這里對這些術語進行簡單的整理。

AI意味著人工智能，其定義因研究人員而異。從廣義上講，它指“像人類一樣具有智能的系統(tǒng)和配備這種系統(tǒng)的機器人”。實現(xiàn)AI的方法之一是機器學習。

機器學習可以簡單地描述為“向系統(tǒng)提供數(shù)據(jù)（稱為訓練數(shù)據(jù)或學習數(shù)據(jù)）并通過數(shù)據(jù)自動確定系統(tǒng)的參數(shù)（變量值）”。相反，基于規(guī)則的系統(tǒng)是非機器學習系統(tǒng)的一個例子。在基于規(guī)則的系統(tǒng)中，由人類來清楚地定義分支條件的參數(shù)，例如實現(xiàn)代碼中所存在的if語句等。

另一方面，機器學習自動根據(jù)訓練數(shù)據(jù)確定代碼中的參數(shù)，以使系統(tǒng)運行良好。之所以稱為機器學習，正是因為系統(tǒng)能根據(jù)訓練數(shù)據(jù)計算和確定系統(tǒng)運行所需的參數(shù)。

強化學習是機器學習中的一種。機器學習可分為三大類：監(jiān)督學習、非監(jiān)督學習和強化學習。我們稍后會討論這三個分類，這里只需要認識到強化學習是機器學習的一部分即可。

接下來是深度學習。深度學習是實現(xiàn)機器學習的算法之一。機器學習的算法包括邏輯回歸、支持向量機（Support Vector Machine，SVM）、決策樹、隨機森林和神經網絡等。深度學習是神經網絡中的一種。

最后是深度強化學習。深度強化學習是強化學習和深度學習的結合。

02 監(jiān)督學習、非監(jiān)督學習、強化學習

這里對三種機器學習（監(jiān)督學習、非監(jiān)督學習和強化學習）分別進行介紹。

首先說明監(jiān)督學習。

例如，“對郵政編碼中的手寫數(shù)字進行分類”是一種監(jiān)督學習。郵政編碼分類系統(tǒng)將每個數(shù)字的手寫圖像分類為0～9中的一個。諸如0到9的數(shù)據(jù)的分類目標被稱為標簽或類。這種系統(tǒng)被稱為監(jiān)督學習，因為給事先提供的訓練數(shù)據(jù)預先標記出了正確的標簽。換句話說，帶標簽的訓練數(shù)據(jù)成了系統(tǒng)的教師。

監(jiān)督學習包括學習階段和推理階段。我們將以圖為例來解釋手寫數(shù)字的分類（見圖1.1）。

▲圖1.1 使用監(jiān)督學習區(qū)分手寫數(shù)字的示例

在學習階段，準備許多0到9的手寫數(shù)字圖像數(shù)據(jù)，這些數(shù)據(jù)作為訓練數(shù)據(jù)。訓練數(shù)據(jù)有一個標簽（0到9中的某個數(shù)值），根據(jù)標簽可以找到關于手寫數(shù)字圖像的正確答案信息，例如“此手寫數(shù)字圖像為1”。在學習階段，當將手寫數(shù)字圖像輸入系統(tǒng)時，調整（學習）系統(tǒng)的參數(shù)以盡量將輸入圖像分類為正確的標簽。

在應用階段，將無標簽的未知手寫數(shù)字圖像數(shù)據(jù)輸入系統(tǒng)，圖像被分類為0到9中的某一個輸出標簽并給出結果。如果已經學習到正確的結果，當輸入未知的手寫數(shù)字圖像時，系統(tǒng)將輸出正確的數(shù)值標簽。除了手寫數(shù)字的分類之外，還可使用監(jiān)督學習來對圖像、聲音和文本數(shù)據(jù)進行分類。

此外，除了上面例子中提到的分類任務，監(jiān)督學習也用于回歸等任務。

接下來，介紹非監(jiān)督學習。用一個詞表達非監(jiān)督學習就是“分組”。它將大量數(shù)據(jù)中類似的數(shù)據(jù)分為一組（稱為聚類）。例如，“根據(jù)購買數(shù)據(jù)對客戶進行分組的系統(tǒng)”是非監(jiān)督學習。根據(jù)購買歷史記錄的特征對客戶進行分組，可以為每個組實施不同的銷售策略。

我們使用圖來說明購買數(shù)據(jù)分析的例子（見圖1.2）。假設存儲了每個客戶過去一年的購買數(shù)量和每次平均消費金額的數(shù)據(jù)，并對此數(shù)據(jù)進行分析。根據(jù)這些數(shù)據(jù)，客戶可以分為兩組。A組（左上角）是以較低頻次購買高價商品的組，B組（右下角）是多次重復但每次消費金額較低的組。

▲圖1.2 使用非監(jiān)督學習根據(jù)購買數(shù)據(jù)對客戶分組的示例

使用非監(jiān)督學習進行分組將有助于了解每個客戶所屬的組，并針對每個組實施最佳銷售策略（盡管部分業(yè)務還需要更詳細的分析）。除了本例中提到的分組（聚類）以外，非監(jiān)督學習也用于降維和推薦系統(tǒng)。

最后，我們討論強化學習。強化學習是一種主要用于“時變系統(tǒng)控制規(guī)則構建”和“對戰(zhàn)博弈策略構建”的方法。例如，強化學習用于機器人的步行控制和圍棋對戰(zhàn)程序。

在我們熟悉的例子中，可能更容易想象一個孩子學會騎自行車的情形。當一個孩子學習騎自行車時，并沒有人去教其諸如牛頓力學等力學法則以及如何騎車的詳細方法，也不必通過觀看視頻來學習騎自行車。事實上，自己嘗試騎自行車，在多次失敗的過程中找到一種騎自行車的方法。

強化學習正如學騎自行車的例子，它是一種學習方法，它在不知道控制對象的物理定律的情況下重復試錯，以學習到所希望的控制方法。

強化學習中沒有帶標簽的數(shù)據(jù)作為訓練數(shù)據(jù)，但這并不意味著根本沒有監(jiān)督信息。系統(tǒng)根據(jù)強化學習程序運行，在獲得所需結果時給出稱為獎勵的信號。例如，在機器人的步行控制中，可以走的距離就是獎勵。在圍棋的比賽程序中，贏或輸?shù)慕Y果就是獎勵。失敗時的獎勵是負值，也稱為懲罰。

如果想通過監(jiān)督學習來學習機器人的步行控制，就需要盡可能多的“如果腿的關節(jié)處于這個角度并且速度是某值，那么就像這樣轉動電動機A”這樣的模式，并預先給出其正確的做法。然而，當機器人行走時，對于每個時刻變化的狀態(tài)，很難預先給出控制該電動機的正確做法。

另一方面，在強化學習中，將行走距離作為獎勵提供給步行控制系統(tǒng)，并且重復試驗多次。

這樣一來，強化學習系統(tǒng)會根據(jù)重復試驗和獲得的獎勵自行改變控制規(guī)則，以“如果之前的試驗中所做改變使我可以走得更遠，則這種改變是正確的”為基礎。因此，可以在不教導機器人如何行走的情況下讓機器人能漸漸行走更長的距離。

即使在像圍棋這樣的對戰(zhàn)游戲的策略構建中，也無須在每個階段將強者視為教師數(shù)據(jù)來進行教導，僅通過將成功或失敗作為獎勵來重復試驗即可。這樣做，強化學習系統(tǒng)會一點一點地改變游戲方式并變得更強。

學到的圍棋或將棋系統(tǒng)比設計者本人更強大，這一點通過強化學習可以很容易實現(xiàn)。只聽這個解釋，強化學習就像魔術，但在實踐中卻存在著種種困難。

強化學習主要適用于“時變系統(tǒng)控制規(guī)則構建”和“對戰(zhàn)博弈策略構建”，本書以前者“系統(tǒng)控制”為目標任務，通過編寫相關程序來學習強化學習。

關于作者：小川雄太郎，東京大學博士，曾在東京大學從事腦機能測量及計算論的神經科學研究?，F(xiàn)就職于株式會社電通國際信息服務技術開發(fā)部，從事機器學習相關技術的研究開發(fā)。

本文摘編自《邊做邊學深度強化學習：PyTorch程序設計實踐》，經出版方授權發(fā)布。