《機(jī)器學(xué)習(xí)訓(xùn)練秘籍》（Machine Learning Yearning）是吳恩達(dá)的新作，主要講的是如何應(yīng)用機(jī)器學(xué)習(xí)算法以及如何構(gòu)建機(jī)器學(xué)習(xí)項(xiàng)目。本文從這本書中選出了 7 條非常有用的建議。

近年來，人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)迅猛發(fā)展，給許多行業(yè)帶來了變革。吳恩達(dá)是業(yè)內(nèi)的領(lǐng)軍人物之一，他是在線課程項(xiàng)目 Coursera 的聯(lián)合創(chuàng)始人，前百度 AI Group 領(lǐng)導(dǎo)人，前 Google Brain 項(xiàng)目負(fù)責(zé)人。目前他正在編寫《機(jī)器學(xué)習(xí)訓(xùn)練秘籍》（http://www.mlyearning.org/）這本書，教讀者如何組織機(jī)器學(xué)習(xí)項(xiàng)目。

吳恩達(dá)在書中寫道：

這本書主要是教你如何應(yīng)用機(jī)器學(xué)習(xí)算法，而不是教你機(jī)器學(xué)習(xí)算法本身。一些AI技術(shù)課程會教你算法，而這本書旨在教你如何使用算法這個(gè)利器。如果你想成為 AI領(lǐng)域的技術(shù)領(lǐng)袖，并希望學(xué)習(xí)如何為你的團(tuán)隊(duì)設(shè)定方向，這本書會給你幫助。

我們在閱讀這本書的原稿后從中選出了 7 條有趣且實(shí)用的建議.

▌1. 選擇正確的評估指標(biāo)

在評估某個(gè)算法時(shí)，不應(yīng)該只使用一個(gè)公式或指標(biāo)，而應(yīng)使用多個(gè)評估指標(biāo)。其中一種方法就是使用“optimizing”和“satisfying”作為指標(biāo)。

以上圖為例，首先定義一個(gè)“acceptable”（可接受）的運(yùn)行時(shí)間（例如小于 100 毫秒），作為“satisfying”指標(biāo)。只要運(yùn)行時(shí)間低于這個(gè)指標(biāo)，你的分類器就「很好」?！皽?zhǔn)確度”在這里作為“optimizing”指標(biāo)。這是一種非常有效且容易的算法評估方法。

▌2. 快速選擇開發(fā)/測試集——如果有必要不要害怕更換

當(dāng)開始一個(gè)新項(xiàng)目時(shí)，吳恩達(dá)在書中解釋道他會很快選擇開發(fā)集/測試集，因?yàn)檫@樣可以給團(tuán)隊(duì)制定一個(gè)明確的目標(biāo)。開始時(shí)他會先制定第一周的目標(biāo)，提出一個(gè)不太完美的方案并迅速行動(dòng)起來，比花過多時(shí)間思考更好。

如果你突然發(fā)現(xiàn)初始的開發(fā)/測試集不正確時(shí)，不要害怕更改它們。以下是書中給出的開發(fā)/訓(xùn)練集不正確的三個(gè)可能原因：

要使用的實(shí)際數(shù)據(jù)分布和開發(fā)/測試集不同

開發(fā)/測試集過度擬合

評估指標(biāo)衡量的并不是項(xiàng)目所需要優(yōu)化的東西

請謹(jǐn)記，更改開發(fā)/測試集不是什么大問題。放心更改，讓你的團(tuán)隊(duì)知道你們的新方向。

▌3. 機(jī)器學(xué)習(xí)是一個(gè)迭代過程：不要指望第一次就成功

吳恩達(dá)寫道他開發(fā)機(jī)器學(xué)習(xí)軟件的過程分三步：

從一個(gè)想法開始

用代碼實(shí)現(xiàn)這個(gè)想法

通過實(shí)驗(yàn)判斷這個(gè)想法是否成功

這是一個(gè)不斷迭代的過程。循環(huán)得越快，進(jìn)展也就越快。這就是為什么提前確定開發(fā)/測試集很重要，因?yàn)檫@樣做可以在這個(gè)迭代過程中省下寶貴的時(shí)間。每嘗試一個(gè)新想法時(shí)，在開發(fā)/測試集上衡量這個(gè)想法的表現(xiàn)，這樣你就可以快速判斷你是否在朝著正確的方向前進(jìn)。

▌4. 快速構(gòu)建第一個(gè)系統(tǒng)，然后迭代

在第三條建議中，我們提到構(gòu)建機(jī)器學(xué)習(xí)算法是一個(gè)迭代過程。吳恩達(dá)專門用一個(gè)章節(jié)解釋了快速構(gòu)建第一個(gè)系統(tǒng)然后迭代的好處：「不要試圖一開始就設(shè)計(jì)和構(gòu)建完美的系統(tǒng)。相反，應(yīng)該快速構(gòu)建和訓(xùn)練出一個(gè)基本系統(tǒng)——也許在短短的幾天內(nèi)。即使這個(gè)基本系統(tǒng)與您你構(gòu)建的“最佳”系統(tǒng)相差甚遠(yuǎn)，研究基本系統(tǒng)的表現(xiàn)仍非常有參考價(jià)值：你很快就會找到線索，以此確定哪個(gè)方向最有希望獲得成功。」

▌5. 并行評估多個(gè)想法

當(dāng)你的團(tuán)隊(duì)針對如何改進(jìn)某一算法提出了很多想法，你可以高效地并行評估這些想法。舉例來說，構(gòu)建一個(gè)能識別貓照片的算法，吳恩達(dá)稱他通常會創(chuàng)建一個(gè)電子表格，瀏覽大約 100 張分類錯(cuò)誤的開發(fā)/測試集圖像并在表格上記錄。

在表格上記錄：對每張圖像的分析，造成算法分類錯(cuò)誤的原因，以及可能對未來反思有幫助的評論。填完后，你會得出哪種想法可以避免更多錯(cuò)誤，然后再去實(shí)現(xiàn)它。

▌6. 思考清理貼錯(cuò)標(biāo)簽的開發(fā)/測試集是否值得

在錯(cuò)誤分析期間，你可能會注意到開發(fā)/測試集中的一些樣本被錯(cuò)誤標(biāo)注（mislabeled）。也就是說，在用算法處理前之前，圖片已經(jīng)被人類標(biāo)注員貼上了錯(cuò)誤的標(biāo)簽。如果你懷疑有一小部分的圖片被錯(cuò)誤標(biāo)注是由于這個(gè)原因，那么可以在電子表格中添加再一個(gè)類別進(jìn)行記錄：

在完成后，你可以思考修正這些錯(cuò)誤是否值得。吳恩達(dá)給出了兩種可能的場景，讓讀者判斷修正錯(cuò)誤是否值得：

示例1：

開發(fā)集的整體準(zhǔn)確率……90%（整體錯(cuò)誤率為 10%）

貼錯(cuò)標(biāo)簽樣本導(dǎo)致的錯(cuò)誤……0.6%（占開發(fā)集錯(cuò)誤的 6%）

其他原因?qū)е碌腻e(cuò)誤……9.4%（占開發(fā)集錯(cuò)誤的 94%）

在這個(gè)例子中，相較于你可能改進(jìn)的 9.4% 的錯(cuò)誤，由于錯(cuò)誤標(biāo)注導(dǎo)致的 0.6% 的不準(zhǔn)確率就可能沒那么重要。手動(dòng)修正開發(fā)集中錯(cuò)誤標(biāo)注的圖像并沒有什么壞處，但這樣做并不是關(guān)鍵：不知道系統(tǒng)的整體錯(cuò)誤是 10% 還是 9.4% 可能沒什么大不了。

示例 2:

開發(fā)集整體準(zhǔn)確率……98.0%（整體錯(cuò)誤率為 2.0%）

貼錯(cuò)標(biāo)簽樣本導(dǎo)致的錯(cuò)誤……0.6%（占開發(fā)集錯(cuò)誤的 30%）

其他原因?qū)е碌腻e(cuò)誤……1.4%（占開發(fā)集錯(cuò)誤的 70%）

30% 的錯(cuò)誤是由于錯(cuò)誤標(biāo)注的開發(fā)集圖像造成的，這會讓準(zhǔn)確率的估計(jì)值有很大的誤差。這種情況下，改進(jìn)開發(fā)集的標(biāo)注質(zhì)量很值得。處理錯(cuò)誤標(biāo)注的樣本將幫助你算出分類器的錯(cuò)誤是接近 1.4% 還是 2%——這是一個(gè)相對明顯的差異。

▌7. 考慮將開發(fā)集分為多個(gè)子集

如果你的開發(fā)集很大，其中 20% 的樣本被算法錯(cuò)誤分類，那么你可以將這個(gè)開發(fā)集分為兩個(gè)獨(dú)立的子集：

比方說，你有一個(gè)包含 5000 個(gè)樣本的大開發(fā)集，其中 1000 個(gè)樣本被錯(cuò)誤分類。假設(shè)我們要手動(dòng)檢查約 100 個(gè)錯(cuò)誤樣本（錯(cuò)誤樣本的10%），進(jìn)行錯(cuò)誤分析。那么你應(yīng)該隨機(jī)選出 10% 的開發(fā)集，然后將其放入我們稱之為 Eyeball 的開發(fā)集（Eyeball dev set）中，以提醒自己你需要觀察這些數(shù)據(jù)。Eyeball 開發(fā)集有 500 個(gè)樣本，我們預(yù)計(jì)算法錯(cuò)誤分類的樣本約有 100 個(gè)。

開發(fā)集的第二個(gè)子集叫做 Blackbox 開發(fā)集(Blackbox dev set)，它包含剩余的 4500 個(gè)樣本。你可以用 Blackbox 開發(fā)集測定圖像分類的錯(cuò)誤率，以此自動(dòng)評估分類器。你也可以使用它來選擇算法或調(diào)整超參數(shù)。我們將這個(gè)子集稱為 “Blackbox”，是因?yàn)槲覀冎皇褂脭?shù)據(jù)集的子集來取得對分類器的“Blackbox”（黑盒）評估。