對于很多入坑機(jī)器學(xué)習(xí)的同學(xué)來說，數(shù)學(xué)可能是比較艱辛的部分。本文作者介紹了構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品、或進(jìn)行機(jī)器學(xué)習(xí)研究所需的數(shù)學(xué)背景，以及來自機(jī)器學(xué)習(xí)工程師、研究人員和教師的寶貴經(jīng)驗(yàn)和建議，并提供了許多課程和書籍資源。

目前我們還不完全清楚開始學(xué)習(xí)機(jī)器學(xué)習(xí)需要怎樣的數(shù)學(xué)水平，對于那些沒有在學(xué)校學(xué)習(xí)過數(shù)學(xué)或統(tǒng)計(jì)學(xué)的人尤其如此。

這篇文章的目標(biāo)是提出打造一款機(jī)器學(xué)習(xí)產(chǎn)品、或進(jìn)行有關(guān)機(jī)器學(xué)習(xí)的學(xué)術(shù)研究所需要的數(shù)學(xué)背景。這些建議來自與機(jī)器學(xué)習(xí)工程師、研究人員和教育工作者的對話，以及筆者在機(jī)器學(xué)習(xí)研究和行業(yè)中的經(jīng)驗(yàn)。

為了構(gòu)建所需數(shù)學(xué)水平的先決條件，本文首先提出了不同的思維模式和策略，以便讀者在傳統(tǒng)課堂之外接觸數(shù)學(xué)教育。然后，文章概述了不同類型的機(jī)器學(xué)習(xí)項(xiàng)目所需的具體背景，因這些學(xué)科的范圍從高中水平的統(tǒng)計(jì)和微積分知識到概率圖模型（PGM）的最新發(fā)展。在這最后，我希望讀者能夠?qū)?shù)學(xué)學(xué)習(xí)產(chǎn)生感覺，你需要在你的機(jī)器學(xué)習(xí)項(xiàng)目中有效利用這些知識，無論是什么項(xiàng)目！

首先，我承認(rèn)對學(xué)習(xí)風(fēng)格/框架/資源的學(xué)習(xí)，學(xué)習(xí)者的個(gè)人需求和目標(biāo)可能是獨(dú)一無二的。 歡迎各位在HN上提出自己的意見！

關(guān)于數(shù)學(xué)焦慮癥的一些體會

事實(shí)證明，很多人，包括工程師在內(nèi)，都對數(shù)學(xué)有著畏懼情緒。首先，我想談?wù)勱P(guān)于“擅長數(shù)學(xué)”的話題。

實(shí)際上，擅長數(shù)學(xué)的人都會有很多實(shí)際運(yùn)用數(shù)學(xué)的實(shí)踐經(jīng)驗(yàn)。結(jié)果，他們會覺得在數(shù)學(xué)上陷入困境是習(xí)以為常的事情。最近的研究顯示，學(xué)習(xí)者的心態(tài)（而非先天能力），是一個(gè)人學(xué)習(xí)數(shù)學(xué)能力的主要預(yù)測指標(biāo)。

要清楚，要達(dá)到這種習(xí)以為常的良好狀態(tài)需要時(shí)間和精力，但這肯定不是人天生就有的能力。本文其余部分將幫助讀者確定所需的數(shù)學(xué)基礎(chǔ)水平，并概述應(yīng)如何建立這種水平的策略。

入門：數(shù)學(xué)和代碼

作為軟先決條件，我們需要讀者掌握一些線性代數(shù)/矩陣運(yùn)算的基本知識（以免在符號表示上感到困惑），并對概率論有初步了解。此外，我們還鼓勵您掌握基本的編程能力，以作為在給定語境下學(xué)習(xí)數(shù)學(xué)的工具。之后，您可以根據(jù)感興趣的項(xiàng)目類型調(diào)整自己的關(guān)注焦點(diǎn)。

如何在校外學(xué)習(xí)數(shù)學(xué)

我相信學(xué)習(xí)數(shù)學(xué)的最佳方式是全身心學(xué)習(xí)（即作為學(xué)生）。如果脫離了這種全天學(xué)習(xí)環(huán)境，您可能就不會掌握學(xué)術(shù)課堂中的教學(xué)結(jié)構(gòu)，獲得來自同伴的（積極）壓力和可用的資源。

如果要在校外學(xué)習(xí)數(shù)學(xué)，我建議組織學(xué)習(xí)小組或午餐會、學(xué)習(xí)研討會，作為獲得學(xué)習(xí)動力的重要資源。在研究實(shí)驗(yàn)室中，也可以組織讀書小組。在學(xué)習(xí)結(jié)構(gòu)方面，您的讀書小組可以瀏覽教科書的章節(jié)并定期舉行討論講座，開辟渠道舉行Q&A問答活動等。

這里，文化在發(fā)揮著重要作用。這種“額外”的學(xué)習(xí)應(yīng)該是值得鼓勵的，以免在日復(fù)一日的繁雜事務(wù)中忘記所學(xué)的知識。事實(shí)上，盡管這種方式存在短期成本，但在構(gòu)建同伴驅(qū)動的學(xué)習(xí)環(huán)境可以讓您的長期工作效率更高。

數(shù)學(xué)和代碼

數(shù)學(xué)和代碼在機(jī)器學(xué)習(xí)工作流程中高度融合。代碼通常是用數(shù)學(xué)直覺直接構(gòu)建出來，代碼甚至和數(shù)學(xué)共享部分符號和語法。實(shí)際上，現(xiàn)代數(shù)據(jù)科學(xué)的框架（例如NumPy）使數(shù)學(xué)運(yùn)算（如矩陣/矢量積）轉(zhuǎn)換成的可讀代碼變得更加直觀和高效。

筆者鼓勵讀者將代碼作為鞏固學(xué)習(xí)的一種方式。數(shù)學(xué)和代碼都依賴于理解和表示方法的精確性。例如，實(shí)踐損失函數(shù)或優(yōu)化算法的手動實(shí)現(xiàn)可以成為真正理解基礎(chǔ)概念的好方法。

這里讓我們舉一個(gè)通過代碼學(xué)習(xí)數(shù)學(xué)的具體例子：在神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)ReLU激活的反向傳播（沒錯(cuò)，通過Tensorflow / PyTorch就可以做到！具體見鏈接https://medium.com/@karpathy/yes-you-should-understand-backprop-e2f06eab496b）。反向傳播是一種依靠微積分鏈規(guī)則，高效計(jì)算梯度的技術(shù)。為了在這個(gè)設(shè)定下使用鏈規(guī)則，我們將upstream導(dǎo)數(shù)與ReLU的梯度相乘。

首先，我們對ReLU的激活進(jìn)行可視化處理，如圖：

為了計(jì)算梯度（直觀地說，就是斜率），可以對一個(gè)分段函數(shù)進(jìn)行可視化，以指標(biāo)函數(shù)表示如下：

NumPy為我們提供了有用且直觀的語法，我們的激活函數(shù)（藍(lán)色曲線）可以在代碼中解釋，其中x是輸入，relu是輸出：

relu = np.maximum(x, 0)

然后是梯度（圖中紅色曲線），其中g(shù)rad表示upstream梯度：

grad[x < 0] = 0

在沒有首先自己推導(dǎo)出梯度的情況下，這行代碼的意義可能沒有那么顯而易見。在我們的代碼中，對于滿足條件的所有元素，會將upstream梯度（grad）中的所有值設(shè)為0，[h <0]。在數(shù)學(xué)上，這實(shí)際上相當(dāng)于對ReLU梯度的分段表示，當(dāng)將其與upstream梯度相乘時(shí)，它會將任何小于0的值歸零！

如上所見，通過我們對微積分的基本理解，可以清楚地對代碼進(jìn)行思考。神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的完成示例在這里：https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品所需的數(shù)學(xué)知識

在撰寫本節(jié)內(nèi)容時(shí)，我咨詢了機(jī)器學(xué)習(xí)的工程師，確定如何最有效地利用數(shù)學(xué)對系統(tǒng)進(jìn)行除錯(cuò)。下面的問題示例是工程師以數(shù)學(xué)視角給出的回復(fù)。如果你以前從沒見過也不要緊，筆者希望這一章節(jié)能夠?yàn)槟愀信d趣的專門問題提供一些適當(dāng)?shù)谋尘啊?/p>

我應(yīng)該使用哪些聚類方法來顯示高維客戶數(shù)據(jù)？

方法：PCA與tSNE

我應(yīng)該如何校準(zhǔn)“阻止”欺詐性用戶交易的閾值？

方法：概率校準(zhǔn)

如何正確描述衛(wèi)星數(shù)據(jù)在世界不同區(qū)域內(nèi)的偏差？（比如硅谷與阿拉斯加州）

方法：將研究問題公開。比如面向人口信息學(xué)的平等化？

通常，統(tǒng)計(jì)學(xué)工具和線性代數(shù)可以以某種方式應(yīng)用于其中的每一個(gè)問題。但是，要獲得滿意的答案，通常需要針對特定領(lǐng)域內(nèi)的特定方法。在這種情況下，應(yīng)如何確定你需要學(xué)習(xí)哪些數(shù)學(xué)知識？

定義系統(tǒng)

現(xiàn)在我們能夠利用的資源是很豐富的（例如，用于數(shù)據(jù)分析的scikit-learn，用于深度學(xué)習(xí)的keras），這有助于讀者開始編寫代碼來為系統(tǒng)進(jìn)行建模。在利用這些資源時(shí)，可以嘗試回答以下有關(guān)問題：

1. 系統(tǒng)的輸入/輸出是什么？

2. 應(yīng)該如何準(zhǔn)備數(shù)據(jù)，來適應(yīng)系統(tǒng)？

3. 如何構(gòu)建功能或策劃數(shù)據(jù)，幫助模型進(jìn)行概括？

4. 如何為提出的問題定義合理的目標(biāo)？

你或許會吃一驚，對系統(tǒng)進(jìn)行定義可能很難！之后，管道建設(shè)所需的工程也是非常重要的。換句話說，構(gòu)建機(jī)器學(xué)習(xí)產(chǎn)品需要大量繁重的工作，這些工作并不需要深入的數(shù)學(xué)背景。

更多資料：?Best Practices for ML Engineeringby Martin Zinkevich, Research Scientist at Google

按需學(xué)習(xí)數(shù)學(xué)

首先要考察機(jī)器學(xué)習(xí)的工作流程，您可能會發(fā)現(xiàn)在一些步驟上會被卡住，尤其是在調(diào)試時(shí)。當(dāng)你被困住時(shí)，你知道要查找什么問題嗎？你的權(quán)重合理性如何？為什么你的模型不能與特定的損失定義相融合？衡量模型成功的正確方法是什么？這時(shí)，對數(shù)據(jù)進(jìn)行假設(shè)，以不同方式約束優(yōu)化或嘗試不同的算法可能會有所幫助。

通常，你會發(fā)現(xiàn)在建模/調(diào)試過程中存在數(shù)學(xué)上的直覺（比如如何選擇損失函數(shù)和評估指標(biāo)），這些直覺可能會有助于做出明智的工程決策。這些都是你學(xué)習(xí)的機(jī)會！

來自Fast.ai的Rachel Thomas是這種“按需學(xué)習(xí)”方法的支持者。在教育學(xué)生時(shí)，她發(fā)現(xiàn)對于深度學(xué)習(xí)的學(xué)生來說，讓他們對這些材料感到興奮更為重要。在建立興趣之后，數(shù)學(xué)教育就變成按需查缺補(bǔ)漏了。

更多資料：

課程:Computational Linear Algebraby fast.ai

YouTube:3blue1brown: Essence ofLinear AlgebraandCalculus

教材:Linear Algebra Done Rightby Axler

教材:Elements of Statistical Learningby Tibshirani et al.

課程:Stanford’s CS229 (Machine Learning) Course Notes

機(jī)器學(xué)習(xí)研究所需的數(shù)學(xué)知識

筆者現(xiàn)在想要描述對于機(jī)器學(xué)習(xí)中以研究為導(dǎo)向的工作，哪些數(shù)學(xué)思維方式是有用的。關(guān)于機(jī)器學(xué)習(xí)研究的悲觀觀點(diǎn)體現(xiàn)在即插即用系統(tǒng)上，在這些系統(tǒng)中，模型會投入更多計(jì)算力，以擠壓出更高的性能。一些人群中，研究人員仍然對缺乏數(shù)學(xué)嚴(yán)謹(jǐn)性的經(jīng)驗(yàn)化方法（例如某些深度學(xué)習(xí)方法）表示懷疑。

未來研究體系可能建立在現(xiàn)有系統(tǒng)和假設(shè)的基礎(chǔ)上，而這些系統(tǒng)和假設(shè)并不會擴(kuò)大我們對該領(lǐng)域的基本理解，這是令人擔(dān)憂的。研究人員需要提供原始的資源，構(gòu)建新的基礎(chǔ)架構(gòu)模塊，可用于獲取全新觀點(diǎn)和達(dá)到實(shí)際目標(biāo)的方法。比如可能需要重新思考用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)等構(gòu)建模塊，正如“機(jī)器學(xué)習(xí)之父”Geoff Hinton在他最近的關(guān)于Capsule Networks的論文中所說的那樣。（論文鏈接：https://arxiv.org/pdf/1710.09829v1.pdf）

下一步，我們需要提出基本問題。這需要在數(shù)學(xué)上的“深度理解”，《深度學(xué)習(xí)》一書的作者邁克爾·尼爾森將其稱為“有趣的探索”。這個(gè)過程涉及數(shù)千小時(shí)期間經(jīng)?！氨浑y題卡住”，不斷提出問題，并在探究新問題時(shí)改變觀點(diǎn)?！坝腥さ奶剿鳌笔箍茖W(xué)家們能夠提出深刻，富有洞察力的問題，而不僅僅是簡單的想法/架構(gòu)的結(jié)合。

當(dāng)然，很明顯的是，在研究機(jī)器學(xué)習(xí)時(shí)是仍然無法學(xué)到所有東西的！要正確地進(jìn)行“有趣的探索”需要適當(dāng)?shù)剡M(jìn)行，需要遵循自己的興趣，而不是優(yōu)先考慮那些最熱門的新結(jié)果。

機(jī)器學(xué)習(xí)研究是一個(gè)非常豐富的研究領(lǐng)域，在公平性，可解釋性和可訪問性方面存在緊迫問題。實(shí)際上所有科學(xué)學(xué)科中，基本的思維都不是一個(gè)按需的過程，而是需要耐心，才能用高級數(shù)學(xué)框架的廣度進(jìn)行思考，解決關(guān)鍵性的問題。

更多資料：? 博客:Do SWEs need mathematics?by Keith Devlin? Reddit帖子:Confessions of an AI Researcher? 博客:How to Read Mathematicsby Shai Simonson and Fernando Gouvea? 論文:NIPSandICML等會議論文

? 文章:A Mathematician’s Lamentby Paul Lockhart1

讓機(jī)器學(xué)習(xí)研究走向民主化

我希望我沒有把“研究數(shù)學(xué)”描繪得太深奧，因?yàn)槭褂脭?shù)學(xué)構(gòu)建的觀點(diǎn)應(yīng)該以直觀的形式呈現(xiàn)！遺憾的是，許多機(jī)器學(xué)習(xí)論文中仍然充斥著復(fù)雜且不一致的術(shù)語，使關(guān)鍵的信息難以辨別。作為一名學(xué)生，你可以通過博客、推文等方式將濃縮的論文翻譯成易于消化理解的觀點(diǎn)，這也是在為自己和這個(gè)領(lǐng)域做好事。你甚至可以從distill.pub為范例，這是一個(gè)專門為機(jī)器學(xué)習(xí)研究成果提供清晰解釋的出版物。換句話說，如果能將技術(shù)思想的神秘化為“有趣探索”的手段，一定會很有幫助！

最后的一些總結(jié)和建議

總之，我希望這篇文章可以讀者提供一個(gè)起點(diǎn)，讓讀者考慮于機(jī)器學(xué)習(xí)有關(guān)的數(shù)學(xué)教育問題。

不同的問題需要不同程度的直觀觀點(diǎn)，我鼓勵讀者首先弄清楚目標(biāo)是什么。

如果您希望打造機(jī)器學(xué)習(xí)產(chǎn)品，請通過問題尋找同行和學(xué)習(xí)小組，并通過深入研究最終目標(biāo)來激發(fā)您的學(xué)習(xí)。

在研究領(lǐng)域，具備深厚的數(shù)學(xué)基礎(chǔ)可以為您提供豐富的工具，通過提出新的基礎(chǔ)架構(gòu)模塊來推動機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展。

一般而言，數(shù)學(xué)（尤其是研究論文中的數(shù)學(xué)）可能是令人生畏的，但在學(xué)習(xí)中被難題卡住，正是學(xué)習(xí)過程的重要組成部分。