人工智能就業(yè)市場持續(xù)火熱，越來越多的學(xué)子投身這一領(lǐng)域。然而，攻讀計算機視覺和機器學(xué)習(xí)研究生需要哪些先決條件？你將學(xué)到哪些知識？攻讀機器學(xué)習(xí)碩士是一種怎樣的體驗？英國薩里大學(xué)機器學(xué)習(xí)與計算機視覺專業(yè)碩士 Richmond Alake 對以上問題做了較為全面的解答。

攻讀機器學(xué)習(xí)碩士的先決條件

在攻讀機器學(xué)習(xí)高等學(xué)位的過程中需要選定一些研究課題，這些課題反映了未來你在機器學(xué)習(xí)領(lǐng)域發(fā)展的專業(yè)方向。

機器學(xué)習(xí)領(lǐng)域的任何一門課程都涵蓋了許多知識量。因此，本文作者攻讀的碩士學(xué)位會首先確保學(xué)生滿足以下先決條件，然后再進行授課。

對線性代數(shù)和微積分（微分 / 優(yōu)化）有充分的理解；

統(tǒng)計和概率學(xué)基礎(chǔ)；

編程語言相關(guān)背景；

本科階段畢業(yè)于計算機科學(xué)、數(shù)學(xué)、物理或電子與機械工程等專業(yè)。

進入正題，本文作者將一一介紹他在攻讀機器學(xué)習(xí)碩士階段都學(xué)到了什么。 計算機視覺

作者首先介紹攻讀機器學(xué)習(xí)碩士過程中遇到的最強大課程模塊：計算機視覺。計算機視覺和深度學(xué)習(xí)是作者本文非常感興趣的機器學(xué)習(xí)領(lǐng)域。 各種媒體都對計算機視覺技術(shù)在過去幾十年中的進步贊不絕口。面部識別系統(tǒng)的橫空出世是該領(lǐng)域必須要提到的一大成就。在一些主要國際機場、銀行和政府機構(gòu)都可以發(fā)現(xiàn)面部識別系統(tǒng)的身影。

就作者本人而言，他在攻讀碩士學(xué)位的過程中對計算機視覺的研究是非常有條理的，即并不會一開始就直接實現(xiàn)并分析最先進的技術(shù)。

事實上，你需要往回倒退幾步，從學(xué)習(xí)最基礎(chǔ)的圖像處理技術(shù)知識開始，而這些技術(shù)在人們今天使用的先進計算機視覺技術(shù)之前就被開發(fā)了出來。

在深度學(xué)習(xí)課程中，作者了解到，卷積神經(jīng)網(wǎng)絡(luò)（CNN）的較低層從輸入圖像中學(xué)習(xí)到低級模式，比如線條和邊緣。但在 CNN 被引入到計算機視覺領(lǐng)域之前，就已經(jīng)有了一些基于啟發(fā)式的技術(shù)被用于從圖像中檢測出感興趣區(qū)域（ROI）以及特征提取。

因此，作者學(xué)習(xí)了基于啟發(fā)式的技術(shù)的工作原理，并且在實際應(yīng)用中運用到了這些知識，在計算機視覺方面的研究確保他了解了機器學(xué)習(xí)領(lǐng)域的基礎(chǔ)。

以下是作者在研究計算機視覺的過程中學(xué)到的一些關(guān)鍵話題和術(shù)語： 1.尺度不變特征變換（Scale Invariant Feature Transform， SIFT）：這是一種被用于生成圖像的關(guān)鍵點描述子（特征向量）的計算機視覺技術(shù)。生成的描述子包含一些特征信息，如邊緣、角、團塊等。

描述子還可以用于檢測不同尺度和失真的圖像中的對象。SIFT 已經(jīng)被廣泛用于目標(biāo)識別、手勢識別、目標(biāo)跟蹤等應(yīng)用中。SIFT 技術(shù)的關(guān)鍵之處在于它檢測到的特性對于任何仿射變換（比如放縮、平移和旋轉(zhuǎn)）都是不變的。SIFT 原始論文鏈接如下：https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf。

2.定向梯度直方圖（Histogram of Orientated Gradients， HOG）：這是一種被用來從圖像中提取特征的技術(shù)。提取到的特征是圖像中邊和角提供的信息，更具體地說是凸顯中的對象。

簡而言之，該技術(shù)識別圖像中邊緣（梯度）、角、線條的位置，獲取邊緣的方向信息。HOG 描述子會生成一個直方圖，該直方圖包含從圖像中檢測到的邊緣和方向信息的分布信息。計算機視覺應(yīng)用和圖像處理領(lǐng)域中都能看到這種技術(shù)的身影，更詳細信息請參閱：https://www.learnopencv.com/histogram-of-oriented-gradients/。

3.主成分分析（Principal Component Analysis， PCA）：這是一種用于降低特征豐富的數(shù)據(jù)集維度的算法。降維是通過將數(shù)據(jù)點從較高維度投影到維度較低的平面來實現(xiàn)的，它仍然保留了信息，并最小化了信息損失。

此外，其它值得一提的話題還有：

線性插值（linear interpolation）

無監(jiān)督聚類（K - 均值）

視覺詞袋模型（視覺搜索系統(tǒng)）

那么作者在學(xué)習(xí)早期有哪些開發(fā)性研究呢？ 在早期，他開始開發(fā)一些基于計算機視覺技術(shù)的應(yīng)用。物體分類是一個比較熱門的話題，同時也比較容易學(xué)習(xí)一些關(guān)于它的基本知識和實現(xiàn)方法。具體而言，他想要在 Matlab 環(huán)境下開發(fā)一個視覺搜索系統(tǒng)。

Matlab 是一種用于高效數(shù)值計算和矩陣處理的編程語言，并且 Matlab 程序庫配備了一套算法和可視化工具。

由于作者過去具有 JavaScript、Java、Python 等語言環(huán)境下的開發(fā)經(jīng)驗，他很快就學(xué)會了 Matlab 編程語法，從而可以專注于計算機視覺方面的研究。 更多視覺搜索系統(tǒng)的信息

作者要實現(xiàn)的視覺系統(tǒng)是相當(dāng)基礎(chǔ)的，其工作原理是：用戶向系統(tǒng)傳入一張查詢圖像，然后系統(tǒng)返回的結(jié)果是一組與輸入查詢圖像相似的圖像。值得一提的是，該系統(tǒng)包含一個存儲圖像的數(shù)據(jù)庫，系統(tǒng)從中提取返回的結(jié)果圖像（輸入查詢圖像，輸出結(jié)果圖像）。

這個視覺系統(tǒng)沒有使用任何花哨的深度學(xué)習(xí)技術(shù)，而是使用了前文提到的一些傳統(tǒng)的機器學(xué)習(xí)技術(shù)。

你只需將一個 RGB 圖像轉(zhuǎn)換成灰度圖，然后在圖像上施加一個特征提取器；之后，系統(tǒng)就會提取出一個圖像描述子，并將其表征在一個 N 維特征空間上。在這個特征空間中，你可以通過計算兩個 N 維數(shù)據(jù)點之間的歐氏距離來得到相似的圖像。 更深層次的理解和應(yīng)用

理解計算機視覺并不僅僅局限于處理圖像，人們期望在視頻中也用到這些算法和技術(shù)。實際上，視頻也就是圖像序列，所以在輸入數(shù)據(jù)的準(zhǔn)備和處理方面，你并不需要學(xué)習(xí)任何新的東西。

如果你使用的是 YOLO、RCNN 這樣的目標(biāo)檢測框架，在一系列圖像中進行目標(biāo)跟蹤看起來就非常簡單。但是要認識到，進行計算機視覺研究并不只是在預(yù)訓(xùn)練好的網(wǎng)絡(luò)基礎(chǔ)上進行調(diào)優(yōu)。在這里，你需要理解該領(lǐng)域在過去幾年中是如何發(fā)展的，而獲得扎實理解的最佳方法是按照時間順序?qū)Ω鞣N傳統(tǒng)技術(shù)進行綜述。 因此，對于目標(biāo)跟蹤任務(wù)，作者學(xué)習(xí)了下面幾個話題：

團塊追蹤模塊（Blob trackers）

卡爾曼濾波器

粒子濾波器

馬爾科夫過程

與計算機視覺工程師的相關(guān)性

實際上，本文作者目前還沒有使用任何傳統(tǒng)的機器學(xué)習(xí)分類器，也不會在近期使用它們。

但是為了讓讀者了解前文提到的技術(shù)與成為計算機視覺工程師有多大的相關(guān)性，作者以自動駕駛汽車、車牌識別器和車道探測器為例進行展示說明，這些都結(jié)合了前文討論過的一到兩種方法。

深度學(xué)習(xí)

深度學(xué)習(xí)技術(shù)是對計算機視覺研究的自然延伸。一些深度學(xué)習(xí)話題已經(jīng)被包含在了計算機視覺模塊中，而其它的深度學(xué)習(xí)話題是對傳統(tǒng)計算機視覺技術(shù)的擴展或改進。

深度學(xué)習(xí)話題的教學(xué)與作者的計算機視覺研究相類似。也就是說，在轉(zhuǎn)向?qū)W習(xí)高級話題和應(yīng)用開發(fā)之前，要對該領(lǐng)域的基礎(chǔ)知識有扎實的理解。

深度學(xué)習(xí)研究從理解最基本的圖像構(gòu)成單元（像素）開始。你很快就會了解到，數(shù)字圖像是一個包含許多像素的網(wǎng)格。

在理解了圖像的最基本的基礎(chǔ)之后，你將繼續(xù)學(xué)習(xí)如何在系統(tǒng)內(nèi)存中存儲圖像?！窮ramebuffer」指的是像素在系統(tǒng)內(nèi)存中存儲的位置（大多數(shù) MOOC 都不會講這一點）

此外，作者還學(xué)習(xí)了關(guān)于攝像設(shè)備如何捕獲數(shù)字圖像知識。他不得不承認，對智能手機攝像頭捕獲圖像的方式有一定的直觀理解是很棒的。

接下來他快速介紹了一些更酷的知識。

首先是卷積神經(jīng)網(wǎng)絡(luò)。如果你不了解卷積神經(jīng)網(wǎng)絡(luò)（CNN），你就無法學(xué)習(xí)深度學(xué)習(xí)，它們是密切相關(guān)的。

作者的研究介紹了 CNN 在過去 20 年中誕生并發(fā)展的時間線（從 LeNet-5 到 RCNN），以及它們在取代傳統(tǒng)工作流程完成物體識別等典型計算機視覺任務(wù)的作用。

作者的研究中介紹了對于深度學(xué)習(xí)早期提出的不同 CNN 架構(gòu)的探索。通過對 AlexNet、LeNet、GoogLeNet 等具體架構(gòu)的研究，他深入理解了卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)部構(gòu)造，以及它們在解決諸如目標(biāo)檢測、識別和分類等任務(wù)中的應(yīng)用。

此外，作者學(xué)到的一項重要技能是：如何閱讀研究論文。

閱讀研究論文不是老師直接傳授給你的技能。如果你對深度學(xué)習(xí)和其他任何研究都持嚴(yán)謹(jǐn)?shù)膽B(tài)度，那么很有必要了解信息和研究的來源。使用深度學(xué)習(xí)框架預(yù)訓(xùn)練好的模型是非常容易的。盡管如此，如果想從事先進的研究工作，你還是應(yīng)該了解每個架構(gòu)的技術(shù)和組件的內(nèi)在細節(jié)，而只有在研究論文中才能找到這些信息。

以下是作者總結(jié)的深度學(xué)習(xí)模塊中所涉及的一些話題：

多層感知機（Mutiplayer Perceptron， MLP）：多層感知機是一些連續(xù)堆疊的若干層感知器模型。MLP 由一個輸入層、一個或多個被稱為隱藏層的 TLU、以及最終的輸出層組成；

神經(jīng)風(fēng)格遷移（NST）：這是一種利用深度卷積神經(jīng)網(wǎng)絡(luò)和相關(guān)算法從一張圖像中提取內(nèi)容信息，并從另一張參考圖像中提取風(fēng)格信息的技術(shù)。在提取了風(fēng)格和內(nèi)容信息之后，會生成一個組合圖像，這里生成圖像的內(nèi)容和風(fēng)格來自于不同的圖像；

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和 LSTM：它們是神經(jīng)網(wǎng)絡(luò)架構(gòu)的變體，可以接受任意大小的輸入，產(chǎn)生隨機大小的輸出數(shù)據(jù)。RNN 神經(jīng)網(wǎng)絡(luò)架構(gòu)可以學(xué)習(xí)時序關(guān)系；

人臉檢測：用于實現(xiàn)圖像和視頻中的人臉自動識別和定位的系統(tǒng)。人臉檢測在面部識別、攝影技術(shù)、運動捕捉等領(lǐng)域有廣泛的應(yīng)用；

姿態(tài)估計：從提供的數(shù)字資源（如圖像、視頻或一段圖像序列）中推理出身體主要關(guān)節(jié)位置的過程。各種姿態(tài)估計技術(shù)被用于動作識別、人機交互、虛擬現(xiàn)實和 3D 圖形游戲資源創(chuàng)建、機器人等應(yīng)用中；

目標(biāo)識別：識別與目標(biāo)對象相關(guān)聯(lián)的類的過程。目標(biāo)識別和目標(biāo)檢測這兩種技術(shù)的最終結(jié)果和實現(xiàn)方法是類似的。雖然在各種各樣的系統(tǒng)和算法中，目標(biāo)識別過程是先于目標(biāo)檢測進行的；

目標(biāo)追蹤：在一段時間內(nèi)的圖像序列中識別、檢測并跟蹤一個感興趣目標(biāo)的方法。在監(jiān)控攝像頭和交通監(jiān)控設(shè)備的系統(tǒng)中存在諸多目標(biāo)跟蹤應(yīng)用；

目標(biāo)檢測：目標(biāo)檢測是一種可以識別圖像中是否存在特定目標(biāo)以及其位置的系統(tǒng)。請注意，需要檢測的對象可能是單數(shù)，也可能不止一個。

其它值得注意的主題和子話題還包括神經(jīng)網(wǎng)絡(luò)、反向傳播、CNN 網(wǎng)絡(luò)架構(gòu)，超分辨率、手勢識別、語義分割等等。

與計算機視覺工程師的相關(guān)性

這基本上就是本文作者所從事的工作。到目前為止，他已經(jīng)將人臉檢測、手勢識別、姿勢估計、語義分割模型整合到了游戲邊緣計算設(shè)備上。

具體來說，在作者當(dāng)前的工作中，他已經(jīng)實現(xiàn)、訓(xùn)練并評估了大量的深度學(xué)習(xí)模型。如果你想要緊跟前沿算法、工具，并與先進的公司合作，那么深度學(xué)習(xí)就是一個可以讓你走在人工智能實際商業(yè)發(fā)展前沿的領(lǐng)域。

論文

撰寫碩士論文旨在使你能夠使用所有學(xué)到的技能、知識和直觀感受來設(shè)計一個針對現(xiàn)實生活中問題的解決方案。

本文作者的論文是基于計算機視覺技術(shù)對四足動物進行運動分析，其中用到的關(guān)鍵性計算機視覺技術(shù)是姿態(tài)估計。 這是他第一次接觸深度學(xué)習(xí)框架，所以決定以使用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)解決方案來進行運動分析。

在深度學(xué)習(xí)框架的選擇上，他曾來回使用 Caffe 和 Keras，但最終選擇了 PyTorch，因為該框架提供了與任務(wù)相關(guān)的預(yù)訓(xùn)練模型。作者使用的編程語言為 Python。

以下是作者在撰寫論文的過程中學(xué)到的一些東西：

遷移學(xué)習(xí) / 調(diào)優(yōu)

Python 編程語言

C# 編程語言

姿態(tài)估計的理論知識

使用 Unity3D 進行仿真的知識

Google 云平臺的使用經(jīng)驗

關(guān)于運動分析研究的更多信息

運動分析指的是從清晰的運動圖像中獲取運動的信息和細節(jié)，或者表示序列到序列的運動描述的圖像排序。利用運動分析的應(yīng)用和操作可以得到有關(guān)運動感知和關(guān)鍵點定位的最直接細節(jié)信息。復(fù)雜的應(yīng)用程序使得我們可以利用序列相關(guān)的圖像逐幀追蹤目標(biāo)對象。 目前，在利用時序數(shù)據(jù)時，運動分析及其各種各樣的應(yīng)用形式帶來了顯著的好處和豐富的信息。不同行業(yè)（如醫(yī)療保健、制造業(yè)、機械、金融等）都受益于通過運動分析提供的結(jié)果和信息。在這些行業(yè)中，運動分析的各種用例和方法可以解決問題或者為消費者創(chuàng)造價值。

在整個行業(yè)中，運動分析的多樣性間接地引入了各種各樣的運動分析任務(wù)子集，如姿態(tài)估計、目標(biāo)檢測、目標(biāo)追蹤、關(guān)鍵點檢測，以及其它不同的子集。 關(guān)于論文的更多信息

本文作者的碩士論文提出了一種利用計算機視覺和機器學(xué)習(xí)技術(shù)進行運動分析的方法。該方法利用四足動物合成圖像數(shù)據(jù)集訓(xùn)練了一個預(yù)訓(xùn)練好的關(guān)鍵點檢測網(wǎng)絡(luò)。

Keypoint-RCNN 是 PyTorch 程序庫的內(nèi)置模型，它擴展了原始的 Fast-RCNN 和 Faster-RCNN 的功能。具體來說，論文中的方法修改了在 COCO 2017 目標(biāo)檢測和分割數(shù)據(jù)集上預(yù)訓(xùn)練的 Keypoint-RCNN 神經(jīng)網(wǎng)絡(luò)架構(gòu)，并利用合成的數(shù)據(jù)集對最后一層進行了重訓(xùn)練。

通過擴展人體 17 個關(guān)節(jié)的關(guān)鍵點檢測基線框架，作者展示了該框架的一種擴展變體，它可以預(yù)測若干生成的帶有 26 個關(guān)節(jié)的四足動物的主要關(guān)節(jié)位置。

作者采用定量和定性評價策略，展示了改進后的 Keypoint-RCNN 架構(gòu)在預(yù)測人工四足動物關(guān)鍵點時的視覺和度量性能。

緊跟最新研究，持之以恒地學(xué)習(xí)

機器學(xué)習(xí)領(lǐng)域正發(fā)生著日新月異的變化，本文作者的課程學(xué)習(xí)內(nèi)容對應(yīng)了該領(lǐng)域 2018-2019 年的發(fā)展現(xiàn)狀?，F(xiàn)在到了 2020 年，我們已經(jīng)看到機器學(xué)習(xí)對其它領(lǐng)域的巨大貢獻。所以，如果你參加了一門機器學(xué)習(xí)課程，并且學(xué)習(xí)到了本文作者在這篇文章中并沒有提到的話題或?qū)W科領(lǐng)域，請不要感到驚訝。

不要忘記，在人工智能領(lǐng)域中，你不僅僅需要學(xué)習(xí)創(chuàng)建模型。作為一個機器學(xué)習(xí)從業(yè)者，你必須緊跟最新的研究，所以要不斷學(xué)習(xí)。

編輯：jq