編者按：幾天前，有人統(tǒng)計了歷年ICLR論文錄用者使用的深度學(xué)習(xí)框架，發(fā)現(xiàn)雖然TensorFlow還高居榜首，但PyTorch近一年來的使用數(shù)據(jù)已經(jīng)翻了3倍，可以和TF比肩。這是個令人驚訝的消息，也讓不少從業(yè)者開始正視這一發(fā)展趨勢，籌備“雙修”事宜。在下文中，論智給讀者帶來的是fast.ai發(fā)布的一個簡便、好用的PyTorch庫——對PyTorch感興趣的讀者不妨先從這個庫開始試手。

隨著互聯(lián)網(wǎng)和知識傳播的深度結(jié)合，現(xiàn)在在線課程對許多人來說已經(jīng)不是新鮮事物。在深度學(xué)習(xí)領(lǐng)域，最受學(xué)生歡迎的MOOC課程平臺有三個：Fast.ai、deeplearning.ai /Coursera和Udacity。其中，因為Jeremy Howard化繁為簡、實戰(zhàn)為上的獨特授課風(fēng)格，F(xiàn)ast.ai給人的印象一直很“接地氣”：

研究如何快速、可靠地把最先進的深度學(xué)習(xí)應(yīng)用于實際問題。

提供Fast.ai庫，它不僅是讓新手快速構(gòu)建深度學(xué)習(xí)實現(xiàn)的工具包，也是提供最佳實踐的一個強大而便捷的資源。

課程內(nèi)容簡潔易懂，以便盡可能多的人從研究成果和軟件中收益。

國慶期間，F(xiàn)ast.ai發(fā)布一個新的、面向深度學(xué)習(xí)的免費開源庫——fastai。這是個PyTorch庫，雖然還是預(yù)覽版，但它目前已經(jīng)為最重要的深度學(xué)習(xí)應(yīng)用程序和數(shù)據(jù)類型提供了一致的API，且相比其他深度學(xué)習(xí)庫，它在準(zhǔn)確性和速度上有顯著提高，同時所需的代碼大大減少。

感興趣的開發(fā)者可以訪問fastai的GitHub進行安裝：github.com/fastai/fastai/

fastai庫

從去年宣布開發(fā)開始，歷時18個月，fastai深度學(xué)習(xí)庫v1.0終于和大家見面了。在項目啟動之初，開發(fā)人員就曾介紹過PyTorch作為一個平臺的優(yōu)勢：可以利用常規(guī)python代碼的靈活性和各種函數(shù)構(gòu)建、訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以解決更廣泛的問題……

現(xiàn)在，經(jīng)過Fast.ai團隊和PyTorch團隊的共同努力，我們迎來了一個為計算機視覺、文本、表格數(shù)據(jù)、時間序列、協(xié)同過濾等常見深度學(xué)習(xí)應(yīng)用提供單一一致界面的深度學(xué)習(xí)庫。這意味著，如果你已經(jīng)學(xué)會用fastai創(chuàng)建實用的計算機視覺（CV）模型，那你就可以用同樣的方法創(chuàng)建自然語言處理（NLP）模型，或是軟件支持的其他模型。

早期用戶使用反饋

GitHub上的語義代碼搜索

Fast.ai的課程是GitHub的數(shù)據(jù)科學(xué)家和高管（包括CEO在內(nèi)）提高數(shù)據(jù)素養(yǎng)的一個重要途徑，其中，Github的高級機器學(xué)習(xí)科學(xué)家Hithl Husain在過去兩年中一直通過Fast.ai學(xué)習(xí)深度學(xué)習(xí)，他認(rèn)為這些MOOC課程開啟了Github的數(shù)據(jù)新時代，使數(shù)據(jù)科學(xué)家們更有信心解決機器學(xué)習(xí)中的最新問題。

作為fastai的第一批使用者，Hithl Husain和他的同事Ho-Hsiang Wu最近發(fā)布了一個實驗版工具“語義代碼搜索”，允許開發(fā)者直接通過意義而不是關(guān)鍵詞匹配來查找代碼，這意味著最佳搜索結(jié)果不一定包含你搜索的單詞。在官方博客文章中，他們介紹了自己棄用Tensorflow Hub轉(zhuǎn)而投向fastai的原因，稱后者能更輕松地訪問最先進的架構(gòu)（如AWD LSTMs）和技術(shù)（如隨機重啟循環(huán)學(xué)習(xí)率）。

語義代碼搜索

在過去的12個月里，Husain一直在體驗預(yù)發(fā)布版本的fastai庫。他表示：

我之所以選擇fast.ai，是因為它能在保證相同性能的情況下，用模塊化、高級API實現(xiàn)最先進的技術(shù)和創(chuàng)新，同時減少計算量。語義代碼搜索只是冰山一角，銷售、營銷、反欺詐，人們能用fastai為各行各業(yè)帶去革命性的變化。

生成音樂

Christine McLeavey Payne是從上一期Fast.ai深度學(xué)習(xí)課程中脫穎而出的一名學(xué)生。她的人生經(jīng)歷非常豐富：從舊金山交響樂團的古典鋼琴師，到金融領(lǐng)域的HPC專家，再到斯坦福大學(xué)的神經(jīng)科學(xué)和醫(yī)學(xué)研究員?，F(xiàn)在，她已經(jīng)在OpenAI開啟了又一段人生旅途，而在近期的OpenAI項目中，她用fastai創(chuàng)建了一個能生成鋼琴曲和室內(nèi)音樂的LSTM——Clara。

fastai是一個了不起的資源，即便是我這樣剛接觸深度學(xué)習(xí)的新手，也能用短短幾行代碼就得到fastai模型。我不完全知道這些先進技術(shù)背后的原理，但我的模型能運行，而且訓(xùn)練用時更短，性能也更好。

她的音樂生成模型基于上課期間她構(gòu)建的一個語言模型，利用fastai庫對NLP最新技術(shù)的支持，她在短短兩周內(nèi)就完成了這個音樂生成項目，并取得了很好的初步成果。這是fastai庫實用性的一個典例，只需少量修改，開發(fā)者就能把文本分類模型改成音樂生成模型，這在實踐中能節(jié)省大量時間和精力。

IBM Watson高級研究員對音樂生成器Clara的評價

藝術(shù)創(chuàng)作

建筑師、投資者Miguel Pérez Michaus一直在用預(yù)發(fā)布版本的fastai進行他的“Style Reversion（風(fēng)格還原）”實驗。所謂“風(fēng)格還原”，就是把風(fēng)格遷移后的圖像恢復(fù)成原本的樣子，如下圖所示：

風(fēng)格還原

他表示：“我喜歡用fastai創(chuàng)作，因為它能實現(xiàn)Keras不能實現(xiàn)的東西，比如生成‘不標(biāo)準(zhǔn)’的東西?！弊鳛樵缙谟脩?，他在過去12個月中目睹了fastai的更新迭代：

我很幸運地體驗了fastai的A測版本，雖然只是Alpha版，但它充分展示了自己的實用性和靈活性，而且允許我這樣具有領(lǐng)域知識但沒有正式計算機科學(xué)背景的人上手操作。fastai會變得越來越好。對于深度學(xué)習(xí)的未來，我個人有一點粗淺的認(rèn)識，就是我們必須要詳細(xì)掌握黑盒背后的真實技術(shù)原理，在這種情況下，我認(rèn)為fastai會廣受歡迎。

學(xué)術(shù)研究

在NLP領(lǐng)域，波蘭語一直是一個挑戰(zhàn)，因為它是一種形態(tài)豐富的語言，如波蘭語形容詞會根據(jù)名詞的數(shù)和性而變化。企業(yè)家Piotr Czapla和Marcin Kardas是深度學(xué)習(xí)咨詢公司n-wave的聯(lián)合創(chuàng)始人，基于Cutting Edge Deep Learning For Coders這門課程中顯示的思路，他們用fastai開發(fā)了一種新的波蘭語文本分類算法，并在波蘭頂級NLP學(xué)術(shù)競賽中獲得一等獎，有關(guān)這項新研究的論文即將發(fā)布。

根據(jù)Czapla的說法，fastai庫對他們的成功至關(guān)重要：

fastai適合那些沒有上百臺服務(wù)器的普通人，這是我很喜歡它的一點。它支持快速開發(fā)和原型設(shè)計，并融入了所有最好的深度學(xué)習(xí)實踐。同時，F(xiàn)ast.ai課程是我開始學(xué)習(xí)深度學(xué)習(xí)的指路明燈，從上課的那天起，我才開始思考深度學(xué)習(xí)能做什么。

示例：計算機視覺領(lǐng)域的遷移學(xué)習(xí)

Kaggle上有一個非常受歡迎的競賽項目：Dogs vs Cats。參賽者需要編寫一個算法來分類圖像是包含狗還是貓。這也是Fast.ai課程中經(jīng)常涉及的一個競賽，因為它代表了一類重要問題：基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)。

我們將以此為例，從所需代碼量、準(zhǔn)確性和速度三個指標(biāo)上比較Keras和fastai的差異。以下是用fastai進行2-stage微調(diào)時的所有代碼——不僅要編寫的代碼非常少，設(shè)置的參數(shù)也非常少：

data = data_from_imagefolder(Path('data/dogscats'),

ds_tfms=get_transforms(), tfms=imagenet_norm, size=224)

learn = ConvLearner(data, tvm.resnet34, metrics=accuracy)

learn.fit_one_cycle(6)

learn.unfreeze()

learn.fit_one_cycle(4, slice(1e-5,3e-4))

下表是兩個深度學(xué)習(xí)庫的差異對比：

Keras是現(xiàn)在最流行的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法之一，以上數(shù)據(jù)雖然是片面的，但fastai的改進能從側(cè)面說明Keras并不完美，它還有很大的改善空間。而無論是Keras還是其他深度學(xué)習(xí)庫，要完成同樣的任務(wù)，它們所需的代碼量都遠遠超過fastai，相應(yīng)的，它們的訓(xùn)練時間會更長，且模型性能不一定會更好。

此外，fastai在NLP任務(wù)上也有強勁表現(xiàn)。下表是ULMFiT論文中的一幅截圖，顯示了文本分類算法ULMFiT與IMDb數(shù)據(jù)集中排名靠前的算法的相對誤差：

文本分類性能總結(jié)

fastai是目前唯一提供此算法的庫，由于該算法是內(nèi)置的，你可以直接參考上面的Dogs vs Cats代碼復(fù)現(xiàn)論文結(jié)果。以下是訓(xùn)練ULMFiT語言模型的方法：

data = data_from_textcsv(LM_PATH, Tokenizer(), data_func=lm_data)

learn = RNNLearner.language_model(data, drop_mult=0.3,

pretrained_fnames=['lstm_wt103', 'itos_wt103'])

learn.freeze()

learn.fit_one_cycle(1, 1e-2, moms=(0.8,0.7))

learn.unfreeze()

learn.fit_one_cycle(10, 1e-3, moms=(0.8,0.7), pct_start=0.25)

小結(jié)

在之后的幾個月中，F(xiàn)ast.ai會陸續(xù)發(fā)布有關(guān)這個深度學(xué)習(xí)庫的學(xué)術(shù)論文和博客文章，包括開一門新課。我們會繼續(xù)關(guān)注開發(fā)團隊的進展，讀者在玩轉(zhuǎn)TensorFlow之余，也可以多多了解一下潛力無窮的PyTorch，體驗不一樣的“風(fēng)景”。