微軟亞洲研究院成立20周年時表示：NLP將迎來黃金十年。

ACL2019NLP進展趨勢也主要包括：預(yù)訓(xùn)練語言模型、低資源NLP任務(wù)（遷移學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/多任務(wù)學(xué)習(xí)/主動學(xué)習(xí)）、模型可解釋性、更多任務(wù)&數(shù)據(jù)集。

【預(yù)訓(xùn)練語言模型】已經(jīng)形成了一種新的 NLP 范式：使用大規(guī)模文本語料庫進行預(yù)訓(xùn)練，對特定任務(wù)的小數(shù)據(jù)集微調(diào)，降低單個 NLP 任務(wù)的難度。

預(yù)訓(xùn)練模型最開始是在圖像領(lǐng)域提出的，獲得了良好的效果，近幾年才被廣泛應(yīng)用到自然語言處理各項任務(wù)中。

預(yù)訓(xùn)練模型的應(yīng)用通常分為兩步：

第一步：在計算性能滿足的情況下用某個較大的數(shù)據(jù)集訓(xùn)練出一個較好的模型；

第二步：根據(jù)不同的任務(wù)，改造預(yù)訓(xùn)練模型，用新任務(wù)的數(shù)據(jù)集在預(yù)訓(xùn)練模型上進行微調(diào)。

預(yù)訓(xùn)練模型的好處是訓(xùn)練代價較小，配合下游任務(wù)可以實現(xiàn)更快的收斂速度，并且能夠有效地提高模型性能，尤其是對一些訓(xùn)練數(shù)據(jù)比較稀缺的任務(wù)。

今天，給大家推薦的這10篇學(xué)術(shù)論文，都是經(jīng)典中的經(jīng)典，對大家在學(xué)習(xí)預(yù)訓(xùn)練模型時有很大幫助。其中有圖靈獎得主的經(jīng)典之作，也有最強的特征提取器、最強的NLP模型、最全的大規(guī)模預(yù)訓(xùn)練模型，還有ACL2020最佳論文。

10篇經(jīng)典人工智能學(xué)術(shù)論文

這些論文是由老師盡心挑選的，非常適合對預(yù)訓(xùn)練模型有所了解的同學(xué)、有一定基礎(chǔ)的NLP同學(xué)、對詞向量有了解的同學(xué)、合適NLP知識進階同學(xué)等。