編者按：這是一篇即將在ICML 2018研討會上發(fā)表的文章，它的作者是卡內(nèi)基梅隆大學(xué)助理教授Zachary C. Lipton和斯坦福大學(xué)研究生Jacob Steinhardt。雖然對于這樣一個國際頂會，這兩名青年學(xué)者只是籍籍無名的小輩，但近日，他們的批評卻引來大量專家支持，也引發(fā)了學(xué)界的深思。去年8月，Zachary C. Lipton還就“是否該在論文引用中列出arXiv預(yù)印本”作過呼吁，他認為即便arXiv預(yù)印本質(zhì)量參差不齊、沒有正式發(fā)表，如果用到了其中的觀點，就該保障預(yù)印本作者的權(quán)益，此事一時傳為美談。

因為文章過長，本文會出現(xiàn)意譯和示例刪減，還請讀者包涵。

1 簡介

機器學(xué)習（ML）研究人員的共同目標是創(chuàng)建和傳播有關(guān)數(shù)據(jù)驅(qū)動算法的知識。在一篇論文中，他們希望自己能達成以下目標：理論概括、實驗論證，或是構(gòu)建準確率更高的工作架構(gòu)。雖然在調(diào)研過程中選用什么知識是主觀的，但一旦形成了成果，論文就應(yīng)該為讀者服務(wù)，解釋清楚基礎(chǔ)概念，方便讀者溝通交流，換言之，它該對社區(qū)體現(xiàn)完整價值。

那么，什么樣的論文最能服務(wù)讀者？這里我們列舉一些特征：這些論文應(yīng)該（i）提供幫助讀者理解的直覺——明確區(qū)別于有證據(jù)支持的更強有力的結(jié)論；（ii）介紹之所以排除其他假設(shè)的實證調(diào)查；（iii）明確理論分析、直覺和經(jīng)驗總結(jié)之間的關(guān)系；（iv）使用術(shù)語以避免概念混淆，方便讀者理解。

盡管經(jīng)常偏離上述思想，但近年來機器學(xué)習的新成果仍在不斷涌現(xiàn)。本文將關(guān)注論文中常見的4種弊端，借此窺探機器學(xué)習學(xué)術(shù)圈的不良趨勢：

未能區(qū)分解釋（explanation）和推測（speculation）；

未能明確“進步”的來源，比如模型性能提高明明是因為調(diào)參，但有些作者還是會過分強調(diào)沒什么效果的模型架構(gòu)修改；

數(shù)學(xué)性：在進行數(shù)學(xué)論證時使用模糊的、帶有暗示的描述，比如混淆專業(yè)和非專業(yè)概念；

濫用表述，比如用口語、藝術(shù)性語言描述成果，而不是大家認可的專業(yè)術(shù)語。

雖然這些弊端背后的原因尚未可知，但機器學(xué)習社區(qū)迅速擴張、缺乏論文審查人員、學(xué)術(shù)成就和短期成功之間的錯位獎勵（論文引用、關(guān)注度和創(chuàng)業(yè)機會）等都是可能的誘因。盡管這些弊端都有補救方法，我們還是建議大家不要這么做。

隨著機器學(xué)習的影響力越來越大，研究論文的受眾除了學(xué)生，還有媒體記者和政府人員，這些都是論文寫作的考慮因素。通過用清晰的表達傳遞更準確的信息，我們可以加快研究進度、縮短新研究人員的入職時間，并在公共話語中發(fā)揮更具建設(shè)性的作用。

有缺憾的學(xué)術(shù)成果可能會誤導(dǎo)民眾，它們也會損害機器學(xué)習的知識基礎(chǔ)，進而阻礙未來的研究。事實上，在人工智能的發(fā)展史中，或者更廣泛地說，在科學(xué)研究中，這些問題一直是周而復(fù)始產(chǎn)生的。1976年，Drew McDermott曾指責人工智能社區(qū)缺乏自律，他預(yù)言“如果我們不批評自己，別人遲早會代勞”。類似的討論貫穿整個80年代、90年代。而現(xiàn)在，它又出現(xiàn)了。對于心理學(xué)等其他領(lǐng)域，不嚴謹?shù)膶嶒灅藴试蟠笙魅趿诉@些學(xué)科的學(xué)術(shù)權(quán)威。相比之下，機器學(xué)習目前的地位是迄今為止大量嚴謹研究，包括理論研究和經(jīng)驗堆砌起來的。

2 免責聲明

本文旨在促進討論，ICML機器學(xué)習辯論研討會向我們征集論文，這是我們的回應(yīng)。雖然觀點是我們提出的，但這里描述的問題并不是機器學(xué)習社區(qū)的通病，我們也不會討論整體科研論文質(zhì)量，更沒有意愿針對具體某個個人或機構(gòu)，最后得出什么批斗性結(jié)論。

這是作為內(nèi)行人的關(guān)鍵自省，不是來自外行人的狙擊。我們自己也可能陷入這些弊病，并在未來反復(fù)“病發(fā)”。雖然文中涉及一些具體示例，但我們的原則是（i）以自己作為例證；（ii）優(yōu)先選擇更權(quán)威、更成熟的研究人員和機構(gòu)。我們?yōu)樽约簩儆谝粋€自由的社區(qū)感到慶幸，感謝它允許我們表達批判性觀點。

3 令人不安的趨勢

在本節(jié)中，我們（i）描述弊端趨勢；（ii）為趨勢提供幾個例子（包括正面例子）；（iii）解釋后果。由于指出個別論文中的弱點可能是一個敏感話題，我們會盡量避免這種情況。

3.1解釋與推測

對新領(lǐng)域進行探索通常需要基于直覺，但這些直覺并沒有經(jīng)科學(xué)驗證形成正式定義。根據(jù)我們的發(fā)現(xiàn)，盡管這些直覺并沒有經(jīng)過科學(xué)審查，但一些研究人員還是會直接把它當成一個專業(yè)事實，在上面“擺事實，講道理”，然后在推測的基礎(chǔ)上進行解釋。最后，閱讀論文的人對作者的“專業(yè)素養(yǎng)”深信不疑，對結(jié)果信以為真，這個直覺就成了具有權(quán)威的“真理”。

例如，[33]這篇Google論文圍繞“內(nèi)部協(xié)變量轉(zhuǎn)換”（internal covariate shift）提出了一個直觀的理論。從摘要開始，作者就稱：

深層網(wǎng)絡(luò)訓(xùn)練時，由于模型參數(shù)在不斷修改，所以各層的輸入的概率分布在不斷變化，這使得我們必須使用較小的學(xué)習率及較好的權(quán)重初值，導(dǎo)致訓(xùn)練很慢，同時也導(dǎo)致使用saturating nonlinearities 激活函數(shù)時訓(xùn)練很困難。這種現(xiàn)象加 internal covariate shift ，解決辦法是：對每層的輸入進行歸一化?！g者注：這篇論文被視為“2015年最牛的論文”，影響力頗大

根據(jù)這些描述，這個現(xiàn)象和歸因似乎成了個專業(yè)事實，論文也有理有據(jù)。但它的證明在哪兒？無論現(xiàn)實是怎樣的，像這樣不夠清晰的關(guān)鍵術(shù)語解釋是不足為信的。

又比如，這篇論文指出Batch Normalization可以在訓(xùn)練過程中通過減少隱藏激活函數(shù)的分布變化來提高模型性能，但文中絲毫沒有提及對這種變化的量化方法。盡管已經(jīng)有研究表明Batch Normalization的解釋可能不準確[65]，但[33]給出的推測性解釋已經(jīng)被一些研究人員認做是事實，“眾所周知，由于內(nèi)部協(xié)變量轉(zhuǎn)換的存在，深層神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)很難優(yōu)化……”[60]。

在[72]中，本文作者之一的Jacob Steinhardt也出現(xiàn)了同樣的問題（累了，不譯），但我們還是來看一個積極的例子，比如論文[3]。這篇文章是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的實用指南，但作者并沒有宣揚權(quán)威性，而是表示：“雖然這些建議來自……多年實驗，并且在某種程度上有數(shù)學(xué)支撐，但它們應(yīng)該受到挑戰(zhàn)。它們是一個很好的起點……但沒有經(jīng)過正式驗證，留下了許多問題亟待解決。”

3.2未能明確“進步”的來源

機器學(xué)習同行評審非常重視技術(shù)新穎性。為了滿足評委胃口，現(xiàn)在許多論文都會出現(xiàn)復(fù)雜的模型和花哨的數(shù)學(xué)推斷。雖然復(fù)雜模型本身是合理的，但它不是技術(shù)進步的唯一體現(xiàn)方式：巧妙的問題公式、科學(xué)實驗、優(yōu)化、數(shù)據(jù)預(yù)處理、大范圍調(diào)參、將現(xiàn)有算法用于新任務(wù)……有時候，如果研究人員用許多技術(shù)實現(xiàn)了一個突破性成果，那他就有義務(wù)讓讀者明白這個成果究竟該歸因于哪個必需的技術(shù)。

很多時候，作者的確提出了許多改進方法，卻因為沒有適當?shù)叵庋芯?，反而模糊了“進步”的來源。而有時，這些進步實際上只是由一項改進帶來的。在這種情況下，作者看起來好像是做了很多工作，但事實上他們做的還遠遠不夠。而這種錯誤印象還會誤導(dǎo)讀者，讓他們以為所有改進都是必要的。

最近，Melis等人[54]公布了一項成果，他們用大規(guī)模自動黑盒超參數(shù)調(diào)整重新評估一些流行RNN，發(fā)現(xiàn)它們的進步在于更好的超參數(shù)調(diào)整，而不是架構(gòu)上的復(fù)雜創(chuàng)新。如果大家處于同一起跑線，那么自1997年以來幾乎沒有任何修改的原版LSTM還是名列前茅。比起分心去做其他研究，也許社區(qū)能從調(diào)參細節(jié)中收益更多。對于深度強化學(xué)習[30]和生成對抗網(wǎng)絡(luò)[51]，一些類似的評估論文也引起過爭議。如果想了解關(guān)于這類問題的更多內(nèi)容，推薦看ICLR 2018研討會的這篇文章[68]。

相比之下，[41,45,77,82]這幾篇論文對研究過程進行了很好的消解，[10,65]還回顧研究過程，通過分離改進找到了新發(fā)現(xiàn)。當然，消解對于理解方法來說既不是必要的，也不是充分的，如果有計算算力限制，實現(xiàn)它還可能是不切實際的。但除此之外，我們也可以通過檢查模型的穩(wěn)健性（魯棒性）和定性誤差分析來找出原因。

對于旨在理解的實證研究，它們甚至可以在沒有新算法的情況下得到成果。比如通過探究神經(jīng)網(wǎng)絡(luò)的行為，研究人員可以區(qū)分它對對抗性擾動的敏感性[74]；通過仔細研究，他們可以發(fā)現(xiàn)數(shù)據(jù)集對更強大基線模型的限制；論文[11]研究設(shè)計用于閱讀理解新聞段落的任務(wù)，發(fā)現(xiàn)其中有73%的問題可以從同一個句子中找到答案，而只有2%的問題需要查看多個句子。此外，本著同樣的精神，比起復(fù)雜的神經(jīng)架構(gòu)，更簡單的神經(jīng)網(wǎng)絡(luò)和線性分類器往往表現(xiàn)更好。

3.3數(shù)學(xué)性

博士前期寫論文時，我們（ZL）曾收到一位經(jīng)驗豐富的博士后的反饋：你們的論文需要更多方程。他沒有評判論文成果，只是建議論文看起來應(yīng)該更清晰一些。即便論文內(nèi)容晦澀難懂，如果里面包含更多計算方程，評審員也會認為它有過人的專業(yè)深度。

數(shù)學(xué)是科學(xué)交流的重要工具，如果使用方法正確，它傳遞的信息是高度精確和清晰的。然而，并不是所有想法和主張都適合用數(shù)學(xué)描述，自然語言同樣是一種不可或缺的交流工具，它在表述直覺和經(jīng)驗主張時尤為突出。

當我們把數(shù)學(xué)和自然語言結(jié)合在一起，卻沒有明確它們的關(guān)系時，無論是散文還是理論，我們都表述不好：理論中的問題可能會用模糊的定義來概述，散文中的情感抒發(fā)卻可以被數(shù)理推斷來“論證”。數(shù)學(xué)是正式和非正式表述的結(jié)合體，就像經(jīng)濟學(xué)家Paul Romer所說的：就像數(shù)學(xué)理論一樣，數(shù)學(xué)是語言和符號的混合，但它沒有做緊密聯(lián)系，而是在自然語言和形式語言之間留下一個充足的平滑空間。

伴隨數(shù)學(xué)性產(chǎn)生的弊端主要表現(xiàn)在以下幾方面：

首先，一些論文會濫用數(shù)學(xué)來體現(xiàn)文章的深度——強行有深度。假定理其中最常見的形式，通過把定理插進論文中，論文有了實證結(jié)果，看起來也更具權(quán)威性——即便這個定理和論文完全沒關(guān)系。我們（JS）在[70]里就犯了這個錯，論文中對“staged strong Doeblin chains”的討論和提出的算法幾乎沒什么關(guān)系，但讀者可能會覺得很有深度。

Adam這篇論文[35]很好，但也證明這個問題無處不在。論文中介紹了凸優(yōu)化情況下的收斂定理，然而這不是一篇凸優(yōu)化論文，這是不必要的。后來，[63]也證實那是錯誤的。

其次，一些論文的數(shù)學(xué)表述既不正式，也不非正式。舉個例子，[18]這篇論文認為神經(jīng)網(wǎng)絡(luò)的優(yōu)化困難不是源于局部最小值，而是鞍點。作為證據(jù)，他們引用了一篇關(guān)于高斯隨機場的統(tǒng)計物理論文[9]，指出高維“高斯隨機場的所有局部最小值都可能有一個非常接近全局最小值的誤差”。這看起來是一個很正式的主張，但缺乏一個明確的定理，所以它的結(jié)果很難驗證。如果研究人員能給出一個正式的聲明，這里的疑問就可以被解決了。在[18]中，研究人員發(fā)現(xiàn)局部最小值比鞍點具有更低的損失，也給出了清晰的說明和實驗，內(nèi)容也更有趣。

最后，一些論文引用的理論太寬泛了，是否能在這個場景下使用這個定理還存疑。比如一些人喜歡用“天底下沒有免費的午餐”來類比使用沒有保證的啟發(fā)式方法，但這句話的本意并沒有說我們不能學(xué)習啊。

雖然避免使用方程是對數(shù)學(xué)性問題的最佳補救方法，但一些論文也以身示范，證明數(shù)學(xué)不是“洪水猛獸”。比如最近發(fā)表的論文[8]以扎實的方式涵蓋大量數(shù)學(xué)基礎(chǔ)，而且這些數(shù)據(jù)計算還和應(yīng)用問題有明確聯(lián)系。我們在此強烈推薦這篇論文，剛?cè)胄械男率忠部梢詤⒖贾芯克麄兊姆较颉?/p>

3.4濫用表述

我們找出了機器學(xué)習論文中濫用表述的三種常見形式：暗示性定義、濫用已有術(shù)語、濫用行李箱詞。

3.4.1暗示性定義

暗示性定義指的是新造一個專業(yè)術(shù)語，它具有暗示性的口語含義，只看字面意思就能理解。這些詞經(jīng)常出現(xiàn)在擬人化任務(wù)（閱讀理解[31]、音樂理解[59]）和技巧型任務(wù)（好奇[66]、害怕[48]）中。許多論文會以人類認知的方式來命名模型的組成部分，比如“思想載體”[36]和“意識先驗”[4]。我們不是說這些詞一定不能用，如果合格，它們和機器學(xué)習的關(guān)系可能會成為創(chuàng)建表述的有效靈感來源。然而，當一個暗示性定義被當成專業(yè)術(shù)語時，今后的論文就沒有選擇余地了，研究人員只能用這個術(shù)語，否則讀者會感到困惑。

另一方面，用“人類”表現(xiàn)來描述機器學(xué)習成果可能會產(chǎn)生對當前技術(shù)水平的認知錯誤。以[21]中的“皮膚病專家級皮膚癌分類”為例，研究人員通過用分類器和皮膚科專家進行比較，掩蓋了兩者執(zhí)行的任務(wù)有本質(zhì)區(qū)別的事實。真正的皮膚科專家會遇到各種情況，盡管有不可預(yù)測的變化，但他們必須給出診斷意見，而分類器只是在測試數(shù)據(jù)上實現(xiàn)了低誤差。同樣的，[29]里分類器也稱自己在ImageNet分類任務(wù)上比人類更具優(yōu)勢。試想一下，在那么多“口無遮攔”[21,57,75]的論文中，即便我們有一篇表述嚴謹?shù)?，它能讓公眾話語重回正軌嗎？

雖然深度學(xué)習論文不是唯一的“始作俑者”，但這個領(lǐng)域濫用表述的現(xiàn)象確實影響到了其他機器學(xué)習子域的研究。比如[49]研究的是算法“公平性”的問題，它很好地展示了研究人員是怎么用法律術(shù)語搞機器學(xué)習研究的，里面最突出的例子是他們把一個表達統(tǒng)計平等概念的簡單方程命名為“不同的影響”。由此產(chǎn)生的問題就是大家開始參考著用“公平”“機會”和“歧視”表示簡單預(yù)測模型的統(tǒng)計數(shù)據(jù)，然后民眾和政府官員就會誤以為把道德需求納入機器學(xué)習是一件很艱難的事。

3.4.2濫用已有術(shù)語

第二種濫用方式包括使用已有的專用術(shù)語，但是會以不精確，甚至互相矛盾的方式來使用它。比如deconvolution（轉(zhuǎn)置卷積、反卷積、逆卷積、去卷積:astonished:），它描述的是卷積的逆運算，但在深度學(xué)習論文中，尤其是自動編碼器和生成對抗網(wǎng)絡(luò)論文中，這個詞卻被等同于transpose convolutions（轉(zhuǎn)置卷積，也稱up-convolutions上卷積）。當[79]第一次在深度學(xué)習論文中提到這個詞時，它的定義還是準確的，但[78,50]一引用概括，它就成了任何使用上卷積的神經(jīng)架構(gòu)。這種術(shù)語的濫用會造成持久的混亂，如果現(xiàn)在有一篇新機器學(xué)習論文，里面出現(xiàn)了deconvolution，它的意思可能是（i）原始含義，（ii）上卷積，或（iii）試圖解決這種混淆[28]。

作為另一個例子，我們來看生成模型（generative model）和判別模型（discriminative model）。從一般定義上來說，如果輸入的分布是p(x)或是聯(lián)合分布p(x,y)，它就是個生成模型；相反地，判別模型處理的是條件概率分布P(y|x)。然而，在最近的論文中，“生成模型”成了產(chǎn)生逼真結(jié)構(gòu)化數(shù)據(jù)的模型的統(tǒng)稱。從表面上看，這和定義似乎沒有沖突，但它掩蓋了幾個缺點——例如，GAN和VAE無法執(zhí)行條件推理（x1和x2是兩個不同的輸入特征，它們無法從p(x2|x1)中采樣）。在這個曲解的基礎(chǔ)上，一些人也開始把判別模型形容成負責生成結(jié)構(gòu)化輸出的生成模型[76]。我們（ZL）在[47]中也犯了這個錯誤。

我們繼續(xù)看之前提到的Batch Normalization，[33]把協(xié)變量轉(zhuǎn)換（covariate shift）描述為模型輸入分布的變化，事實上，這個詞指的是特定類型的轉(zhuǎn)換——盡管輸入分布p(x)可能會發(fā)生變化，但p(y|x)不會變[27]。此外，由于[33]的誤用，現(xiàn)在谷歌學(xué)術(shù)已經(jīng)把Batch Normalization列為“協(xié)變量轉(zhuǎn)換”的一個項參考。

像這樣濫用已有術(shù)語的后果之一是我們可以通過“偷換概念”來定義一些未解決任務(wù)，然后方便自己引用以往成果，從而包裝沒什么實質(zhì)進展的“進步”。它通常會和暗示性定義相結(jié)合。語言理解和閱讀理解，這些都曾是AI的巨大挑戰(zhàn)，現(xiàn)在卻成了對特定數(shù)據(jù)集做出預(yù)測[31]。

3.4.3行李箱詞

最后，我們來看ML論文中常見的過度使用行李箱詞（Suitcase Words）。這是Minsky在2007年出版的《The Emotion Machine》[56]中創(chuàng)造的新詞，指的是匯集了各種意義的一類詞匯，比如意識、思維、注意力、情感和感覺，它們的生成機制和來源也許不同，但我們可以把它們統(tǒng)稱為“心理過程”。機器學(xué)習中有很多類似的詞匯，如[46]就指出“可解釋性”這個詞并沒有一個普遍認可的含義，它常出現(xiàn)在不同方法、不同需求的論文中。因此，雖然論文表述看起來差不多，但它們的也許表達不同的概念。

再如generalization，這個詞可以概括一項特定技術(shù)（概括訓(xùn)練到測試），也可以表示互相接近的兩個概念之間的轉(zhuǎn)移（從一個群體推廣到另一個群體），甚至還能衍生到外部（從實驗環(huán)境推廣到現(xiàn)實環(huán)境）。如果把這些概念混為一談，我們會高估當前技術(shù)的水平。

當暗示性定義和濫用已有術(shù)語相結(jié)合時，新的行李箱詞往往隨之而生。在涉及“公平性”的論文中，法律、哲學(xué)、統(tǒng)計語言學(xué)的術(shù)語經(jīng)常被濫用，然后這些詞隨后就會被一個叫“偏見”的詞籠統(tǒng)概括[17]。

如果是演講或是談理想，行李箱詞確實可以起到有效的作用，因為它反映了將各種含義統(tǒng)一起來的總體概念。比如人工智能就是一個理想名詞。另一方面，在技術(shù)論證過程中過多地使用行李箱詞可能會導(dǎo)致混淆，例如[6]這本書中用術(shù)語和優(yōu)化能力寫了一些等式，非常不嚴謹?shù)匕阉鼈兗僭O(shè)為同一類東西。

4 趨勢背后的原因

上述問題是否是ML學(xué)術(shù)圈的一種趨勢？如果是，那么根本原因是什么？我們進行了一些推測，最后得出了幾個可能的因果因素：

4.1面對進步開始驕傲自滿

ML的快速發(fā)展會讓研究人員產(chǎn)生一中錯覺，即強有力的結(jié)果可以掩蓋論證過程的弱小。所以他們開始為了支持結(jié)論插入并沒有關(guān)系的東西，開始以結(jié)果為目標設(shè)置實驗，開始使用夸張的表述，或者不再盡力避免不嚴謹?shù)臄?shù)學(xué)推斷。

與此同時，在大量同質(zhì)化論文面前，論文審稿人別無選擇，只能接受有強大定量結(jié)果的論文。實際上，即便論文這次被拒了，他們也不能保證下次能注意到其中的缺陷，所以接受有缺陷的論文反而成了一件好事。

4.2成長的痛苦

自2012年來，深度學(xué)習大獲成功，人們對學(xué)界的追捧也日益熱烈，因此ML社區(qū)迅速擴張。雖然我們認為社區(qū)擴大是好事，但它也會產(chǎn)生副作用。

為了保護初級作者，這篇文章內(nèi)我們以引用自己的論文和引用大機構(gòu)的論文為主，但我們不說不代表不存在，上述問題在他們的論文中更常見。一些初級作者會因為不清楚術(shù)語的定義而擅自把它重新定義一遍，當然，經(jīng)驗豐富的研究人員身上也有這種毛病。

對于論文審閱，也許提高論文-審稿人比例可以改善這種情況，但問題還是存在的。經(jīng)驗不足的審稿人更關(guān)注論文的新穎性，他們往往會被虛假定理蒙蔽雙眼；經(jīng)驗豐富的審稿人往往承擔更多工作，他們會相對保守，更喜歡有很多數(shù)學(xué)公式的論文，會忽視創(chuàng)新型研究；而剩下的大批過度工作的審稿人連審稿的時間都不夠，他們注意不到論文的諸多問題。

4.3激勵措施的錯位

審稿人不是唯一一群給論文作者提供不良激勵的人，隨著ML研究越來越受媒體關(guān)注，ML創(chuàng)業(yè)公司變得司空見慣，在某種程度上，新聞（報道什么）和投資者（投資什么）才是激勵的主體。媒體引導(dǎo)著ML研究趨勢，而ML算法中的擬人化表述則為話題的流行提供源源不斷的素材。以[55]為例，它把自動編碼器描述為“模擬大腦”，這種暗示放在新聞頭條上是聳人聽聞的；又如[52]，它把用深度學(xué)習給圖像生成描述寫成“模仿人類理解水平”。

投資者也對人工智能研究表現(xiàn)出了強烈興趣，有時他們甚至會因為一篇論文就給創(chuàng)業(yè)公司提供資金。我們（ZL）也曾和投資者有過合作，媒體報道了哪家初創(chuàng)公司的成果，他們就投資哪家，這種動態(tài)的財務(wù)激勵和媒體關(guān)注是捆綁的。我們注意到，最近投資界對聊天機器人的興趣濃厚，而這是和媒體大肆報道對話系統(tǒng)、強化學(xué)習同時出現(xiàn)的。

5 建議

面對這些趨勢，我們又該如何應(yīng)對？我們要怎么做才能讓社區(qū)提高實驗實踐、闡述和理論的水平？我們要怎么做才能更容易地提煉社區(qū)的知識，并消除廣大公眾對研究的誤解？（不干了，開偷懶大招了）

5.1對作者的建議

多問“為什么”和“怎么做”，而不僅僅是“效果有多好”。在實證論文中多用錯誤分析、消解研究和穩(wěn)健性檢查（例如仔細調(diào)參、選擇理想的數(shù)據(jù)集），多看多讀多引用。

不要強行為了用特定算法而找出它對研究課題的進步貢獻。即便沒有新算法，你也可以在課題上產(chǎn)生一些新見解，比如通過隨機梯度下降訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以擬合隨機分配的標簽。

在寫論文時，你要問自己：我提出的這個系統(tǒng)，我自己是不是很認可，會不會在實踐中使用？這可以模擬審稿人看到這篇文章時的想法，還能檢測這個系統(tǒng)是不是真的符合你心目中的智能模型。

明確哪些問題是開放的，那些問題已經(jīng)被解決了，要清晰地了解研究現(xiàn)狀。

5.2對出版商和審稿人的建議

問自己：如果這個作者的成果做得更差一點，我還會接受這篇論文嗎？比如有兩篇文章得出的結(jié)論差不多，但第一篇用一個簡單的想法就實現(xiàn)了改進，而且給出了兩個否定結(jié)果，第二篇結(jié)合三種想法實現(xiàn)了相同的改進（沒有消解），那就應(yīng)該選第一篇。

進行回顧性調(diào)查，要求刪去夸張的主張和無關(guān)材料，把擬人表述改成明確的術(shù)語和符號。

呼吁批判性論文，挑戰(zhàn)傳統(tǒng)思維。

同行評審體系有待進一步討論：公開評審還是匿名評審？審稿人如何代表大多數(shù)研究人員的價值觀？這些改進會對上述弊端的改善帶來什么后果？

后面還有一些零散內(nèi)容，此處不再翻譯。綜合全文，這些問題確實是許多論文中常見的問題，小編在啃論文時，也會被濫用的術(shù)語、行李箱詞折磨地抓狂，最后可能誤讀，繼而誤導(dǎo)更多讀者。而誤讀的又怎么會只有小編一人？

如果大家耐心讀到了這里，希望這篇文章能讓我們吸取教訓(xùn)，無論是初學(xué)者、研究人員還是新聞媒體，我們都希望見證機器學(xué)習領(lǐng)域的健康發(fā)展，而不想讓夸夸其談毀掉前輩用嚴謹?shù)闹螌W(xué)態(tài)度留給我們的基業(yè)。