Ian Goodfellow 今天發(fā)推表示，他懷疑正是同行評議機制導致了如今AI會議論文下降，評審人質量參差不齊是主要原因，浮夸的論文被選中，真正的好論文反而被埋沒。作為科學界一貫以來的雙盲同行評議機制，正在遭遇一場前所未有的災難。

如果你讓一位科學家只選一個科學界引以為傲的標準，估計不少人都會說“同行評議”。

同行評議是大多數(shù)國際期刊和會議對投稿論文進行篩選的其中一個過程。很多時候，期刊編輯或學術會議會邀請某一特定研究領域的專家，對文章進行評價，幫助決定投稿論文是否值得發(fā)表。

更廣泛地說，同行評議是專家學者對本專業(yè)領域的學術成果的評價，包括著述的發(fā)表出版、評論、評獎、評職稱、論文引用、論文鑒定等等。

同行評議是科學界能夠“自我糾正”“自我完善”的光榮傳統(tǒng)：以同行評議為核心的科學評價體系旨在清除不同形式的欺騙、實驗誤差或研究者的失誤，防止和發(fā)現(xiàn)自欺行為和偏見。

但是，今天谷歌研究員、GAN的發(fā)明人Ian Goodfellow 卻發(fā)布一條推文：他懷疑，實際上正是同行評議造成了如今機器學習里的一些怪現(xiàn)象！

尤其是機器學習和AI會議論文的一些同行評議結果，不但沒有保持科學界的優(yōu)良傳統(tǒng)，反而導致一些華而不實的論文被發(fā)表，而真知灼見則往往因為評審人自身水平低、沒看懂而拒稿遭到埋沒。

現(xiàn)在的頂會評審，真是出了大問題。

Goodfellow：同行評議才是現(xiàn)今AI會議論文水平下降的元兇！

Goodfellow在推文中表示，作為頻繁出任會議領域主席并且管理一支小型科研團隊的研究者，他經(jīng)常能看到很多人（包括他自己團隊在內）工作的評審意見。

對于實證研究來說，最多的（拒稿）意見是沒有“理論”，但評審人并沒有針對某個特定問題去要理論，而是將其當做一種輕松的拒稿理由——Goodfellow 這樣形容，“他們掃了一遍論文，沒看到炫酷的公式”，好，拒掉吧，原因？寫“缺乏理論”就好。

而投稿人為了應對這樣的評審，最簡單的方法之一，就是在論文中加入許多無用的數(shù)學推理和公式。評審人一般不會認為這些公式?jīng)]用，相反，這樣做還通過他們心目中“我掃了一遍，看到了炫酷的公式或者不明覺厲的理論名稱”這個測試標準。

類似地，Goodfellow 指出，對于那些提出一種新方法取得更好性能的論文，評審人往往讀過一篇，然后拒稿，理由是論文沒有闡釋為什么這種方法表現(xiàn)更好。而當論文有解釋的內容時，無論說得多不靠譜，甚至根本不被證據(jù)支持，心軟一些的評審人也會讓其通過。

此外，評審人看見通過實證觀察去理解一個系統(tǒng)工作原理的論文時，往往反饋“沒有新算法”。這時候怎么辦？扔一個新方法進去就行了唄，管它相不相關呢。

評審人一般不怎么喜歡純科學論文（science papers），那理論研究怎么投稿？好辦，象征性地加點新的工程方法進去就行啦。

Goodfellow 指出，也有個別科學論文全憑實力得到高分，但通常也是被拒稿多次以后才有幸遇到了真正能看懂的評審人。

總之，Goodfellow 說：“機器學習如今的怪現(xiàn)象里，有一些可能不是同行評議造成的，但評審人要求增加數(shù)學（公式）、增加虛假的解釋和虛假的原創(chuàng)性，我已經(jīng)司空見慣了?！?/p>

Goodfellow 指出，同行評議作為一種機制是經(jīng)過時間檢驗的科學評價標準，但具體實施仍然要謹慎。

NIPS 2018初審結果出爐，哀聲遍野：評審人不專業(yè)！

Goodfellow 提到的“機器學習怪現(xiàn)象”，實際上就是 ICML 2018 的一場辯論。CMU 助理教授 Zachary C.Lipton 攜手斯坦福研究員 Jacob Steinhardt，撰寫了一篇《機器學習令人擔憂的趨勢》（Troubling Trends in Machine Learning Scholarship），引發(fā)了熱烈的討論。

Lipton 和 Steinhardt 在文中指出，如今的機器學習論文存在幾大問題：

無法區(qū)分客觀闡述和推測；

無法確定取得更好結果的原因，例如，當實際上是因為對超參數(shù)微調而獲得好效果的時候，卻強調不必要的修改神經(jīng)網(wǎng)絡結構；

數(shù)學公式堆積：使用令人混淆的數(shù)學術語而不加以澄清，例如混淆技術與非技術概念；

語言誤用，例如使用帶有口語的藝術術語，或者過多使用既定的技術術語。

如此看來，也難怪 Goodfellow 會懷疑，正是現(xiàn)今的同行評議，造成了AI和機器學習會議論文水平下降！

看到 Goodfellow 的推文后，Lipton 也表示贊同。他回復推文說，確實，如今同行評議水平下降，以及由此導致投稿人心態(tài)扭曲，也是造成機器學習怪現(xiàn)象的原因之一。

實際上，前幾天正好 NIPS 2018 的初審結果公布，社交網(wǎng)絡上哀鴻遍野。對評審結果的抱怨，很大程度上就是 Goodfellow 指出的那些：沒有數(shù)學公式、缺乏結果解釋……

其中，最嚴重的問題，或許是評審人本身不專業(yè)，根本沒有看懂論文！

中科院計算所的一位博士生導師告訴新智元，他們組這次提交的一篇 NIPS 2018 論文，反饋意見還不算太差，6、6、8（6=marginal accept，8=accept）。

其中，認為該接受的那位評審，確實是看懂了論文，提出了很多有針對性的具體問題和意見。而其他兩位認為拒也可收也可的評審，只給出了非常簡略的反饋，諷刺的是，其中一位的理由恰好就是“沒有解釋結果原因”。

這位博士生導師說：“很明顯，那兩名評審要么就是沒有細看論文，要么就是對領域不熟?！?/p>

“我告訴學生，好好rebuttal，還是有希望的?！?/p>

論文數(shù)量激增，ICML、NIPS等頂會評審陷入困境

NIPS 2017，微軟亞洲研究院劉鐵巖組中了 4 篇論文。新智元在采訪現(xiàn)任微軟亞洲研究院副院長的劉鐵巖博士時，后者也曾提到，近年來機器學習和 AI 會議論文數(shù)量激增，是好事，也是壞事。

與 Goodfellow 一樣，同樣是機器學習頂會領域主席?？偷膭㈣F巖博士說，由于很難在短時間內找到足夠多的嚴謹合格的評審人，權威評審人/領域主席的時間和精力有限，也只能看那么多篇論文，剩下的就只能找稍微次一些的評審，這些評審人很可能因為自己的水平有限，無法覺察優(yōu)秀論文的創(chuàng)新和意義而直接拒稿。

另一方面，這些評審往往會被一些包裝得很華麗、結果很漂亮，但對領域發(fā)展并沒有那么大作用的論文所吸引，因此現(xiàn)在 NIPS 整體論文水平參差不齊。

但是，論文整體質量下降也并非單純由于近年來論文數(shù)量激增、評審人質量下降造成。

NIPS 2014 做了一個實驗，將當年投稿的10%（共166篇論文）同時交給兩個不同的評審委員會評審，每個委員會由大會組委會的一半成員構成。評審結果令人吃驚：兩個評審委員會對其中 42 篇論文（約25%）的評審意見相左。由于兩個委員會都把論文錄用率控制在 22.5% 左右，委員會一錄用的 21 篇論文會被組委會二拒稿，而組委會二錄用的 22 篇論文被組委會一拒稿！

也就是說，被其中一個評審委員會錄用的論文，其中大約 57%會被另一個評審委員會拒稿。這樣，從理論上講，如果重新審稿，NIPS2014年錄用的一半以上的文章將被拒稿！

上述實驗表明，當錄用率很低時，質量居中的論文錄用的隨機性將大大提高。比如在上述例子中，約7.5%肯定被錄用，50%以上的文章肯定被拒稿，其余中間 47% 左右的論文是否被錄用則有很強的隨機性。

相對而言，NIPS 2014 的投稿遠沒有 NIPS 2018 多，因此上述評審人問題至少不會那么嚴重。

論文錄取這件事，本身就有很強的隨機性。

成也Arxiv，敗也Arxiv：AI會議論文未來該如何評審？

目前，期刊和會議會采取不同的同行評議方式，有單盲、雙盲、公開同行評議和發(fā)表后再進行同行評議等方式。不論采取哪種模式，同行評議的主要目的都是為了驗證研究結果，保證所發(fā)表的工作具有全球性的影響。

ACL 已經(jīng)采用了雙盲評審機制，而且規(guī)定研究人員不能在一定期限內將論文上傳到 arXiv，很大一個原因便是以 arXiv 為代表的預印版論文庫干擾了同行評議，尤其是雙盲評議。

CVPR 2019 程序主席、微軟研究院首席研究員華剛博士此前在接受新智元專訪時表示，ArXiv 雖然是一個非同行評議論文庫，但其活躍度讓如今大多數(shù)研究人員都把它作為一個定期跟蹤的信息源。

但是，身為多個學術會議的主席以及多本學術期刊的編委，華剛博士在肯定 arXiv 加速學術交流的同時，一針見血地指出，“arXiv讓學術會議的雙盲評審形同虛設”，arXiv上的論文質量也是“魚龍混雜”。

但如今，NIPS的雙盲評審也暴露出種種問題。有人呼吁，強烈建議將“學生評審”加入到審稿人中來——與其邀請不合格的博士生甚至本科生，還不如明確地加入“學生評審”，讓學生評審人先閱讀論文，然后教授等高級評審人評論作為輔助信息，提供給最終評審，這在很大程度上可以擺脫目前審稿人質量參差不齊的災難。

僅僅舉辦 5 年便被譽為“深度學習頂會”的ICLR，率先采用 Open Review 論文評審機制，評審和 rebuttal 全部公開，或許也是一種解決之道。

你認為呢？