去年 3 月，谷歌聯(lián)手 OpenAI 等推出了全新的開放式期刊平臺 Distill，其指導(dǎo)委員會包括 Yoshua Bengio、Ian Goodfellow 等眾多學(xué)界大牛。

目前，大多數(shù)的機(jī)器學(xué)習(xí)論文要么發(fā)表在 arXiv 上，要么發(fā)表在傳統(tǒng)期刊上，但最終呈現(xiàn)的形式都非常單一。而Distill 的目標(biāo)是以可視化、可交互的形式來展示機(jī)器學(xué)習(xí)研究成果，并讓研究成果更容易被復(fù)現(xiàn)，以顛覆傳統(tǒng)的出版方式，因此得到了機(jī)器學(xué)習(xí)社區(qū)的大力支持。

如今，一年多的時間已經(jīng)過去，被寄予厚望的 Distill 卻只發(fā)布了 12 篇論文。雖然 Distill 對論文標(biāo)準(zhǔn)的要求較高，而且有較長的審核流程，但是目前的進(jìn)展確實有點差強(qiáng)人意。

近日，Distill 撰文對過去一年多的工作進(jìn)行了總結(jié)，有可取之處，也有經(jīng)驗教訓(xùn)，下面一起來看下吧~

以下內(nèi)容由AI科技大本營編譯：

一年多以前，我們正式發(fā)布了開放式科學(xué)期刊 Distill。

它的成長從出現(xiàn)開始便激動人心。一年多來 Distill 累計擁有了超過一百萬的專業(yè)讀者，瀏覽量超過 290 萬次。目前為止，發(fā)布在 Distill 上的期刊論文平均引用量達(dá) 23 次。更重要的是，我們發(fā)表了一些結(jié)構(gòu)清晰和可復(fù)現(xiàn)性極高的新論文，這極大的促進(jìn)了新科學(xué)傳播方式的發(fā)展。

盡管如此，我們發(fā)現(xiàn)仍然有很多有待改進(jìn)之處。為此，我們一直在不斷地反思。在新版本的 Distill 中，我們計劃進(jìn)行如下更改：

將論文指導(dǎo)與評審的工作分開。

明確并簡化 Distill 評審流程，包括新的評審工作流程。

優(yōu)化資源以幫助每一個人，而不再是一對一的指導(dǎo)，從創(chuàng)建 Slcak 工作區(qū)開始。

簡化代理編輯引入流程以解決利益沖突。

明確關(guān)于雙重提交的政策。

發(fā)展 Distill 編輯團(tuán)隊，Arvind Satyanarayan 將加入編輯團(tuán)隊，負(fù)責(zé)監(jiān)督 HCI + AI（人機(jī)交互+人工智能）領(lǐng)域。

▌成功之處

直觀展現(xiàn)思維方式的界面

我們相信最好的解釋往往可以帶來更深層次的思考：它們是思想的接口，一種思維方式和概念的互動?；谶@種理念，我們可以看到 Distill 上很多文章都利用了可視化的展示，來激發(fā)思考的火花，促進(jìn)思想的交流。

這其中最具代表性的文章是 Gabriel Goh 的“Why Momentum Really Works（梯度下降中動量為何如此有效）”。很多工業(yè)界的人士對該問題都缺乏了解，這背后涉及很多數(shù)學(xué)問題，因此并不直觀。在我們看來，傳統(tǒng)的學(xué)術(shù)出版物并不強(qiáng)調(diào)闡明技術(shù)思想所伴隨的直覺——像老師在白板上與學(xué)生分享的那種。

相比之下，Gabe 的這篇文章不僅運用了很多直觀的圖形表達(dá)，還分享了作者的一些直覺。在交互性工具的支持下，它讓讀者直接進(jìn)入了一種思維方式。而且更有趣的是，通過將心智模型歸結(jié)為計算驅(qū)動的界面，作者發(fā)現(xiàn)了思考不完善的地方。

這種界面設(shè)計和這種思路可能并不新穎，但 Distill 在過去的一年中的的確確推動了這一方式的發(fā)展，我們也將對它的未來拭目以待。

深入?yún)⑴c

更令人興奮的一個發(fā)現(xiàn)是 Distill 上的文章可以讓深入思考變得更加容易。通常情況下，從閱讀一篇論文到進(jìn)行實驗這中間需要很大的跨越，但 Distill 上的論文卻可以讓讀者直接成為論文研究的一份子：

Distill 最近的幾篇文章實踐了這一想法。它們不僅把重要的概念通過交互式結(jié)果表現(xiàn)出來，還提供了 Notebook 讓讀者可以在線重現(xiàn)這一結(jié)果。當(dāng)然這個 Notebook 不僅僅能讓讀者測試一個新的想法，更能讓他們無需任何設(shè)置就可以深入?yún)⑴c到最新的研究中，而且在幾分鐘之內(nèi)就可以完成一個有趣的實驗。

截至今天，已有超過 6,000 名讀者使用過這些 Notebook。

可復(fù)現(xiàn)性一直被認(rèn)為是維持科學(xué)健康發(fā)展的重要組成部分?，F(xiàn)在越來越多的研究人員正在開源他們的工作，甚至將數(shù)據(jù)分析腳本這樣的中間文件放在 GitHub 上。但 Distill 這些在線的Notebook 則允許作者更進(jìn)一步，直接參與我們所謂的“主動復(fù)現(xiàn)性”：不僅使文章工作在技術(shù)上可復(fù)現(xiàn)，還使其更為方便。我們希望看到更多的論文作者在這方面投入精力。

科學(xué)出版物的軟件工程最佳實踐

在過去的一年中，這種通過軟件工程最佳實踐來運營科學(xué)期刊的方式還顯示出了另外幾個優(yōu)勢：

1.可以讓讀者更加透明地了解出版過程。Distill 的每篇文章都存儲在 GitHub 的 Repository 中，同行可以通過 GitHub的問題跟蹤器進(jìn)行評審。（例如，讀者可以看到 Gabriel Goh 那篇文章更新過程，可以了解到文章創(chuàng)意的起源等等。）

2.讀者甚至可以參與到文章發(fā)布后持續(xù)評審工作，包括提交修復(fù)拼寫錯誤的請求，進(jìn)行更徹底的編輯，甚至與作者進(jìn)行討論。

3.Distill 為科學(xué)論文提供了一系列的集成方案，作者也受益于此設(shè)置。文章在發(fā)布前會自動保存草稿，并通過受密碼保護(hù)的 URL 進(jìn)行訪問。作者可以自由地分享這些地址來尋求初步反饋，并確保他們的讀者將始終能夠看到最新版本的草稿。

▌問題與改進(jìn)

獎項評選

遺憾的是，我們還沒有評選出 2018 年的 Distill 獎。我們總共收到了 59 份研究工作，其中一些是由很多內(nèi)容組成的系列講座。我們沒有預(yù)料到這種內(nèi)容，也沒有一個很好的流程來評估它。還有一方面在于我們有點完美主義。今后，我們的目標(biāo)是通過快速的評審流程來更好地平衡內(nèi)容質(zhì)量和評審時間。

我們會盡力在 2018 年感恩節(jié)之前頒發(fā) Distill 獎，并以更及時的方式推進(jìn)這一過程。

一個小小的社區(qū)

Distill 旨在培養(yǎng)一種新的科學(xué)傳播方式，并建立一個支持它的生態(tài)系統(tǒng)。我們希望隨著時間的推移逐漸壯大這個社區(qū)，但目前 Distill 的作者和編輯數(shù)量要比傳統(tǒng)學(xué)術(shù)平臺少得多。

導(dǎo)致的結(jié)果之一是 Distill 的出版量很低（截至目前 12 篇）。盡管我們?yōu)榇烁冻隽撕芏嗯Γ@稍有些慘淡的結(jié)果這不禁讓我們思考：我們是否需要改變 Distill 的投稿標(biāo)準(zhǔn)？論文數(shù)量是 Distill 應(yīng)該關(guān)注的嗎？

當(dāng)然我們相信，只要內(nèi)容非常出色，Distill 在可預(yù)見的未來一定可以成為一個小規(guī)模的“定制”期刊。Distill 的特色其實在于它為那些非傳統(tǒng)的研究工作提供了正規(guī)化的期刊平臺。所以要更加側(cè)重出版的質(zhì)量，而不是數(shù)量。

小規(guī)模社區(qū)中的另一個問題是社區(qū)成員之間經(jīng)常存在私下的聯(lián)系。社區(qū)這么緊密當(dāng)然很好，但這也意味著我們必須要處理許多潛在的利益沖突。圍繞這些利益沖突的帶來的挑戰(zhàn)才剛剛出現(xiàn)，我們希望隨著編輯團(tuán)隊的發(fā)展，這個問題在未來幾年變得不那么成問題。但不得已的是，我們經(jīng)常還需要引入獨立的代理編輯來解決利益沖突。

我們之前邀請獨立編輯的流程是通過 Distill 指導(dǎo)委員會的成員。（當(dāng)然也非常感謝 Ian Goodfellow 對此的耐心幫助。）然而為了更長遠(yuǎn)的發(fā)展，我們更想制定一個更獨立的機(jī)制：

如果存在利益沖突，Distill 編輯將選擇研究社區(qū)的成員作為文章的臨時“代理編輯”。代理編輯應(yīng)該是相關(guān)研究界的成員，并且與作者保持一定的距離。代理編輯的身份將在審稿日志中注明，并在文章發(fā)布時公布。

評審流程

鑒于很多研究人員并不具備寫出一篇 Distill 所要求的文章那樣的技能，Distill 在一開始采用了相當(dāng)激進(jìn)的評審流程。我們對作者提供了廣泛的指導(dǎo)和幫助，以幫助他們改善文章。

但不幸的是，這一做法雖然產(chǎn)生了讓我們很滿意的一批文章，但由于 Distill 的編輯都是志愿者， 他們有自己的本職工作，而我們需要的那種文章每篇可能需要花費 20-80 個小時來進(jìn)行指導(dǎo)。他們在論文指導(dǎo)者和論文評審的雙重角色中不停轉(zhuǎn)換，最終不堪重負(fù)。

Distill 應(yīng)該為作者和編輯帶來更好的使用體驗。為此，我們將對其評審流程進(jìn)行如下變更：

Distill 的指導(dǎo)過程將同審稿過程分離開來。

Distill 只會對完整提交的文章進(jìn)行評審。

我們創(chuàng)建了一個公眾評審表格，明確定義了評審標(biāo)準(zhǔn)。

Distill 的文章提交頁面也對新的審稿規(guī)則進(jìn)行了詳細(xì)描述。這一規(guī)則更改不適用于之前已經(jīng)根據(jù)舊規(guī)則提交的文章。明年，我們希望增加那些主題較小的短篇文章的數(shù)量。

▌其他變化

文章提交政策

對 Distill 來說，遵守 “雙重出版”規(guī)則是非常重要的，并且不能讓大家覺得我們和 arXiv 是類似的。

所以，Distill 只考慮與那些與在其他地方正式發(fā)表的文章存在本質(zhì)不同的文章，而且要對非正式發(fā)表的文章持謹(jǐn)慎態(tài)度：

特此，我們設(shè)想了一些特殊情況下的指導(dǎo)意見：

1.先前沒有出版或關(guān)注度低的非正式出版文章：不用擔(dān)心！

2.ArXiv 論文：研究人員有時需要及時發(fā)表論文，因此 arXiv 是一個很好的平臺，我們完全理解。只要大家認(rèn)識到 Distill 是一個正式出版平臺，想要在上面發(fā)表論文幾乎都要做進(jìn)一步的處理，我們很愿意發(fā)表大家的論文。

3.以前的研討會、會議論文：Distill 非常愿意發(fā)表更前沿、更精美的“期刊”論文，但是這些論文必須通過結(jié)合改進(jìn)闡述，更好地揭示潛在的見解和思維方式，整合一系列論文或?qū)嶒灥确绞?，在以前的研究基礎(chǔ)上有實質(zhì)性的進(jìn)步。

4.備受矚目的非正式論文：與上面提到的第三種情況類似。