本文總結(jié)了2018年下半年，最火的開(kāi)源框架、模型，以及社區(qū)。同時(shí)還提到一個(gè)有趣的現(xiàn)象，每20分鐘就有一篇AI論文現(xiàn)世。最后作者為推薦3本經(jīng)典深度學(xué)習(xí)教程。

代筆們，槍手們，小心了！會(huì)改文風(fēng)的AI來(lái)了！

日前，在加拿大蒙特利爾舉辦的AI頂會(huì)NeurIPS 2018上，來(lái)自密歇根大學(xué)和谷歌大腦的研究人員提出了一種新的面向NLP任務(wù)的機(jī)器學(xué)習(xí)新架構(gòu)，不僅能夠根據(jù)給定的實(shí)例生成句子，而且能夠在保留句子意思的情況下，改變句子表達(dá)的感情、時(shí)態(tài)、復(fù)雜度等屬性。

論文鏈接：

https://papers.nips.cc/paper/7757-content-preserving-text-generation-with-attribute-controls.pdf

研究人員稱(chēng)，這一技術(shù)有望可能用于多種用途，比如復(fù)述、小組會(huì)議、機(jī)器翻譯、對(duì)話(huà)系統(tǒng)等。該系統(tǒng)可以作為今年前不久微軟推出的NLP弱結(jié)構(gòu)關(guān)系推理工具的有力補(bǔ)充。

研究人員表示，“我們通過(guò)本文解決了對(duì)句子屬性的修改問(wèn)題，在無(wú)需平行數(shù)據(jù)的情況下首次成功對(duì)句子的多個(gè)屬性進(jìn)行了修改?！?/p>

本文中介紹的AI系統(tǒng)可以改變句子的感情色彩，即褒貶義、正負(fù)面感情色彩的改變。數(shù)據(jù)集來(lái)自Yelp用戶(hù)點(diǎn)評(píng)內(nèi)容和IMDB影片評(píng)論

該團(tuán)隊(duì)首先解決感情控制問(wèn)題。研究數(shù)據(jù)基于兩大用戶(hù)生成的文本數(shù)據(jù)集：點(diǎn)評(píng)應(yīng)用Yelp評(píng)論數(shù)據(jù)集的過(guò)濾版本，以及IMDB網(wǎng)站上的大量電影評(píng)論進(jìn)行，這兩個(gè)數(shù)據(jù)集的句子數(shù)量分別達(dá)到44.7萬(wàn)和30萬(wàn)，用于訓(xùn)練系統(tǒng)。

在訓(xùn)練之后，研究人員使用12.8萬(wàn)條Yelp餐廳評(píng)論和3.6萬(wàn)條IMDB電影評(píng)論的測(cè)試數(shù)據(jù)集，嘗試從具有負(fù)面情緒的句子中生成具有正面情緒的文本片段，反之亦然。

BLEU是評(píng)估機(jī)器翻譯文本質(zhì)量的標(biāo)準(zhǔn)化指標(biāo)，本文中提出的AI系統(tǒng)在BLEU評(píng)估中的表現(xiàn)勝過(guò)了兩種當(dāng)前效果最好的文本生成方法。

此外，這個(gè)系統(tǒng)始終能夠生成與輸入句子相關(guān)的、語(yǔ)法正確的句子。在某種程度上，參與亞馬遜Mechanical Turk項(xiàng)目的人認(rèn)為模型生成的輸出比以前的方法得到的輸出的真實(shí)度更高。

該模型生成的句子非常連貫自然。比如，它將“柜臺(tái)后面的人并不友好”轉(zhuǎn)換成了“柜臺(tái)上的人非常友好和樂(lè)于助人?！痹诹硪粋€(gè)例子中，該模型把“這是關(guān)于這部電影，還有一個(gè)有趣的方面”，變成了這部電影“沒(méi)有值得關(guān)注的質(zhì)量”。

令人更加印象深刻的是，另一項(xiàng)測(cè)試中的研究人員使用該系統(tǒng)同時(shí)控制句子的多種屬性，包括情緒，時(shí)態(tài)，聲音和情緒等。在對(duì)多倫多BookCorpus數(shù)據(jù)集的200萬(wàn)個(gè)文本片段的數(shù)據(jù)集進(jìn)行訓(xùn)練之后，模型能夠?qū)?lái)時(shí)句子中的指示性情緒（“John將無(wú)法住在營(yíng)地里”），轉(zhuǎn)換為條件時(shí)態(tài)中的虛擬語(yǔ)氣（“John不能住在營(yíng)地“）。

如上圖所示，系統(tǒng)可以同時(shí)修改輸入句子的多個(gè)屬性，如感情、時(shí)態(tài)、主動(dòng)/被動(dòng)式以及肯定/否定等

研究人員表示，“本文表明，我們的轉(zhuǎn)換模型通過(guò)各種實(shí)驗(yàn)和指標(biāo)有效地反映了條件信息。以前的成果主要是關(guān)于句子單個(gè)屬性的控制，并在兩種模式之間進(jìn)行轉(zhuǎn)換，本文中的模型應(yīng)用很容易擴(kuò)展到多屬性的轉(zhuǎn)換場(chǎng)景。在這個(gè)框架下，未來(lái)方向是轉(zhuǎn)換句子紅具有連續(xù)值的屬性，以及范圍更大的語(yǔ)義和句法屬性。“

量度標(biāo)準(zhǔn)與實(shí)驗(yàn)結(jié)果

表1：情感條件句子生成的定量評(píng)估。 屬性兼容性表示生成的句子的標(biāo)簽的準(zhǔn)確性，由預(yù)訓(xùn)練后的分類(lèi)器來(lái)量度。句子內(nèi)容的保留程度由（BLEU-1（B-1）和BLEU-4（B-4）分?jǐn)?shù)）評(píng)估。 根據(jù)預(yù)訓(xùn)練的分類(lèi)器量度生成“困惑度”指標(biāo)，來(lái)評(píng)估輸出句子的流暢度。 對(duì)于準(zhǔn)確性和內(nèi)容兼容性指標(biāo)，數(shù)值越高更好，對(duì)于困惑度，數(shù)字越低越好。

表2：對(duì)于模型生成的句子的人類(lèi)評(píng)估結(jié)果。 表中數(shù)字分?jǐn)?shù)表示由真人判斷為具有適當(dāng)屬性標(biāo)簽和內(nèi)容的句子占輸出的百分比。流利度評(píng)分采用5分制

表3：將古英語(yǔ)翻譯成現(xiàn)代英語(yǔ)的示例。表中seq2seq模型受并行數(shù)據(jù)監(jiān)控。研究人員在無(wú)監(jiān)督（無(wú)并行數(shù)據(jù)）和半監(jiān)督（成對(duì)和不成對(duì)數(shù)據(jù)）條件下對(duì)模型進(jìn)行測(cè)試