CMU、華盛頓大學(xué)、南加州大學(xué)、MIT、MILA、密歇根大學(xué)、愛(ài)丁堡大學(xué)、DeepMind、伯克利、Apple…如果我說(shuō)來(lái)自這些地方的dalao共同發(fā)表了一篇文章，你相信么？但別驚訝，在即將召開(kāi)的EMNLP'20的長(zhǎng)文列表里，我們就真找到了這樣一篇“奇文”。一篇論文引得眾星云集，那解決的必然不是小問(wèn)題。這不，作者也很貼心地把他們所希望解決的問(wèn)題斜體獨(dú)行地放在了論文的首欄里——Where is NLP going？

在未來(lái)的這幾分鐘里，讓我們暫時(shí)放下自己正在改的模型、正在寫(xiě)的論文和正在追的SOTA，重拾自然語(yǔ)言處理的初心，跟隨大佬們的腳步，去暢想一下未來(lái)的NLP究竟是什么樣的吧。

NLP，到底該怎么搞？

這是每一個(gè)NLP人都希望探索的終極問(wèn)題。在經(jīng)歷了21世紀(jì)初的神經(jīng)語(yǔ)言模型、2013年word2vec算法、2018年的預(yù)訓(xùn)練模型等等的里程碑過(guò)后，當(dāng)今的NLP已經(jīng)在許多任務(wù)上取得了令人欣喜的效果。但是，在欣喜于一個(gè)個(gè)子任務(wù)的突破之后，我們也該停下來(lái)思考我們每個(gè)人在初識(shí)NLP時(shí)的那個(gè)問(wèn)題：如何才能讓機(jī)器真正地理解人類(lèi)語(yǔ)言呢？

本文提出了未來(lái)NLP的發(fā)展方向：只靠文本，是學(xué)不會(huì)語(yǔ)言的；學(xué)會(huì)語(yǔ)言，需要的是“語(yǔ)言之外的事件”和“社會(huì)環(huán)境”。這樣虛無(wú)縹緲的兩個(gè)詞，隱含的卻是未來(lái)NLP所需要添加的潛在的新組件。

為了更加具象，作者引入了“世界范圍”的概念，英文名稱(chēng)World Scope，簡(jiǎn)稱(chēng)WS（不覺(jué)得和作者王蘇有點(diǎn)關(guān)系么（逃））

那么這五個(gè)世界分別表示什么，又象征著NLP的發(fā)展到了哪個(gè)階段呢？現(xiàn)在，讓我們把NLP系統(tǒng)想象成自家孩子，看看咱家寶貝兒是怎么一步步從過(guò)去只會(huì)總結(jié)文本模式到未來(lái)能夠能動(dòng)地改變世界的吧~（為了方便，我們就叫她N寶）

WS1：少量語(yǔ)料的世界——當(dāng)系統(tǒng)學(xué)會(huì)表示

N寶終于拿到了她能接觸到的第一個(gè)語(yǔ)料！此時(shí)的她，看的多半是類(lèi)似于Penn Treebank的經(jīng)典數(shù)據(jù)集，而她既沒(méi)有容量很大的大腦（指模型），又接觸不到其他東西（指感知和大量語(yǔ)料），于是研究者費(fèi)盡心機(jī)地思考如何讓她用少量文本也能學(xué)到些什么。這時(shí)的發(fā)展，正是集中在文本表示上。

所謂的“含義”（meaning）到底在哪里呢？一個(gè)很直觀的想法是認(rèn)為含義隱藏在文本的語(yǔ)法結(jié)構(gòu)中，于是早期的NLP方法大都采用了諸如語(yǔ)法的分析結(jié)構(gòu)。

但慢慢地，人們發(fā)現(xiàn)，文本的含義還有另外的表示方法。20世紀(jì)末-21世紀(jì)初，Elman和Bengio等人證明了向量表示可以捕獲語(yǔ)法和語(yǔ)義信息；21世紀(jì)初，利用基于互信息的層次聚類(lèi)表示方法和隱馬爾科夫鏈生成詞類(lèi)別的方法證明了一個(gè)詞的上下文隱含了這個(gè)詞的含義；同樣是21世紀(jì)初，以隱狄利克雷分布模型LDA為代表的主題生成模型證明了獲取含義需要大量的上下文信息。正是基于以上的觀察，才有了近年來(lái)諸如word2vec和GloVe的詞向量表示，以及ELMo、GPT和BERT等等的上下文預(yù)訓(xùn)練表示。

然而，關(guān)于文本表示，有一個(gè)一直以來(lái)的矛盾，伴隨著符號(hào)主義和連接主義的爭(zhēng)論走到了今天——把詞表示為符號(hào)，我們就可以利用一個(gè)詞的字典釋義，從而用其他詞表示它，這種“以詞釋詞”的方法服從直覺(jué)，解釋性一流；然而，把詞表示為向量，我們就能夠利用諸如神經(jīng)網(wǎng)絡(luò)的“連接主義”系統(tǒng)進(jìn)行處理，這種“以數(shù)釋詞”的方法難以解釋?zhuān)懿蛔∷糜谩?/p>

這樣的符號(hào)主義/連接主義爭(zhēng)論經(jīng)常會(huì)在當(dāng)今的各大人工智能論壇見(jiàn)到，而在連接主義大行其道的當(dāng)下，能在頂會(huì)論文見(jiàn)到這樣的爭(zhēng)論實(shí)在難得啊(=?ω?=)

WS2：文本的世界——當(dāng)系統(tǒng)學(xué)會(huì)閱讀

不是N寶不愿意上網(wǎng)，是多年前她的小腦瓜實(shí)在是處理不了網(wǎng)絡(luò)上這么多紛繁復(fù)雜的信息。然而，多虧了專(zhuān)做N寶大腦的黃老板（黃仁勛：？）和革新了N寶大腦的Transformer結(jié)構(gòu)（谷歌：？），有了增強(qiáng)算力和模型加持的N寶終于開(kāi)眼看到了更廣闊的的世界——非結(jié)構(gòu)的，多語(yǔ)言的，跨領(lǐng)域的，無(wú)標(biāo)簽的，單拿出哪個(gè)都很讓人興奮吧，但BERT全都要！

以BERT為代表的基于Transformer的預(yù)訓(xùn)練語(yǔ)言模型在眾多下游任務(wù)上的優(yōu)異表現(xiàn)，在寥寥兩三年時(shí)間里把NLP領(lǐng)域的排行榜屠了個(gè)遍。在我們?yōu)樾抡Q生的預(yù)訓(xùn)練模型歡呼雀躍時(shí)，內(nèi)心也難免會(huì)為它們?cè)絹?lái)越龐大的體積和“飯量”感到觸目驚心。

從訓(xùn)練語(yǔ)料來(lái)說(shuō)，2013年的word2vec使用了16億個(gè)token，一年后的GloVe使用了8400億個(gè)token，而B(niǎo)ERT直接吃下了整個(gè)維基百科+一萬(wàn)多本書(shū)。從模型參數(shù)上來(lái)說(shuō)，從2018年ELMo的到GPT-3的也不過(guò)只用了兩年時(shí)間。

更重要的是，這類(lèi)預(yù)訓(xùn)練模型的效果存在明顯的邊際效益遞減：對(duì)于16年提出的詞預(yù)測(cè)任務(wù)LAMBADA[1]，從15億參數(shù)的GPT-2，到170億參數(shù)的TuringNLG，提升甚微；到了1750億參數(shù)的GPT-3終于有了8個(gè)點(diǎn)的提升，但背后的多出來(lái)的算力開(kāi)銷(xiāo)，它值嗎？

更重要的是，這類(lèi)預(yù)訓(xùn)練模型很難解決許多更難的NLP任務(wù)、例如較難的共指解析（“我把車(chē)停在了那個(gè)小停車(chē)場(chǎng)，因?yàn)樗銐騕小/大]了?！保?。之所以稱(chēng)之為“較難的”，是因?yàn)樗鼈兪墙?jīng)過(guò)精心選擇的處于數(shù)據(jù)分布尾端的共指關(guān)系。如果N寶沒(méi)停過(guò)車(chē)，她怎么會(huì)知道這個(gè)問(wèn)題的答案不是從前半句里簡(jiǎn)單地提取出那個(gè)“小”字呢？解決這個(gè)問(wèn)題的關(guān)鍵，在于經(jīng)驗(yàn)。論文標(biāo)題中的“Experience”，為未來(lái)可能的發(fā)展指明了方向。

這時(shí)，我們終于意識(shí)到，再怎么非結(jié)構(gòu)多語(yǔ)言跨領(lǐng)域無(wú)標(biāo)簽的文本，也終究是文本；再往預(yù)訓(xùn)練語(yǔ)言模型砸嘛尼，也不一定能換來(lái)真正智能的N寶。N寶不缺文本了，她只是需要更系統(tǒng)地感知這個(gè)世界而已。

WS3：視覺(jué)與聲覺(jué)的世界——當(dāng)系統(tǒng)學(xué)會(huì)感知

N寶不再只是一頭扎進(jìn)書(shū)海里的書(shū)呆子了，她終于擁有了能看到世界的眼睛、聽(tīng)到世界的耳朵和觸摸世界的雙手，盡管眼睛耳朵和手也都是機(jī)器學(xué)習(xí)模型。但是，如果不看不聽(tīng)不碰的話，她怎么能理解“動(dòng)如脫兔”、“噤若寒蟬”的真意，怎么體會(huì)到打工人鋼鐵般的意志（不）

這多出來(lái)的感知究竟是什么？是人類(lèi)在進(jìn)行決策時(shí)的多重依據(jù)，也是人們?cè)谡J(rèn)識(shí)世界時(shí)達(dá)成的共識(shí)，同時(shí)也是語(yǔ)言學(xué)證明的人類(lèi)在學(xué)習(xí)語(yǔ)言時(shí)必需的外部輸入。海倫·凱勒學(xué)習(xí)語(yǔ)言的故事膾炙人口，缺失視覺(jué)的輔助尚且如此，剝奪所有感官后，學(xué)到的語(yǔ)言還會(huì)是一樣的嗎？

文章引用了一種表示人類(lèi)知識(shí)的方法：Frames and Scripts[2]。這種方法在上個(gè)世紀(jì)80年代被用來(lái)表示人類(lèi)知識(shí)。通俗來(lái)講，這一方法將人類(lèi)世界的靜態(tài)組成和動(dòng)態(tài)動(dòng)作流程利用類(lèi)似于面向?qū)ο?a href="http://www.www27dydycom.cn/v/tag/1315/" target="_blank">編程的方式進(jìn)行建模：Frames利用類(lèi)圖構(gòu)建事物之間的關(guān)聯(lián)關(guān)系，而Scripts利用流程圖構(gòu)建一系列動(dòng)作的發(fā)生過(guò)程。但即使成功表示了類(lèi)別之間的關(guān)聯(lián)關(guān)系，類(lèi)別中的各個(gè)屬性、流程圖中的各個(gè)行為和條件依然沒(méi)有和現(xiàn)實(shí)產(chǎn)生對(duì)應(yīng)。大框架有了，細(xì)節(jié)卻面臨了同樣的問(wèn)題，因此，這種建模依然很片面。這恰恰說(shuō)明了多模態(tài)對(duì)于理解知識(shí)的重要性。

既然是多模態(tài)，那自然要提及其中涉及的每個(gè)領(lǐng)域向多模態(tài)發(fā)展的努力。這其中，計(jì)算機(jī)視覺(jué)（CV）和自然語(yǔ)言處理（NLP）的結(jié)合自然是發(fā)展最多的一個(gè)。

計(jì)算機(jī)視覺(jué)領(lǐng)域已經(jīng)提前意識(shí)到了與自然語(yǔ)言處理交互的重要性，并提出了一系列可以復(fù)用的模型，而計(jì)算機(jī)視覺(jué)領(lǐng)域也在近幾年來(lái)開(kāi)始解決視覺(jué)問(wèn)答VQA、視覺(jué)推理和視頻翻譯等等CV+NLP的交互任務(wù)。這些多模態(tài)任務(wù)的標(biāo)準(zhǔn)數(shù)據(jù)集可以支持大規(guī)模視覺(jué)+文本、甚至視覺(jué)+文本+語(yǔ)音Transformer模型的訓(xùn)練。

NLP領(lǐng)域的發(fā)展同樣支撐了多模態(tài)的應(yīng)用，由于CV領(lǐng)域廣泛采用的ImageNet[3]分類(lèi)采用了WordNet[4]描述上下位詞關(guān)系的層次分類(lèi)，在加入了WordNet中每個(gè)概念的圖像信息后，我們甚至可以在概念的向量表示中學(xué)習(xí)到僅利用文本無(wú)法獲得的特征。比如，WordNet中“人”是一系列不同職業(yè)的上位詞，其中包括“消防員”，“醫(yī)生”等等；單純憑借文本難以捕捉這些類(lèi)別的區(qū)別；但在加入了“人”、“消防員”、“醫(yī)生”的圖片進(jìn)行多模態(tài)學(xué)習(xí)后，我們可以利用像素級(jí)的掩碼精確地獲得不同類(lèi)別的具體差異，甚至可以將自然語(yǔ)言描述拓展到從未見(jiàn)過(guò)的類(lèi)別中，學(xué)習(xí)到新類(lèi)別的特征…

這正是零次學(xué)習(xí)（Zero-shot learning）的想法，利用一段對(duì)未知類(lèi)別的描述，讓模型理解在訓(xùn)練過(guò)程中沒(méi)有見(jiàn)過(guò)的類(lèi)別的特征。對(duì)于文本的單一模態(tài)學(xué)習(xí)，用文本描述文本是WS1的想法；而多模態(tài)學(xué)習(xí)通過(guò)添加額外的感知方法，讓零次學(xué)習(xí)的效果得到了大幅提升。那么問(wèn)題來(lái)了，多模態(tài)之后，N寶又要做些什么呢？

WS4：行為的世界——當(dāng)系統(tǒng)學(xué)會(huì)試錯(cuò)

N寶對(duì)世界觀察了許久，她能讀能看能聽(tīng)，我們感覺(jué)她好像理解了這個(gè)世界。但實(shí)際上，她對(duì)這個(gè)世界似懂非懂。

在她眼中，詞語(yǔ)不過(guò)是一串?dāng)?shù)字或是像素組成的特征而已，每個(gè)名詞概念到底隱含著什么內(nèi)在屬性，每個(gè)動(dòng)作到底會(huì)帶來(lái)什么影響，每個(gè)形容詞到底描述了些什么特點(diǎn)，N寶都不懂。被動(dòng)的學(xué)習(xí)已經(jīng)滿足不了她了，她想用她的感知去主動(dòng)地理解語(yǔ)言背后的含義。當(dāng)N寶有了行動(dòng)的能力，她就有了具身，有了和外界互動(dòng)的條件。

試想一下，對(duì)于“橘子更像是棒球還是香蕉？”這樣的問(wèn)題，你會(huì)作何回答？

WS1系統(tǒng)會(huì)認(rèn)為橘子和香蕉經(jīng)常出現(xiàn)在類(lèi)似的上下文里，所以橘子和香蕉更像；WS2系統(tǒng)會(huì)認(rèn)為橘子和棒球都是圓形的，但說(shuō)不上來(lái)棒球和橘子的質(zhì)地和大??；WS3系統(tǒng)會(huì)了解到橘子、棒球和香蕉的外表，所以同樣會(huì)認(rèn)為橘子和棒球更像，卻說(shuō)不清楚棒球、橘子和香蕉的軟硬程度的重量。只有當(dāng)系統(tǒng)能夠接觸到這些物體并產(chǎn)生互動(dòng)時(shí)，它才會(huì)更加系統(tǒng)地回答，橘子和棒球具有相似的材質(zhì)和重量，但橘子和香蕉具有相同的軟硬程度和用途。

實(shí)際上，人類(lèi)在學(xué)習(xí)知識(shí)時(shí)在不斷地與外界產(chǎn)生互動(dòng)并獲得反饋，而這些持續(xù)的反饋構(gòu)成了我們學(xué)習(xí)這個(gè)世界時(shí)的監(jiān)督信號(hào)。這些信號(hào)甚至產(chǎn)生于我們學(xué)習(xí)語(yǔ)言之前，那么問(wèn)題來(lái)了，這些嬰兒時(shí)期產(chǎn)生的反饋究竟形成了什么呢？

對(duì)于人來(lái)說(shuō)，這些反饋形成了我們的直覺(jué)和常識(shí)，而這些內(nèi)容正是我們?cè)谌粘＝涣鲿r(shí)不會(huì)使用語(yǔ)言直接表述的隱含內(nèi)容。對(duì)于機(jī)器來(lái)說(shuō)，這些試錯(cuò)過(guò)程中得到的反饋形成的可能是“先于語(yǔ)言”的表示（pre-linguistic representations），它們可以被用來(lái)作為NLP系統(tǒng)泛化的基礎(chǔ)。在語(yǔ)言學(xué)上已經(jīng)證明，孩子從書(shū)本上學(xué)的東西很難被她們直接搬到現(xiàn)實(shí)生活中加以利用。我們利用大量的參數(shù)，希望用統(tǒng)計(jì)學(xué)的方法另辟蹊徑地實(shí)現(xiàn)生物進(jìn)化的成果，但缺少了與真實(shí)世界的交互，或許我們離這個(gè)目標(biāo)確實(shí)遙遠(yuǎn)。

在WS4的世界，我們就需要借助機(jī)器人學(xué)領(lǐng)域的研究成果了。盡管從現(xiàn)在看，利用機(jī)器人學(xué)的成果遠(yuǎn)比利用CV的成果困難，但為了實(shí)現(xiàn)真正理解語(yǔ)言的目標(biāo)，NLP的研究者應(yīng)該同樣關(guān)注機(jī)器人學(xué)的發(fā)展。隨著動(dòng)作空間的加大，NLP系統(tǒng)就能夠?qū)W會(huì)更多的指令，讓智能家居和智能機(jī)器人不再是現(xiàn)在這樣僅靠指令集操作的機(jī)器，而是成為真正能應(yīng)用在任何場(chǎng)景下真正的智能系統(tǒng)。

WS5：社會(huì)的世界——當(dāng)系統(tǒng)學(xué)會(huì)能動(dòng)

能動(dòng)和能動(dòng)并不是一個(gè)意思——WS4的能動(dòng)是“會(huì)動(dòng)”，而WS5的能動(dòng)是“主觀能動(dòng)性”的能動(dòng)。N寶的成長(zhǎng)目標(biāo)是要造福社會(huì)的，而人類(lèi)社會(huì)的可是很復(fù)雜的。她要在與人打交道的過(guò)程中體現(xiàn)出她行為的目的性，讓她真正能夠?qū)崿F(xiàn)人工智能系統(tǒng)的使命。到這個(gè)階段，N寶就已經(jīng)成為一個(gè)持久存在的，具有特定社會(huì)屬性和經(jīng)驗(yàn)的智能代理了。

NLP系統(tǒng)一直以來(lái)都是人工智能領(lǐng)域里最受關(guān)注的領(lǐng)域之一，畢竟圖靈測(cè)試就是以對(duì)話系統(tǒng)為基礎(chǔ)的測(cè)試。但是，在進(jìn)行圖靈測(cè)試時(shí)，人經(jīng)常會(huì)受到框架效應(yīng)（Frame effect）的影響：當(dāng)聊天機(jī)器人表明自己以英語(yǔ)作為第二語(yǔ)言或是表現(xiàn)出弱勢(shì)時(shí)，人自然會(huì)大幅降低對(duì)對(duì)方的期望，讓原本真實(shí)性不高的回應(yīng)也看起來(lái)像是真人一樣。

那么，為什么說(shuō)WS5對(duì)于語(yǔ)言學(xué)習(xí)至關(guān)重要呢？

首先，從說(shuō)話者的角度，語(yǔ)言要產(chǎn)生作用。

從哲學(xué)上講，語(yǔ)言的功能（Function）是含義的來(lái)源；從語(yǔ)言學(xué)上講，基于使用的語(yǔ)言學(xué)習(xí)理論表明，有用的語(yǔ)言構(gòu)建是一切的基礎(chǔ)。這些理論在近年來(lái)開(kāi)始關(guān)注語(yǔ)言在人類(lèi)的起源和發(fā)展過(guò)程中起到的作用，表明了語(yǔ)言對(duì)于社會(huì)生活的重要性。

WS1-4逐步地?cái)U(kuò)展了語(yǔ)言含義的組成，逐漸地，語(yǔ)言可以由結(jié)果轉(zhuǎn)變?yōu)槠鹨?，從單純的?shù)據(jù)轉(zhuǎn)變?yōu)橛杏玫男畔?。?dāng)下，NLP系統(tǒng)生成的語(yǔ)句只能以一種與社會(huì)隔離開(kāi)的方式被被動(dòng)的評(píng)價(jià)，而要做到衡量NLP系統(tǒng)對(duì)社會(huì)的影響，必須主動(dòng)地讓NLP系統(tǒng)參與到諸如談判，合作，情感支持等等語(yǔ)言活動(dòng)中來(lái)，讓NLP系統(tǒng)能夠推斷人的情感狀態(tài)和行為的社會(huì)效益。

當(dāng)下的語(yǔ)言模型利用上下文構(gòu)建每個(gè)詞的釋義。但實(shí)際上，一個(gè)詞的含義需要被放在特定的語(yǔ)言和社會(huì)環(huán)境下進(jìn)行綜合考量。正比如，“大失所望”的詞典意思是不令人滿意，可是，只有在孩子學(xué)習(xí)語(yǔ)言時(shí)說(shuō)出過(guò)或是聽(tīng)見(jiàn)過(guò)那句“你讓我大失所望”時(shí)，她才能真正懂得這個(gè)詞對(duì)人來(lái)說(shuō)多么有分量。一個(gè)詞的含義遠(yuǎn)不止詞本身的意思：它最豐富的表達(dá)蘊(yùn)含在了它對(duì)外界產(chǎn)生的影響之中。

其次，從聆聽(tīng)者的角度而言，語(yǔ)言要成為了解對(duì)方想法的工具。

“想法”并不局限于一句話本身的意思，而更多地指對(duì)方的需求，意圖，感情，知識(shí)和身份。對(duì)“想法”的研究被稱(chēng)為“心智理論”（Theory of Mind）。這一理論被建模為講者-聽(tīng)者模型（Speaker-listener model），從計(jì)算角度而言，又被進(jìn)一步發(fā)展為“理性言語(yǔ)行為模型”[5]（Rational speech act model, RSA，一種基于貝葉斯推斷的有效溝通建模）。

對(duì)交流的理解只用靜態(tài)的數(shù)據(jù)集是遠(yuǎn)遠(yuǎn)不夠的。對(duì)于同一個(gè)樣本的標(biāo)注，不同的標(biāo)注者可能提供不同的標(biāo)注方法，這就會(huì)引入偽關(guān)系和偏差。動(dòng)態(tài)且靈活的評(píng)價(jià)可能會(huì)解決這個(gè)問(wèn)題，但如何保持一個(gè)NLP系統(tǒng)的身份，如何面對(duì)外界可能帶來(lái)的變化依舊需要進(jìn)一步研究。

那么，怎樣讓NLP系統(tǒng)擁有能夠在社會(huì)環(huán)境下理解語(yǔ)言的能力呢？

首先，如果單純利用一個(gè)諸如神經(jīng)網(wǎng)絡(luò)的通用的函數(shù)擬合器來(lái)給文本做分類(lèi)，它可能單純利用了文本中的語(yǔ)法語(yǔ)義信息，卻永遠(yuǎn)不會(huì)認(rèn)為文本中出現(xiàn)的人、事物和因果關(guān)系是真實(shí)存在的。這需要我們向模型中引入足夠的歸納偏置（Inductive bias）來(lái)解決這一問(wèn)題。其次，基于交叉熵的損失函數(shù)使得NLP系統(tǒng)不夠關(guān)注數(shù)據(jù)分布的尾端，導(dǎo)致出現(xiàn)較少的事件被忽視了。最后，由于現(xiàn)有的系統(tǒng)依然無(wú)法達(dá)成像人類(lèi)一樣的歸納能力，NLP系統(tǒng)的零次學(xué)習(xí)能力依然有待提高。因此，WS1-4的數(shù)據(jù)無(wú)論再大，以目前的系統(tǒng)設(shè)計(jì)也難以讓NLP系統(tǒng)學(xué)到足夠豐富的知識(shí)來(lái)降低模型的困惑度。

最后，從社會(huì)環(huán)境的角度而言，語(yǔ)言是用在人際交流中的，所以語(yǔ)言本身就攜帶著地位、身份、意圖和其他一系列的變量，但我們當(dāng)下所使用的基于眾包的數(shù)據(jù)標(biāo)簽并沒(méi)有考慮這一系列對(duì)社會(huì)生活至關(guān)重要的信息。所以，對(duì)于生成模型而言，為了考量模型與社會(huì)之間的交互性，需要給予模型一個(gè)社會(huì)地位及身份，將其置身于特定場(chǎng)景中來(lái)進(jìn)行評(píng)價(jià)。

但是，社會(huì)交流中存在那么多變量，該怎么進(jìn)行標(biāo)注呢？我們需要跳出這個(gè)圈子：訓(xùn)練-驗(yàn)證-測(cè)試集的劃分以及基于對(duì)比的評(píng)價(jià)方式限制了我們的想象力。我們的終極目標(biāo)，是讓NLP系統(tǒng)通過(guò)參與到社會(huì)當(dāng)中進(jìn)行學(xué)習(xí)，讓用戶與系統(tǒng)自由交流，使得系統(tǒng)在探索與試錯(cuò)中逐漸達(dá)成對(duì)其身份的社會(huì)語(yǔ)言學(xué)構(gòu)建。當(dāng)模型能夠在測(cè)試過(guò)程中能夠與人進(jìn)行交互，我們便可以窺視到模型的決策邊界，加深對(duì)模型的了解了。

那么，要怎么進(jìn)入下一個(gè)WS中呢？

好問(wèn)題~實(shí)際上，現(xiàn)在已經(jīng)有很多研究在探索WS3-5的需求了。作者在文章中給出了4個(gè)這樣的研究方向：

第二語(yǔ)言習(xí)得（Second language acquisition）：不同的國(guó)家雖然語(yǔ)言不同，卻有著類(lèi)似的社會(huì)模型，其中包括類(lèi)似的物體指代（例如動(dòng)物，水果…）和人的內(nèi)在狀態(tài)（例如快樂(lè)，饑餓…）?，F(xiàn)有的研究已經(jīng)開(kāi)始向神經(jīng)機(jī)器翻譯模型引入這種相似性了：ACL'20的一篇論文[6]利用了WS3的圖像信息作為增強(qiáng)雙語(yǔ)對(duì)應(yīng)關(guān)系的樞紐，未來(lái)會(huì)發(fā)展為利用WS4的模擬世界信息，以及最終走向WS5的真實(shí)世界信息。

指代消解（Coreference resolution）和詞義消歧（Word sense disambiguation）：無(wú)論是確定文本中代詞對(duì)應(yīng)的名詞還是探究一個(gè)詞在文本中的確切意思，都最終需要對(duì)心智理論的探索，通過(guò)對(duì)聽(tīng)者需求和經(jīng)驗(yàn)的建模綜合地完成任務(wù)，而非簡(jiǎn)單地通過(guò)文本尋找到與代詞最接近的名詞，或是用局部的文本信息確定詞義。類(lèi)似TextWorld[7]的WS4虛擬環(huán)境為進(jìn)一步探索這兩個(gè)問(wèn)題提供了新的可能。

新詞學(xué)習(xí)（Novel word learning）：人對(duì)于物體的描述可能不僅局限于語(yǔ)言，有時(shí)還會(huì)加入肢體語(yǔ)言配合形容物體的形狀或大小，這需要WS3系統(tǒng)進(jìn)行多模態(tài)的感知；此外，在描述新的物體時(shí)，我們不僅會(huì)描述它的外觀，還會(huì)描述它的功能，這需要WS4系統(tǒng)對(duì)動(dòng)作和功能的認(rèn)識(shí)。例如，在描述手風(fēng)琴時(shí)，我們會(huì)說(shuō)它“背著像吉他，但彈著像鋼琴”。手風(fēng)琴與吉他和鋼琴的相似性僅體現(xiàn)在使用動(dòng)作上，這種動(dòng)作上的描述只有更高級(jí)的系統(tǒng)才能夠認(rèn)識(shí)。

冒犯性語(yǔ)言（Personally charged language）：每個(gè)人都有自己不愿意聽(tīng)到的話。比如，“笨蛋”這個(gè)詞對(duì)于不同的人有著不同的理解：有些人可能認(rèn)為這樣的說(shuō)法是開(kāi)玩笑，無(wú)傷大雅；但有些人會(huì)認(rèn)為這是對(duì)自己努力的否定，從而受到傷害。只有當(dāng)系統(tǒng)走向WS5，獲得了社會(huì)交往的知識(shí)，才能明白在不同環(huán)境和條件下人的情感究竟如何。

看了這么多，這篇文章究竟想說(shuō)什么？

作者王蘇在閱讀這篇幾乎不包含任何數(shù)據(jù)和公式的文章時(shí)，體會(huì)到的吃力感完全不亞于任何一篇充斥著公式的文章。許多哲學(xué)和語(yǔ)言學(xué)概念在近年來(lái)很少被提及，甚至一部分概念根本查不到相關(guān)的中文翻譯，只好結(jié)合維基百科和一些查得到的講義來(lái)努力理解。這也難怪，畢竟這篇文章是眾多領(lǐng)域大佬從NLP、CV、語(yǔ)言學(xué)、哲學(xué)和機(jī)器人學(xué)等等不同的角度為NLP的未來(lái)規(guī)劃的前行路線。

然而，文中所說(shuō)的許多東西雖然目前已經(jīng)有工作開(kāi)始了相關(guān)的探索。雖然諸如“具身”、“社會(huì)屬性”等等名詞看起來(lái)和現(xiàn)在的NLP社區(qū)不怎么沾邊兒，而且這些名詞實(shí)在是過(guò)于虛無(wú)縹緲，這也恰好給予了研究者充分的想象空間，讓每一個(gè)目標(biāo)得以用不同的方法實(shí)現(xiàn)。例如，WS4的“試錯(cuò)”概念和強(qiáng)化學(xué)習(xí)有著千絲萬(wàn)縷的聯(lián)系，而WS5的社會(huì)屬性又不由得讓我們想起了微軟亞研院致力于提升智商+情商的微軟小冰[8]（小冰的論文對(duì)于研究對(duì)話系統(tǒng)的同學(xué)非常值得一讀，大推薦）。

所以，在為越來(lái)越大的模型和計(jì)算開(kāi)銷(xiāo)發(fā)愁之余，換個(gè)角度來(lái)看看我們所在的領(lǐng)域，以大局觀看看我們的發(fā)展階段，思考思考踏入未來(lái)需要學(xué)習(xí)和發(fā)展什么樣的技術(shù)，也許就能實(shí)現(xiàn)彎道超車(chē)呢~

要跟緊潮流鴨！加油吧，NLP人(= · ω ·=)

原文標(biāo)題：NLP未來(lái)，路在何方？12位巨佬聯(lián)名指路！

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq