脫離上下文時(shí)，每個(gè)英文單詞都有多重含義。例如，“bank”可以指銀行或河岸；“Fair”可以指展覽會(huì)，也可以指對(duì)展覽會(huì)的評(píng)價(jià)；“Duck”可以是躲避傷害的動(dòng)作，也可以指鴨子。

對(duì)于人類來說搞清楚一個(gè)單詞在某場景中適用的含義是非常簡單的。但是，對(duì)于自然語言處理模型就是另一回事了。

近些年已經(jīng)出現(xiàn)很多用于解析文本的AI工具，但是當(dāng)涉及到多重含義的單詞時(shí)，這些工具往往會(huì)陷入困境。來自艾倫人工智能研究所（Allen Institute for Artificial Intelligence）和華盛頓大學(xué)的研究人員正在努力解決這一難題，他們使用了可以根據(jù)上下文來確定英文單詞含義的神經(jīng)網(wǎng)絡(luò)。

向前和向后閱讀

通常，NLP模型通過詞向量（在每個(gè)單詞中附加語言含義和單詞語法的基礎(chǔ)元素）中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行訓(xùn)練。此算法基于假設(shè)每個(gè)單詞只有一種向量表示，但實(shí)際上英文單詞并非如此。

研究人員利用名為“ELMo”的神經(jīng)系統(tǒng)打破了這一假設(shè)，此神經(jīng)系統(tǒng)可以為每個(gè)單詞創(chuàng)造出無限數(shù)量的向量。

“‘ELMo’是‘Embeddings from Language Models’的縮寫，而不是毛茸茸的紅色芝麻街角色”，論文“Deep contextualized word representations”的第一作者M(jìn)atthew Peters解釋道。

ELMo喜歡閱讀：這不是美國幼兒教育電視節(jié)目《芝麻街》中的Elmo，而是使用雙向語言模型的神經(jīng)系統(tǒng)ELMo。

常規(guī)語言模型嘗試預(yù)測(cè)句子中即將出現(xiàn)的下一個(gè)單詞。如果片段是“The people sat down on the …,”，那么算法將預(yù)測(cè)出“bench”或“grass”之類的單詞。為了給單詞附加所有潛在含義的詞向量，這個(gè)團(tuán)隊(duì)使用了雙向語言模型。

使用雙向模型意味著，該模型可以通過一個(gè)二次的回顧性算法，獲取句子的結(jié)尾并嘗試預(yù)測(cè)出現(xiàn)在句子結(jié)尾前邊的單詞。當(dāng)模型嘗試分析的單詞出現(xiàn)在句首，并且相關(guān)上下文隨即出現(xiàn)時(shí)，這會(huì)非常有用。

“就像‘He lies to his teacher’與‘He lies on the sofa’這種情況”，Peters說道。

為測(cè)試ELMo的技能，該團(tuán)隊(duì)利用六種不同的NLP任務(wù)（包括情緒分析和問答等）對(duì)算法進(jìn)行測(cè)試。與之前使用相同訓(xùn)練數(shù)據(jù)的方法相比，ELMo每次都會(huì)得到更新、更出色的結(jié)果，在某些情況下可以比之前的領(lǐng)先模型提升25%的速度。

“在NLP中，很重要的一點(diǎn)是，單一的方法能夠提高多樣化任務(wù)的性能”，Peters指出。

ELMo在半監(jiān)督式學(xué)習(xí)領(lǐng)域大放異彩

在進(jìn)行自然語言處理時(shí)，訓(xùn)練數(shù)據(jù)的類型非常關(guān)鍵。例如，問答系統(tǒng)使用的模型無法在任何舊文本上進(jìn)行訓(xùn)練。通常，此類模型需要在由帶標(biāo)注的問題和答案對(duì)組成的大型數(shù)據(jù)庫中訓(xùn)練，以學(xué)習(xí)如何做出正確的回答。

標(biāo)注數(shù)據(jù)非常耗時(shí)并且成本高昂。因此，研究人員首先選擇使用包含大約十億個(gè)單詞的大型無標(biāo)記學(xué)術(shù)數(shù)據(jù)庫來訓(xùn)練ELMo。然后，針對(duì)特定任務(wù)（例如問答）將此數(shù)據(jù)庫調(diào)整為一個(gè)帶標(biāo)注的小型數(shù)據(jù)庫。對(duì)于這種結(jié)合使用大量無標(biāo)記數(shù)據(jù)和一小部分已標(biāo)記數(shù)據(jù)的方法，統(tǒng)稱為“半監(jiān)督式學(xué)習(xí)”。

減少對(duì)已標(biāo)記和帶標(biāo)注數(shù)據(jù)的依賴后，研究人員可以更輕松地在現(xiàn)實(shí)問題中應(yīng)用其NLP模型應(yīng)用。

“在我們的示例中，我們選擇了一個(gè)未標(biāo)記的學(xué)術(shù)數(shù)據(jù)庫來訓(xùn)練語言模型”，Peters說道。但是研究人員能夠調(diào)整算法，以便在任何其他未標(biāo)記的數(shù)據(jù)庫中運(yùn)行該算法，也可以將其應(yīng)用于生物醫(yī)學(xué)論文、法律合同或其他語言等專業(yè)領(lǐng)域中。

與之前最先進(jìn)(SOTA)的基準(zhǔn)相比，ELMo在六個(gè)基準(zhǔn)NLP任務(wù)中都增強(qiáng)了神經(jīng)模型的性能。從左到右，這些任務(wù)依次是：語義推理、命名實(shí)體識(shí)別、問題回答、指代消解、語義角色標(biāo)注和情感分類。

研究人員通過Amazon Web Service，使用NVIDIA Tesla V100和K80 GPU助力訓(xùn)練和推理。

在后續(xù)論文中，研究人員指出其僅使用了幾百個(gè)已標(biāo)記示例，便可應(yīng)用ELMo模式回答幾何問題。人工需要花費(fèi)幾個(gè)小時(shí)便能完成此標(biāo)記工作，但卻會(huì)顯著提高NLP模型的性能。

ELMo已作為開源庫提供。Peters表示其他的NLP研究人員已經(jīng)將此模型應(yīng)用到了他們自己的工作中，包括除英語外的其他語言。