前言

明喻是人們?nèi)粘Ｉ钪幸活惓Ｒ姷谋硎鲂问?，解釋明喻可以幫助機(jī)器更好地理解自然語言。因此，明喻解釋(SimileInterpretation)是自然語言處理領(lǐng)域中一個重要的研究問題。如今，大規(guī)模預(yù)訓(xùn)練語言模型(Pre-trainedLanguage Models , PLMs)在各類自然語言處理任務(wù)上得到突出的表現(xiàn)效果。那預(yù)訓(xùn)練語言模型是否能像人一樣解釋明喻呢?

本文介紹了復(fù)旦大學(xué)知識工場實(shí)驗(yàn)室的最新工作《Can Pre-trained Language Models Interpret Similes as Smart as Human?》，該工作已經(jīng)被ACL 2022錄用。此工作創(chuàng)新性地提出了明喻屬性探測任務(wù)(Simile Property Probing)，也即讓預(yù)訓(xùn)練語言模型推斷明喻中的共同屬性。此工作從通用語料文本、人工構(gòu)造題目兩個數(shù)據(jù)源構(gòu)建明喻屬性探測數(shù)據(jù)集，規(guī)模為1,633個題目，涵蓋七個主要類別。基于構(gòu)建的數(shù)據(jù)集，實(shí)驗(yàn)證明預(yù)訓(xùn)練語言模型具有一定推斷明喻屬性的能力，但是仍然不及人類的表現(xiàn)。為了進(jìn)一步增強(qiáng)預(yù)訓(xùn)練語言模型的明喻解釋能力，此工作借鑒知識表示方法設(shè)計(jì)優(yōu)化目標(biāo)，將明喻知識注入模型。實(shí)驗(yàn)證明，該優(yōu)化目標(biāo)在探測任務(wù)帶來8.58%的提升、在情感分析下游任務(wù)上帶來1.37%的提升。

paper: https://arxiv.org/abs/2203.08452

Datasets and Code：https://github.com/Abbey4799/PLMs-Interpret-Simile

研究背景

通過捕捉概念之間的共同屬性，明喻將看似無關(guān)的兩個概念聯(lián)系起來，形成一段生動的表述。例如圖1中雖然“老婦人”與“蝸?！笨此坪翢o關(guān)系，前者是人類，后者是動物。但是，由于二者的共同屬性——“行走速度較慢”，明喻便在二者之間建立了聯(lián)系，拓展了語言的表達(dá)能力，豐富了讀者的想象力。

圖1：明喻通過共同屬性將兩個概念聯(lián)系起來的示例。

明喻主要分為兩類：封閉式明喻(ClosedSimile)，以及開放式明喻(OpenSimile)。如圖2所示，二者區(qū)別在于是否顯式地指明本體、喻體的共同屬性，例如上例中的“速度慢”。

若屬性顯式出現(xiàn)(例如，The old lady walks as slow as a snail.)，則是封閉式明喻;

若沒有顯式指出屬性(例如，The old lady walks like a snail.)，則是開放式明喻。

圖2：兩類明喻的示例。二者區(qū)別在于是否顯式地指明共同屬性。

明喻解釋是自然語言處理領(lǐng)域中的一個重要研究問題，可以幫助許多下游任務(wù)，例如：理解更復(fù)雜的修辭手法、情感分析任務(wù)等。以明喻“這個律師像一條鯊魚”為例，此句雖然用詞中性，但當(dāng)機(jī)器推斷出“律師”和“鯊魚”共同具有的“氣勢洶洶”這一屬性后，便可判斷這一句所表達(dá)的是消極情緒。

近年來，大規(guī)模預(yù)訓(xùn)練語言模型，例如BERT、RoBERTa，成為解決自然語言處理任務(wù)的新趨勢。許多研究證明，大規(guī)模預(yù)訓(xùn)練語言模型在預(yù)訓(xùn)練過程中存儲了一定知識在模型豐富的參數(shù)、精巧的結(jié)構(gòu)中。然而，預(yù)訓(xùn)練語言模型解釋明喻的能力卻并未被關(guān)注。

因此，我們創(chuàng)新性地提出了明喻屬性探測任務(wù)(SimileProperty Probing)。通過讓預(yù)訓(xùn)練語言模型推斷明喻中的共同屬性，從而研究了預(yù)訓(xùn)練語言模型解釋明喻的能力。

明喻屬性探測任務(wù)

01

問題建模

為了研究預(yù)訓(xùn)練語言模型解釋明喻的能力，我們遮蓋(Mask)了封閉式明喻(ClosedSimile)中的屬性，讓語言模型根據(jù)上下文信息推斷屬性。由于本體和喻體可能同時擁有多個屬性，因此，我們將任務(wù)設(shè)計(jì)為選擇題(只有一個正確答案)而非填空題。

給定一個單詞序列S={w1w2，,...，wi-1，[MASK]，wi+1，...，wn}，將本體和喻體共有屬性wi遮蓋為[MASK]符號。PLMs需要從四個選項(xiàng)中選擇正確屬性，剩余三個選項(xiàng)為錯誤干擾選項(xiàng)。

02

數(shù)據(jù)集構(gòu)建

針對明喻屬性探測任務(wù)，我們構(gòu)建了評估數(shù)據(jù)集。我們首先從兩個數(shù)據(jù)來源搜集封閉式明喻，并基于明喻組件設(shè)計(jì)干擾選項(xiàng)候選集合，接著我們利用余弦相似度篩選最具有挑戰(zhàn)性的干擾選項(xiàng)得到最終選項(xiàng)，最后我們通過人工標(biāo)注確保數(shù)據(jù)集的質(zhì)量。整體數(shù)據(jù)集構(gòu)建流程展示如圖3。

圖3：構(gòu)建明喻屬性探測數(shù)據(jù)集流程圖。

數(shù)據(jù)來源

我們選擇兩個數(shù)據(jù)來源以構(gòu)建數(shù)據(jù)集：通用語料文本、人工構(gòu)造題目。由于開放式明喻的屬性沒有被顯式指出，若要用以構(gòu)建明喻屬性探測數(shù)據(jù)集，需要人工根據(jù)上下文標(biāo)注正確屬性。為了減少標(biāo)注的成本，在構(gòu)建數(shù)據(jù)集的過程中，我們選擇顯式指出屬性的封閉式明喻作為數(shù)據(jù)來源。

通用語料文本。首先選取兩個通用語料庫：BNC以及iWeb，隨后利用模版as ADJ as (a, an, the) NOUN匹配句子。

人工構(gòu)造題目。老師為檢驗(yàn)學(xué)生是否掌握明喻知識所制定的題目是合適的數(shù)據(jù)來源。因此，我們將在線測驗(yàn)的趣味學(xué)習(xí)平臺Quizizz作為數(shù)據(jù)來源。選取一系列標(biāo)題與明喻相關(guān)的測驗(yàn)，并基于測驗(yàn)中的問題和答案解析出封閉式明喻。

為了保證數(shù)據(jù)集的質(zhì)量，三個標(biāo)注者對句子是否為明喻進(jìn)行判斷，并標(biāo)注每個句子的明喻組件。數(shù)據(jù)集中所有屬性均為單符號的(single-token)，原句中的多符號(multi-token)屬性均被替換為它們在知識庫WordNet和ConceptNet中的單符號同義詞。

干擾選項(xiàng)構(gòu)建

為了保證題目的質(zhì)量，我們以兩個原則設(shè)計(jì)了剩余的三個干擾選項(xiàng)：錯誤(true-negative)、具有挑戰(zhàn)性(challenging)。也即，高質(zhì)量的干擾選項(xiàng)應(yīng)該違背上下文的邏輯（true-negative ），同時與正確答案語義相關(guān)(challenging)。

生成干擾選項(xiàng)。為了實(shí)現(xiàn)“具有挑戰(zhàn)性(challenging)”的要求，我們基于明喻中四個語義相關(guān)的組件(本體topic、喻體vehicle、謂詞event、屬性property)設(shè)計(jì)干擾選項(xiàng)候選集合。

給定原有屬性，我們首先從知識庫WordNet和ConceptNet中獲取反義詞;

對于剩下的三個組件，我們首先利用ConceptNet的HasProperty和COMET分別獲得每個組件相關(guān)屬性。接著，通過統(tǒng)計(jì)頻次，獲得每個組件在Wikipedia和BookCorpus中共現(xiàn)次數(shù)最多的副詞/形容詞，選取共現(xiàn)頻次排名前十的修飾詞（并且頻次大于1）作為候選選項(xiàng)。

通過以上策略，得到干擾選項(xiàng)候選集。

篩選干擾選項(xiàng)。我們利用句子的相似度，進(jìn)一步從干擾選項(xiàng)候選集中獲得最具有挑戰(zhàn)性的干擾選項(xiàng)。整體流程如圖4。給定原句以及將正確屬性替換為的干擾選項(xiàng)的新句子，我們利用RoBERTaLARGE提取兩類特征，從而衡量二者的相似度。

一個是上下文特征(Context Embedding)，由[CLS]的嵌入向量表示；

一個是單詞特征(Word Embedding)，由正確選項(xiàng)或干擾選項(xiàng)的嵌入向量表示。

最后，拼接兩個特征，利用余弦相似度(consinesimilarity)衡量正確答案和干擾選項(xiàng)之間在給定上下文中的關(guān)聯(lián)性。最終，選取關(guān)聯(lián)性最高的三個干擾選項(xiàng)與正確答案組成最終選項(xiàng)。

人工確認(rèn)選項(xiàng)。為了確保干擾選項(xiàng)為“錯誤(true-negative)”的，由三個標(biāo)注者對干擾選項(xiàng)進(jìn)行清洗。

圖4：篩選最具有挑戰(zhàn)性的干擾選項(xiàng)的示意圖。

數(shù)據(jù)集統(tǒng)計(jì)指標(biāo)

最終，我們從通用語料文本、人工構(gòu)造題目兩個數(shù)據(jù)源構(gòu)建明喻屬性探測數(shù)據(jù)集，規(guī)模為1,633個題目，涵蓋七個類別。題目示例如表1。

表1：明喻屬性探測數(shù)據(jù)集中各類題目的示例和占比。其中，“__”標(biāo)示的選項(xiàng)是正確答案。每句中的斜體詞分別代表本體、遮蓋后的屬性和喻體。

數(shù)據(jù)集統(tǒng)計(jì)指標(biāo)如表2。整體而言，Quizzes數(shù)據(jù)集中的明喻更常見，GeneralCorpus數(shù)據(jù)集中的明喻上下文更豐富。

表2：明喻屬性探測數(shù)據(jù)集統(tǒng)計(jì)指標(biāo)。

03

有監(jiān)督微調(diào)

除了評估預(yù)訓(xùn)練語言模型在零樣本場景下直接表現(xiàn)的預(yù)測明喻屬性能力，我們利用遮蓋屬性后的Masked Language Modeling (MLM)訓(xùn)練目標(biāo)微調(diào)模型，探索微調(diào)是否能提升模型理解明喻的能力。我們利用來自StandardizedProject Gutenberg Corpus(SPGC)語料庫4510條(Noun... as ADJ as ... NOUN)的句子作為微調(diào)數(shù)據(jù)。

主要實(shí)驗(yàn)結(jié)果

我們對比了模型在零樣本、微調(diào)后的結(jié)果，并與前人工作、人類表現(xiàn)進(jìn)行對比。實(shí)驗(yàn)結(jié)果如表3。

表3：各模型在明喻屬性探測任務(wù)中的準(zhǔn)確率。

我們觀察到：

模型在預(yù)訓(xùn)練階段存儲的知識可以幫助推斷明喻屬性;

利用MLM目標(biāo)微調(diào)可以進(jìn)一步提升模型預(yù)測明喻屬性的能力;

微調(diào)后的模型仍然不及人類的表現(xiàn)。

總體而言，模型在Quizzes數(shù)據(jù)集上的表現(xiàn)好于在GeneralCorpus數(shù)據(jù)集上的表現(xiàn)效果，更豐富的上下文會增加推斷明喻屬性的難度。同時，RoBERTa的表現(xiàn)持續(xù)好于BERT，證明更大規(guī)模的預(yù)訓(xùn)練語料可以讓模型建模更多的明喻文本。

我們還對明喻各個組件對解釋明喻的貢獻(xiàn)程度進(jìn)行探究，從而進(jìn)一步揭示模型解釋明喻的機(jī)制。我們分別將明喻組件(本體、喻體、比較詞)替換為[UNK]符號，將謂詞替換為be動詞從而在抹除語義的同時不影響語法。我們同時隨機(jī)替換任一符號為[UNK]作為對照。實(shí)驗(yàn)結(jié)果如表4。

表4：未經(jīng)微調(diào)的預(yù)訓(xùn)練語言模型在分別遮蓋各組件的情況下預(yù)測明喻屬性的結(jié)果。

我們觀察到：

喻體、本體和比較詞較上下文能提供更關(guān)鍵的信息;

喻體能提供最豐富的語義信息，本體次之。

因此，我們認(rèn)為有效利用喻體和本體的信息可以進(jìn)一步提高模型的表現(xiàn)效果。

增強(qiáng)PLMs中的明喻知識

01

設(shè)計(jì)目標(biāo)函數(shù)進(jìn)行知識增強(qiáng)

根據(jù)實(shí)驗(yàn)分析，我們已知本體和喻體是推測明喻屬性最重要的兩個組件。因此，由知識表示相關(guān)方法(Knowledge Embedding, KE)啟發(fā)，我們認(rèn)為屬性(property)可以看作本體(topic)和喻體(vehicle)的關(guān)系。受事實(shí)三元組的啟發(fā)，我們將明喻看作三元組(本體topic，屬性property，喻體vehicle)。如圖5所示，在表示空間中，將屬性看作從本體到喻體的平移向量。用知識表示方法的打分函數(shù)對屬性予以評估和約束。

圖5：我們設(shè)計(jì)的目標(biāo)函數(shù)示意圖

受經(jīng)典的知識表示方法TransE啟發(fā)，我們利用均方誤差(MeanSquare Error, MSE)損失函數(shù)作為我們的知識表示損失函數(shù)(KE Loss)。

LKE= MSE(Et+ Ep, Ev)

其中，Et，Ep, Ev為本體、屬性、喻體由語言模型編碼的表示向量。我們也嘗試了改進(jìn)后的知識表示方法(例如TransH，TransD)，我們將結(jié)果展示在附錄中。

最終，我們的損失函數(shù)由MLMLoss和KE Loss共同組成：

LOurs =αLKE + LMLM

其中，α是平衡兩個目標(biāo)函數(shù)的超參數(shù)。

02

實(shí)驗(yàn)結(jié)果

我們分別基于MLM目標(biāo)函數(shù)以及我們設(shè)計(jì)的目標(biāo)函數(shù)進(jìn)行微調(diào)，對比模型在明喻屬性探測任務(wù)上的表現(xiàn)效果。實(shí)驗(yàn)結(jié)果如表5。

表5：利用MLM以及我們設(shè)計(jì)的目標(biāo)函數(shù)在明喻屬性探測任務(wù)上的準(zhǔn)確率。

我們觀察到我們設(shè)計(jì)的目標(biāo)函數(shù)可以提高模型推測共同屬性的能力，在明喻屬性探測任務(wù)上驗(yàn)證了我們設(shè)計(jì)的目標(biāo)函數(shù)的有效性。

研究表明，明喻往往帶有情感極性。為了進(jìn)一步揭示改進(jìn)后目標(biāo)函數(shù)的應(yīng)用潛力，我們在情感分析下游任務(wù)上進(jìn)行實(shí)驗(yàn)。我們選取Amazon評論情感分析數(shù)據(jù)集進(jìn)行二分類任務(wù)，訓(xùn)練過程中僅更新MLP層的參數(shù)，預(yù)訓(xùn)練語言模型的參數(shù)保持不變。預(yù)訓(xùn)練語言模型的參數(shù)來自于明喻屬性探測任務(wù)中的三個場景：零樣本(Original)、基于MLM目標(biāo)函數(shù)微調(diào)后（LMLM）、基于知識增強(qiáng)后的模板函數(shù)微調(diào)后（LOurs）。實(shí)驗(yàn)結(jié)果如表6。

表6：三個場景下的預(yù)訓(xùn)練語言模型在情感分析下游任務(wù)上的準(zhǔn)確率。

我們觀察到，增強(qiáng)預(yù)訓(xùn)練語言模型推斷明喻屬性的能力可以提升模型分析文本情感極性的能力。同時在下游任務(wù)上也驗(yàn)證了我們設(shè)計(jì)的目標(biāo)函數(shù)的有效性。并且，我們在論文中也通過實(shí)驗(yàn)分析了目標(biāo)函數(shù)帶來表現(xiàn)提升的原因。

總結(jié)

我們是第一篇通過設(shè)計(jì)明喻屬性探測任務(wù)研究預(yù)訓(xùn)練語言模型解釋明喻能力的文章?；趦蓚€數(shù)據(jù)來源構(gòu)建了兩個明喻屬性探測數(shù)據(jù)集，并進(jìn)行了一系列實(shí)驗(yàn)。我們證明了預(yù)訓(xùn)練語言模型在預(yù)訓(xùn)練階段已經(jīng)掌握一定推斷明喻屬性的能力，同時該能力可以進(jìn)一步在精調(diào)階段提升，但是仍然與人的表現(xiàn)有所差距。特別地，我們提出的目標(biāo)函數(shù)將明喻知識注入模型，進(jìn)一步縮短了這一差距。我們的目標(biāo)函數(shù)在明喻屬性探測任務(wù)以及情感分析下游任務(wù)上都表現(xiàn)出有效性。在未來，我們將考慮探索如何讓機(jī)器解釋更復(fù)雜的修辭手法，例如隱喻和類比。

審核編輯 ：李倩