引言

從自然語(yǔ)言文本中自動(dòng)提取語(yǔ)義信息是許多實(shí)際應(yīng)用領(lǐng)域中的重要研究問題。尤其是在最近通過社交媒體網(wǎng)站，新聞門戶網(wǎng)站和論壇等渠道在線發(fā)布內(nèi)容之后；大量相關(guān)的科學(xué)出版物揭示了諸如情感分析，嘲諷/爭(zhēng)議/真實(shí)性/謠言/假新聞檢測(cè)以及論據(jù)挖掘等問題的解決方案的影響和意義越來(lái)越大。

立場(chǎng)檢測(cè)作為情感分類任務(wù)中的一個(gè)子任務(wù)，在上述領(lǐng)域中都起著舉足輕重的作用，并且在不同的場(chǎng)景設(shè)置中任務(wù)的定義方式也不同，其中最常見的定義是將文本生產(chǎn)者的立場(chǎng)朝著目標(biāo)自動(dòng)分類為以下三個(gè)類別之一：{支持，反對(duì)，中立}。

本次DISC小編分享的三篇ACL2020論文將從不同方面圍繞立場(chǎng)檢測(cè)領(lǐng)域進(jìn)行研究，包括新任務(wù)、新數(shù)據(jù)集、以及加入外部知識(shí)的新模型等。

文章概覽

網(wǎng)絡(luò)論辯中的一致性預(yù)測(cè)——立場(chǎng)極性與強(qiáng)度檢測(cè)（Agreement Prediction of Arguments in Cyber Argumentation for Detecting Stance Polarity and Intensity）

論文地址：https://www.aclweb.org/anthology/2020.acl-main.509.pdf

在在線辯論中，用戶對(duì)彼此的論點(diǎn)和想法表達(dá)不同程度的同意/反對(duì)。通常，同意/反對(duì)的語(yǔ)義隱含在文本中，必須經(jīng)過預(yù)測(cè)才能分析集體意見。現(xiàn)有的立場(chǎng)檢測(cè)方法可以預(yù)測(cè)帖子對(duì)主題或帖子的立場(chǎng)的極性，但不考慮該立場(chǎng)的強(qiáng)度。我們?cè)谂袛鄡啥螌?duì)話的關(guān)系中引入了一個(gè)新的研究問題，即立場(chǎng)極性和強(qiáng)度預(yù)測(cè)。這個(gè)問題具有挑戰(zhàn)性，因?yàn)榱?chǎng)強(qiáng)度上的差異通常很細(xì)微，需要細(xì)致的語(yǔ)言理解。在網(wǎng)絡(luò)辯論數(shù)據(jù)中心的研究表明，將立場(chǎng)極性和強(qiáng)度數(shù)據(jù)都納入在線辯論中可以帶來(lái)更好的討論分析。

走出“回聲室”：檢測(cè)反對(duì)辯論發(fā)言（Out of the Echo Chamber: Detecting Countering Debate Speeches）

論文地址：https://www.aclweb.org/anthology/2020.acl-main.633.pdf

隨著從傳統(tǒng)新聞媒體向社交媒體和類似場(chǎng)所的轉(zhuǎn)變，讀者更傾向于被困在“回音室”中，并且可能成為假新聞和虛假信息的犧牲品，缺乏容易獲得不同意見的渠道。因此，作者提出了檢測(cè)反對(duì)立場(chǎng)發(fā)言的任務(wù)，具體來(lái)說(shuō)，是給定一段辯論文本（長(zhǎng)文本），從當(dāng)前的大語(yǔ)料庫(kù)中找到與其意見相反的辯論文本（長(zhǎng)文本）。操作層面上，作者在文中遵循論辯領(lǐng)域的規(guī)范標(biāo)準(zhǔn)構(gòu)建了3685篇辯論長(zhǎng)文本作為該任務(wù)的數(shù)據(jù)集，并進(jìn)行了人工以及機(jī)器模型的實(shí)驗(yàn)，結(jié)果顯示該任務(wù)設(shè)置合理且極具挑戰(zhàn)性。

使用可遷移的語(yǔ)義-情感知識(shí)增強(qiáng)跨領(lǐng)域立場(chǎng)檢測(cè)（Enhancing Cross-target Stance Detection with Transferable Semantic-Emotion Knowledge）

論文地址：https://www.aclweb.org/anthology/2020.acl-main.291.pdf

當(dāng)有足夠的帶標(biāo)簽的訓(xùn)練數(shù)據(jù)可用時(shí)，立場(chǎng)檢測(cè)任務(wù)中人們已經(jīng)取得了巨大的成功。但是，注釋足夠的數(shù)據(jù)會(huì)占用大量人力，這為將立場(chǎng)分類器推廣到具有新目標(biāo)的數(shù)據(jù)建立了很大的障礙。在本文中，作者提出了一種用于跨目標(biāo)立場(chǎng)檢測(cè)的語(yǔ)義-情感知識(shí)轉(zhuǎn)移（SEKT）模型，該模型使用外部知識(shí)（語(yǔ)義和情感詞典）作為橋梁來(lái)實(shí)現(xiàn)跨不同目標(biāo)的知識(shí)轉(zhuǎn)移。在大型現(xiàn)實(shí)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)結(jié)果證明，SEKT模型相對(duì)于最新的基線方法具有優(yōu)越性。

數(shù)據(jù)概覽

對(duì)于立場(chǎng)檢測(cè)任務(wù)，不同的應(yīng)用場(chǎng)景中的任務(wù)設(shè)置會(huì)存在一定的差異，例如在最傳統(tǒng)的設(shè)置中，立場(chǎng)檢測(cè)被定義為給定兩段文本，我們需要判斷出兩段文本之間的支持/反對(duì)關(guān)系；在另一些場(chǎng)景中可能定義為給定文本和某一主題，判斷它們之間的語(yǔ)義關(guān)系等等，上述提到的三篇論文所使用到的數(shù)據(jù)集分別如下所示：

ICAS: 上述第一篇文章中所構(gòu)建的新數(shù)據(jù)集。數(shù)據(jù)來(lái)源自作者所搭建的智能網(wǎng)絡(luò)論辯系統(tǒng)（intelligent cyber argumentation system, ICAS）中2017年秋季至2019年春季所積累的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)包含用戶回復(fù)時(shí)輸入文本以及他們對(duì)于自己所產(chǎn)生的回復(fù)的立場(chǎng)極性/強(qiáng)度的打分。

IBM Debater - Recorded Debating Dataset - Release #5: 第二篇論文中所構(gòu)建的新數(shù)據(jù)集，作者采用（Mirkin et. al., 2018）所提出的辯論文本生成規(guī)范，通過聘請(qǐng)專業(yè)辯論人員進(jìn)行給定主題、立場(chǎng)的口頭陳述，再通過語(yǔ)音轉(zhuǎn)文本技術(shù)生成對(duì)應(yīng)的辯論文本，最終得到了3684條辯論長(zhǎng)文本。

SemEval-2016 Task 6: 第三篇論文中所使用的數(shù)據(jù)集，來(lái)自于SemEval2016年的第六個(gè)任務(wù)，共包含在4個(gè)話題上的4870條推特文本，每條推特文本都包含在一個(gè)話題上的立場(chǎng)標(biāo)簽。

論文

1

動(dòng)機(jī)

強(qiáng)度是立場(chǎng)關(guān)系的重要方面，這一維度的信息可以幫助我們對(duì)于用戶之間的回復(fù)進(jìn)行更為深入的分析；

先前的立場(chǎng)檢測(cè)方法大多僅判斷立場(chǎng)的極性（同意/不同意/中立），但極少數(shù)考慮立場(chǎng)的強(qiáng)度（強(qiáng)，弱等）。

在研究立場(chǎng)強(qiáng)度的前人工作中，對(duì)于立場(chǎng)強(qiáng)度判別建模為更細(xì)粒度的分類問題（如：強(qiáng)烈同意/同意/中立/反對(duì)/強(qiáng)烈反對(duì)）并進(jìn)行更為詳細(xì)的標(biāo)注，但發(fā)現(xiàn)這樣的分類數(shù)據(jù)在使得模型在原來(lái)的三分類問題的任務(wù)中出現(xiàn)了明顯的性能下降。

創(chuàng)新點(diǎn)

從上述動(dòng)機(jī)出發(fā)，作者提出了給論點(diǎn)編碼的新方式：一致值編碼。

一致值編碼（取值范圍為[-1.0,+1.0])由兩個(gè)因子構(gòu)成：

符號(hào)(+/-/0)，分別對(duì)應(yīng)立場(chǎng)極性(支持/反對(duì)/中立)

振幅(取值范圍[0,1.0])，對(duì)應(yīng)上文中所提到的立場(chǎng)強(qiáng)度(0代表無(wú)強(qiáng)度/中立；1.0代表完全支持/完全反對(duì))

立場(chǎng)的一致值=符號(hào)*振幅

數(shù)據(jù)集

作者搭建了智能網(wǎng)絡(luò)論辯系統(tǒng)（intelligent cyber argumentation system, ICAS），并邀請(qǐng)研究生在該平臺(tái)上進(jìn)行論辯互動(dòng)，并為自己的回復(fù)進(jìn)行一致值的標(biāo)注（一致值的標(biāo)注以0.2為最小間隔），如下圖所示：

作者收集了從2017年秋季至2019年春季所記錄的所有文本、一致值標(biāo)注的數(shù)據(jù)，共計(jì)從904位用戶中得到了22606條論點(diǎn)數(shù)據(jù)。

模型

作者應(yīng)用了SemEval 2016 Twitter 立場(chǎng)檢測(cè)任務(wù)中表現(xiàn)最好的五個(gè)模型，進(jìn)行了相應(yīng)改動(dòng)（注：由于原本的立場(chǎng)檢測(cè)任務(wù)為分類任務(wù)，而上文提到的強(qiáng)度判別為回歸任務(wù)，故在本任務(wù)中需要將這些模型最后的分類層進(jìn)行改為輸出[-1.0,+1.0]的實(shí)值）應(yīng)用到了上文所描述的新數(shù)據(jù)集中，模型分別如下所示：

Ridge-M以及Ridge-S

這兩個(gè)回歸模型基于1-3gram的詞特征、2-5gram的字符特征等文本特征表示（Ridge-S模型還加入了詞嵌入特征），并將其輸入SVM模型從而得到在立場(chǎng)上的分類標(biāo)簽（在此任務(wù)中SVM被替換成了Ridge回歸模型）。

SVR-RF-R整合模型

該模型利用語(yǔ)言特征、主題特征、詞嵌入特征以及一些詞法特征（共2855維），并將其輸入至一個(gè)SVM分類器、一個(gè)隨機(jī)森林分類器、一個(gè)樸素貝葉斯模型進(jìn)行多數(shù)投票從而得到最后的分類結(jié)果（在此任務(wù)中三個(gè)模型被替換為SVR、隨機(jī)森林回歸器以及Ridge回歸模型）。

pkudblab-PIP

該模型如下圖所示，是一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型，通過將輸入句子的詞向量依次送入2D卷積層、最大池化層、全連接稠密層從而得到最終的標(biāo)簽分類（該任務(wù)中輸出層替換為sigmoid層，從而輸出實(shí)值一致值）。

T-PAN-PIP

該模型如下圖所示，是一個(gè)基于遞歸神經(jīng)網(wǎng)絡(luò)的模型。該模型通過將輸入句子的詞向量依次送入BiLSTM以及注意力層，從而得到最終的標(biāo)簽分類（該任務(wù)中輸出替換為sigmoid層，從而輸出實(shí)值一致值）。

實(shí)驗(yàn)

該論文的實(shí)驗(yàn)主要從兩方面進(jìn)行：

上述五個(gè)在立場(chǎng)極性檢測(cè)中表現(xiàn)最好的模型在新任務(wù)新數(shù)據(jù)集上的表現(xiàn)：

如圖所示，五個(gè)模型在新數(shù)據(jù)集上的RMSE（均方誤差根）分布在0.596~0.718之間，作者稱這個(gè)表現(xiàn)與原任務(wù)上的效果接近。其中SVR-RF-R整合模型的RMSE指標(biāo)最低，取得了最好的效果。

所提出的新任務(wù)是否提升了模型在原任務(wù)上的表現(xiàn)：

注意到當(dāng)前新任務(wù)的標(biāo)簽以及預(yù)測(cè)都是一個(gè)取值范圍為[-1.0,+1.0]的實(shí)數(shù)值，為了與傳統(tǒng)的立場(chǎng)極性檢測(cè)作比較，作者將新任務(wù)的一致值標(biāo)簽以及預(yù)測(cè)都取其符號(hào)，于是新任務(wù)又被轉(zhuǎn)化成了分類問題。最終，作者將僅預(yù)測(cè)極性任務(wù)的模型性能與上述預(yù)測(cè)一致值的模型在極性標(biāo)簽上的性能做對(duì)比（如下圖所示），發(fā)現(xiàn)了大多數(shù)模型（4個(gè)）在經(jīng)過了一致值預(yù)測(cè)任務(wù)的訓(xùn)練后，在立場(chǎng)極性的判斷上都比原分類任務(wù)的模型表現(xiàn)更好，從而得出了新任務(wù)單就立場(chǎng)極性的判斷上也能提升模型的性能，是一個(gè)合理的任務(wù)。

2

動(dòng)機(jī)

缺乏對(duì)特定觀點(diǎn)提出異議的相反觀點(diǎn)的了解，可能導(dǎo)致我們的決策最終基于片面或者存在偏見的信息。

具體操作上，該任務(wù)定義為：給定輸入文本和語(yǔ)料庫(kù)，請(qǐng)從該語(yǔ)料庫(kù)中檢索一個(gè)包含與輸入文本中提出的論點(diǎn)相駁斥的反文本。

數(shù)據(jù)集

數(shù)據(jù)集構(gòu)建

本篇文章作者采用（Mirkin et. al., 2018）所提出的辯論文本生成規(guī)范，通過聘請(qǐng)專業(yè)辯論人員進(jìn)行給定主題、立場(chǎng)的口頭陳述，再通過語(yǔ)音轉(zhuǎn)文本技術(shù)生成對(duì)應(yīng)的辯論文本，具體的數(shù)據(jù)集生成過程如下：

錄制支持論題的演講

專業(yè)辯手給定一系列論題(motion)以及相關(guān)的背景資料（從Wikipedia等在線資源網(wǎng)站上獲得）

每位辯手每次被給予十分鐘的準(zhǔn)備時(shí)間

準(zhǔn)備時(shí)間結(jié)束后每位辯手每次錄制一段長(zhǎng)度為四分鐘的的辯論演講（用于支持給定論題）

將上述得到的演講錄音通過語(yǔ)音轉(zhuǎn)文字技術(shù)轉(zhuǎn)換為文本

錄制反對(duì)論題的演講

專業(yè)辯手給定一系列論題(motion)、一篇由上述過程生成的支持論題的演講稿以及相關(guān)的背景資料（從Wikipedia等在線資源網(wǎng)站上獲得）

每位辯手每次被給予十分鐘的準(zhǔn)備時(shí)間

準(zhǔn)備時(shí)間結(jié)束后每位辯手每次錄制一段長(zhǎng)度為四分鐘的的辯論演講（用于反對(duì)給定的支持演講稿）

將上述得到的演講錄音通過語(yǔ)音轉(zhuǎn)文字技術(shù)轉(zhuǎn)換為文本

上述過程中所涉及的論題、論點(diǎn)之間的關(guān)系如下圖所示（其中、為兩個(gè)不同的論題，表示支持論題的演講，表示反對(duì)這些支持演講的演講，實(shí)線和虛線分別表示顯式反對(duì)與隱式反對(duì)）：

數(shù)據(jù)集分析

共包含460個(gè)不同論題

總共錄制了1797段支持論題的演講

總共錄制了1887段反對(duì)這些支持演講的演講

348篇為顯式反駁

1389篇為隱式反駁

150篇為直接反對(duì)給定議題的演講，并不駁斥任何一篇支持議題的演講

實(shí)驗(yàn)

人工表現(xiàn)

在收集到上述數(shù)據(jù)集之后，作者先進(jìn)行了人工表現(xiàn)的實(shí)驗(yàn)。作者共組織了兩場(chǎng)實(shí)驗(yàn)，第一場(chǎng)參與者為進(jìn)行過多次數(shù)據(jù)標(biāo)注任務(wù)的標(biāo)注專家，第二場(chǎng)參與者為隨機(jī)招募的實(shí)驗(yàn)者。

對(duì)于每一段支持論題的演講，組織方都會(huì)給出3~5段反對(duì)演講，其中有一段是正確的駁斥所給定的支持言論，剩余則為同一論題下與支持言論不構(gòu)成駁斥關(guān)系的錯(cuò)誤選項(xiàng)，受試者需要從給定的候選文本給出自己認(rèn)為的正確答案，當(dāng)無(wú)法確定時(shí)，需要他們隨機(jī)猜一個(gè)答案并說(shuō)明情況。人工實(shí)驗(yàn)的結(jié)果如下表所示（A表示人工試驗(yàn)的準(zhǔn)確率，R表示隨機(jī)猜的準(zhǔn)確率；Ex表示標(biāo)注專家的結(jié)果，Cr表示隨機(jī)招募的受試者的結(jié)果）：

由上表我們可以得出如下幾個(gè)結(jié)論：

人工表現(xiàn)遠(yuǎn)超隨機(jī)猜測(cè)的準(zhǔn)確率，說(shuō)明這個(gè)任務(wù)是可行的；

標(biāo)注專家結(jié)果比受試者有明顯提升；

隱式駁斥的文本相比顯示駁斥文本更難選擇正確。

模型表現(xiàn)

在進(jìn)行完人工實(shí)驗(yàn)之后，作者采用了較多的語(yǔ)言模型來(lái)進(jìn)行自動(dòng)化實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下表所示：

其中值得一提的是BERT的表現(xiàn)差強(qiáng)人意，在眾多基于特征的方法中處于下游，甚至與隨機(jī)猜的準(zhǔn)確率相近，這是因?yàn)楦鶕?jù)之前的方式所生成的數(shù)據(jù)集長(zhǎng)度遠(yuǎn)超BERT的最大長(zhǎng)度512，因此作者不得不對(duì)原文以及候選項(xiàng)都進(jìn)行截?cái)?，但仍然未能得到使人滿意的結(jié)果，這也從另一方面體現(xiàn)出當(dāng)前對(duì)于長(zhǎng)文本的處理方法仍存在較大的局限性。

3

動(dòng)機(jī)&貢獻(xiàn)

當(dāng)前階段盡管立場(chǎng)檢測(cè)任務(wù)已經(jīng)有了長(zhǎng)足發(fā)展，但跨領(lǐng)域的的目標(biāo)立場(chǎng)檢測(cè)（指訓(xùn)練集和數(shù)據(jù)集在領(lǐng)域上存在差異）進(jìn)展較小。

本文從語(yǔ)義相關(guān)和情感相關(guān)的詞匯表中構(gòu)建語(yǔ)義情感知識(shí)圖（SE圖），并通過應(yīng)用圖卷積網(wǎng)絡(luò)（GCN）對(duì)上述的情感知識(shí)圖進(jìn)行表示學(xué)習(xí)，并將傳統(tǒng)的BiLSTM進(jìn)行了改進(jìn)，使其可以更好地使用上述SE圖所帶來(lái)的外部知識(shí)。

實(shí)驗(yàn)結(jié)果顯示，通過上述方式的處理，模型在跨領(lǐng)域的目標(biāo)立場(chǎng)檢測(cè)任務(wù)上取得了SOTA的表現(xiàn)。

數(shù)據(jù)集

本篇文章所采用的數(shù)據(jù)集來(lái)自于SemEval2016年的第六個(gè)任務(wù)，共包含在4個(gè)話題，包括Donald Trump (DT), Hillary Clinton (HC), Legalization of Abortion (LA), 和Feminist Movement (FM)上的4870條推特文本，每條推特文本都包含在一個(gè)話題上的立場(chǎng)標(biāo)簽。作者還向其中加入了一個(gè)新的話題，Trade Policy (TP)，其包含了1245條推特文本。之后作者將這五個(gè)話題按照其語(yǔ)義分為了兩組：婦女權(quán)利（FM, LA）以及美國(guó)政治（DT，HC，TP）。由此，作者構(gòu)造出了八組跨領(lǐng)域的目標(biāo)立場(chǎng)檢測(cè)任務(wù) ( DT→HC, HC→DT, FM→LA, LA→FM, TP→HC, HC→TP, TP→DT, DT→TP)。（左箭頭表示從源領(lǐng)域到目標(biāo)領(lǐng)域）

模型

作者所提出的模型SEKT整體架構(gòu)如下圖所示，其主要由兩部分構(gòu)成：SE圖以及知識(shí)增強(qiáng)的BiLSTM：

語(yǔ)義-情感知識(shí)圖（SE圖）構(gòu)建

將SenticNet中的同義/近義詞兩兩之間連邊

將EmoLex中每個(gè)詞及其對(duì)應(yīng)的可能的情感兩兩連邊

上述過程如下圖所示，注意這里我們構(gòu)建的是包含詞和情感標(biāo)簽的異質(zhì)網(wǎng)絡(luò)圖：

語(yǔ)義-情感知識(shí)圖表示

對(duì)于每個(gè)節(jié)點(diǎn)，我們從全知識(shí)圖中抽出一個(gè)的子圖（文中k取1）

接下來(lái)把傳到一個(gè)兩層GCN中

最后我們將傳入一個(gè)全連接層來(lái)得到圖的最終表示

知識(shí)增強(qiáng)的BiLSTM

該模塊結(jié)構(gòu)如下圖所示：

上圖中左邊藍(lán)色部分為普通BiLSTM的結(jié)構(gòu)組件，按如下公式更新狀態(tài)：

該模塊中右半部分為知識(shí)知曉的記憶模塊，按如下方式更新狀態(tài)：

對(duì)于每一個(gè)詞，我們從SE圖中抽取出其對(duì)應(yīng)的實(shí)體，并且獲得以其為中心的子圖表示。

最終，將所得到的目標(biāo)表示以及句子表示再通過一個(gè)注意力層，便可得到句子在目標(biāo)上的立場(chǎng)分類預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)

與基線模型相比

作者所提出的完整模型在SemEval 2016 任務(wù)6數(shù)據(jù)集上的表現(xiàn)如下圖所示：

可以看出作者的SEKT模型在8個(gè)跨領(lǐng)域的目標(biāo)立場(chǎng)檢測(cè)任務(wù)中的表現(xiàn)都超過了大多數(shù)基線模型，達(dá)到了SOTA的效果，說(shuō)明作者這種通過加入語(yǔ)義詞典與情感詞典的外部知識(shí)模型，完成了領(lǐng)域遷移中對(duì)于關(guān)鍵詞的表示以及關(guān)系建模。

消融實(shí)驗(yàn)

在驗(yàn)證了完整模型的SOTA性能后，作者進(jìn)一步進(jìn)行了消融實(shí)驗(yàn)，在上述8個(gè)任務(wù)中去掉SE圖建模以及將拓展的BiLSTM替換為傳統(tǒng)LSTM，分別進(jìn)行性能對(duì)照，結(jié)果如下圖所示：

可以看出在大多數(shù)跨領(lǐng)域的目標(biāo)立場(chǎng)檢測(cè)中，去掉SE圖表示或去掉對(duì)于BiLSTM的改進(jìn)，都會(huì)使得模型性能下降0.02左右的指標(biāo)，從而證明了這兩部分的重要性。（注：作者此處的消融實(shí)驗(yàn)不僅僅是去掉了SE兩個(gè)詞典中的信息以及圖表示學(xué)習(xí)的信息，而是保留這些信息，但在模型層面去掉上述較為復(fù)雜的操作，因此在不影響輸入的信息量的情況下，但就模型設(shè)計(jì)方面證明了所提模型的優(yōu)越性）。