引言

隨著越來越多的機(jī)器學(xué)習(xí)應(yīng)用場景的出現(xiàn)，而現(xiàn)有表現(xiàn)比較好的監(jiān)督學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)，標(biāo)注數(shù)據(jù)是一項枯燥無味且花費巨大的任務(wù)，所以遷移學(xué)習(xí)受到越來越多的關(guān)注。本次論文分享介紹了三篇基于遷移學(xué)習(xí)的論元關(guān)系提取。

數(shù)據(jù)概覽

基于遷移學(xué)習(xí)和主動學(xué)習(xí)的論元關(guān)系提取(Efficient Argument Structure Extraction with Transfer Learning and Active Learning)

論文地址：https://arxiv.org/pdf/2204.00707

該篇文章針對提取論元關(guān)系提出了基于Transformer的上下文感知論元關(guān)系預(yù)測模型，該模型在五個不同的領(lǐng)域中顯著優(yōu)于依賴特征或僅編碼有限上下文的模型。為了解決數(shù)據(jù)標(biāo)注的困難，作者通過遷移學(xué)習(xí)利用現(xiàn)有的注釋好的數(shù)據(jù)來提高新目標(biāo)域中的模型性能，以及通過主動學(xué)習(xí)來識別少量樣本進(jìn)行注釋。

一個用于集成論辯挖掘任務(wù)的大規(guī)模數(shù)據(jù)集(IAM: A Comprehensive and Large-Scale Dataset for Integrated Argument Mining Tasks)

論文地址：https://arxiv.org/pdf/2203.12257

該篇文章為了使論辯中繁瑣的過程自動化，提出了一個大規(guī)模數(shù)據(jù)集IAM，該數(shù)據(jù)集可用于一系列論辯挖掘任務(wù)，包括主張?zhí)崛　⒘龇诸?、證據(jù)提取等。之后進(jìn)一步提出了與論辯準(zhǔn)備過程相關(guān)的兩個新的論辯挖掘任務(wù)：(1)基于立場分類的主張?zhí)崛。?2)主張-證據(jù)對提取。對每個集成任務(wù)分別采用流水線方法和端到端方法進(jìn)行試驗。

社會討論中的無監(jiān)督知識遷移有助于論辯挖掘嗎？(Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining?)

論文地址：https://arxiv.org/pdf/2203.12881

雖然基于Transformer的預(yù)訓(xùn)練語言模型可以在許多NLP任務(wù)中取得最好的結(jié)果，但是標(biāo)注數(shù)據(jù)的缺乏和論證高度依賴領(lǐng)域的本質(zhì)限制了此類模型的性能。文章提出了一種遷移學(xué)習(xí)的策略來解決，利用CMV做為數(shù)據(jù)集，微調(diào)選擇性掩碼語言模型，并且提出了基于prompt的策略來預(yù)測論元間的關(guān)系。

論文細(xì)節(jié)

論文動機(jī)

識別論元結(jié)構(gòu)在論辯挖掘領(lǐng)域里是一項非常重要的任務(wù)。從正式文本，例如法律文件、科學(xué)文獻(xiàn)到線上帖子，識別論元結(jié)構(gòu)在識別各個領(lǐng)域的中心論點和推理過程方面發(fā)揮著重要作用。對于給定一個命題，該文章需要在給定文本窗口中從其他命題中預(yù)測與該命題之間的關(guān)系（支持或者反對）。但是一個巨大的挑戰(zhàn)是需要捕捉命題之間的長期依賴關(guān)系。下圖展示了識別論元關(guān)系的一個例子，該例子為同行評審和在線評論中的論點摘錄。右邊表示論元結(jié)構(gòu)被標(biāo)記為命題之間的支持關(guān)系。盡管文本之間的主題或詞匯存在差異，但我們看到兩篇文本都具有相似結(jié)構(gòu)的長期依賴關(guān)系，表明識別論元之間的關(guān)系可能會跨度很大，因此需要理解更長的上下文。

由于現(xiàn)有的方法需要高質(zhì)量的標(biāo)注數(shù)據(jù)、為了解決長期依賴從而人工設(shè)計的自定義特征以及模型訓(xùn)練，導(dǎo)致時間復(fù)雜度非常高。因此文章的主要目標(biāo)是設(shè)計一個方便研究者在新領(lǐng)域的文本中更快更精確地提取出論元關(guān)系模型。文章首先提出了一種上下文感知的論元關(guān)系預(yù)測模型，該模型可以通過微調(diào)Transformer獲得。對于給定的命題，模型對該命題的更多相鄰的命題進(jìn)行編碼，不僅僅是編碼緊挨的命題。此外，由于標(biāo)注論元結(jié)構(gòu)即使是對于有經(jīng)驗的標(biāo)注人員來說依然很困難，所以文章第二個目標(biāo)是通過少量的數(shù)據(jù)來有效的訓(xùn)練模型。文章提出了兩種互補(bǔ)的方法：（1）遷移學(xué)習(xí)可以調(diào)整在不同域中現(xiàn)有注釋數(shù)據(jù)上訓(xùn)練的模型，或利用未標(biāo)記的域內(nèi)數(shù)據(jù)來進(jìn)行更好的表示學(xué)習(xí)。（2）主動學(xué)習(xí)基于樣本獲取策略選擇新域中的樣本，以優(yōu)化訓(xùn)練性能。

論元關(guān)系預(yù)測模型

任務(wù)定義

將一篇文本切分為多個命題來預(yù)測命題到命題是否存在支持或反對關(guān)系，其中目標(biāo)命題稱為“頭部”，命題稱為“尾部”，為了方便起見，文章給出了“頭部”的先驗知識。

上下文感知模型

下圖表示了該模型，模型是建立在RoBERTa之上，RoBERTa包含多層，每一層都使用雙向多頭自注意力機(jī)制。對于每一個”頭部“命題，文章編碼了在它之前的個命題（紫色表示）以及它之后的個命題（綠色表示），命題之間通過[CLS]分開。表示的最后一層狀態(tài)，每一個和分別與拼接后傳給配對輸出層，從而預(yù)測命題到命題的概率。

預(yù)測概率公式為：

其中表示三類：支持、反對和無關(guān)。和表示訓(xùn)練參數(shù)。

主動學(xué)習(xí)策略

文章考慮了一個基于池主動學(xué)習(xí)策略，訓(xùn)練集的標(biāo)簽最初是不可用的，并且進(jìn)行次學(xué)習(xí)過程。在第次迭代中，利用給定的數(shù)據(jù)獲取策略選擇個樣本，將這些數(shù)據(jù)標(biāo)注之后添加到數(shù)據(jù)池構(gòu)成，模型在上訓(xùn)練。

與模型無關(guān)的數(shù)據(jù)獲取策略

通過模型獲取的數(shù)據(jù)可能不適用于接下來的模型，這是主動學(xué)習(xí)的一個弊端。因此作者設(shè)計了與模型無關(guān)的數(shù)據(jù)獲取策略。

NOVEL-VOCAB促使命題使用更多未觀察到的單詞，假設(shè)單詞在數(shù)據(jù)池中出現(xiàn)的頻率為，則對于未標(biāo)注的樣本的得分為：

其中是樣本中單詞的頻率。有著最高得分的樣本會被選中來標(biāo)注。

DISC-MARKER旨在通過匹配以下18個論述標(biāo)記來選擇更多的關(guān)系鏈接。

數(shù)據(jù)集及相關(guān)領(lǐng)域

Domain 1: Peer Reviews

AMPERE包含了400篇ICLR 2018年的文章評審，每一個命題被標(biāo)注為evaluation、request、fact、reference和quote。文章在AMPERE的基礎(chǔ)之上將命題之間的關(guān)系標(biāo)注為支持或者反對，新的數(shù)據(jù)集命名為**AMPERE++**。最終結(jié)果為400篇評審包含3636對關(guān)系，其中300篇做為訓(xùn)練集，20篇做為驗證集，80篇做為測試集。并且文章另外收集了42K篇評審用在自監(jiān)督學(xué)習(xí)中來提高表示學(xué)習(xí)。

Domain 2: Essays

命題被標(biāo)注為premise、claim和major claim，支持與反對關(guān)系只能存在于premise到premise或者claim，并且命題之間不能跨段落。其中282篇文章做為訓(xùn)練集，20篇文章做為驗證集，80篇文章做為測試集，同樣作者另外收集了26K篇文章用來自監(jiān)督表示學(xué)習(xí)。

Domain 3: Biomedical Paper Abstracts

AbstRCT語料庫包含700篇論文摘要，主要主題是疾病的隨機(jī)對照試驗。其中350篇摘要做為訓(xùn)練集，50篇做為驗證集，300篇做為測試集。作者另外收集了133K篇未標(biāo)注的摘要用做自監(jiān)督學(xué)習(xí)。

Domain 4: Legal Documents

ECHR包含了42篇關(guān)于歐洲人權(quán)法院的法律文件，其中27篇做為訓(xùn)練集，7篇做為驗證集，8篇做為測試集。

Domain 5: Online User Comments

Cornell eRulemaking Corpus來自于線上論壇，其中501篇做為訓(xùn)練集，80篇做為驗證集，150篇做為測試集。

實驗結(jié)果

監(jiān)督學(xué)習(xí)結(jié)果

下表表明了除了Essays和AbstRCT，上下文感知模型均優(yōu)于基線模型，在這兩個數(shù)據(jù)集上特征豐富的SVM性能要優(yōu)于上下文感知模型。AbstRCT有著更高的正樣本率，表明上下文感知模型在對抗不平衡的訓(xùn)練數(shù)據(jù)上面要更加魯棒。

遷移學(xué)習(xí)結(jié)果

上一節(jié)中的結(jié)果顯示了不同域之間的巨大性能差異。帶有少量標(biāo)記樣本的域，例如AbstRCT和CDCP，會導(dǎo)致更差的性能。此外，注釋某些領(lǐng)域的論元結(jié)構(gòu)更加復(fù)雜。我們假設(shè)理解論元關(guān)系的基本推理能力可以跨域共享，因此作者研究了遷移學(xué)習(xí)，它利用具有相似任務(wù)標(biāo)簽（transductive）或相同目標(biāo)域的未標(biāo)記數(shù)據(jù)（inductive）做為現(xiàn)有數(shù)據(jù)。具體來說，作者在所有傳輸對上進(jìn)行了全面的遷移學(xué)習(xí)實驗，其中模型首先在源域上訓(xùn)練并在目標(biāo)域上進(jìn)行微調(diào)。

Transductive TL下表的上半部分顯示，從 AMPERE++ 遷移而來的模型中有四分之三的模型實現(xiàn)了更好的性能。但是，當(dāng)從其他四個數(shù)據(jù)集進(jìn)行傳輸時，性能偶爾會下降。這可能是由于不同的語言風(fēng)格和論元結(jié)構(gòu)、源域大小或由于過度依賴論述標(biāo)記而導(dǎo)致模型無法學(xué)習(xí)良好的表示。總體而言，AMPERE++ 始終有利于論元結(jié)構(gòu)理解不同領(lǐng)域，展示了其在未來研究中的潛力。

Inductive TL作者考慮了歸納式的遷移學(xué)習(xí)并且設(shè)置了兩個任務(wù)：

（1）掩碼模型預(yù)測（MLM）：隨機(jī)選擇15%的輸入數(shù)據(jù)做為預(yù)測；

（2）上下文感知的句子擾動（Context-Pert）：它將每個文檔打包成一個由[CLS]分割的句子序列，其中20%被來自其他文檔的隨機(jī)句子替換，另外20%在同一個文檔中打亂， 其余不變。

預(yù)訓(xùn)練目標(biāo)是預(yù)測每個句子的擾動類型。結(jié)果在上表的中間部分，其中MLM對所有三個領(lǐng)域都有好處。Context-Pert進(jìn)一步提高了AMPERE++的性能，但降低了其他兩個域的性能。

Combining Inductive and Transductive TL此外，作者證明了添加自監(jiān)督學(xué)習(xí)做為Transductive遷移學(xué)習(xí)的額外預(yù)訓(xùn)練步驟可以進(jìn)一步提高性能。從上表的下半部分來看，預(yù)訓(xùn)練模型比標(biāo)準(zhǔn)的Transductive遷移學(xué)習(xí)得到了一致的改進(jìn)。值得注意的是，使用目標(biāo)域進(jìn)行預(yù)訓(xùn)練會比使用源域數(shù)據(jù)產(chǎn)生更好的結(jié)果。這意味著更好的目標(biāo)域語言表示學(xué)習(xí)比更強(qiáng)大的源域模型更有效。

Effectiveness of TL in Low-Resource Setting為了定量地證明遷移學(xué)習(xí)如何使低資源目標(biāo)域有效，我們控制訓(xùn)練數(shù)據(jù)的大小并對每個域進(jìn)行Transductive遷移學(xué)習(xí)。下圖描繪了訓(xùn)練數(shù)據(jù)從0到5,000變化的趨勢，增量為500。在所有數(shù)據(jù)集中，AMPERE++作為源域產(chǎn)生了最好的遷移學(xué)習(xí)結(jié)果：使用不到一半的目標(biāo)訓(xùn)練集。一般來說，當(dāng)使用較少的訓(xùn)練數(shù)據(jù)時，遷移學(xué)習(xí)會帶來更多的改進(jìn)。

主動學(xué)習(xí)結(jié)果

下圖展示了所有策略的F1得分，從圖中可以看出，標(biāo)注數(shù)據(jù)越多，性能越好。MAX-ENTROPY，BALD和CORESET三種基于模型的方法獲得更好的性能，不依賴模型的方法也產(chǎn)生了相對較好的結(jié)果。對于AMPERE++和AbstRCT，DISC-MARKER被證實是一個很好的啟發(fā)式選擇。在論文領(lǐng)域中，由于論述標(biāo)記大量使用，所以它的得分相對較低，不使用論述標(biāo)記會導(dǎo)致性能下降。值得注意的是，在不依賴任何訓(xùn)練模型的情況下，特定于任務(wù)的數(shù)據(jù)獲取策略可以有效地標(biāo)記論元關(guān)系。

論文動機(jī)

傳統(tǒng)的論辯通常需要人工準(zhǔn)備過程，包括閱讀大量文章，選擇主張，確定主張的立場，為主張尋找證據(jù)等。論辯挖掘做為論辯系統(tǒng)中的核心，近年來受到了廣泛關(guān)注。一些論辯挖掘任務(wù)和數(shù)據(jù)集被用來自動化實現(xiàn)AI論辯，文章的目標(biāo)是實現(xiàn)論辯論準(zhǔn)備過程的自動化，如圖所示。具體來說，提供論辯主題和幾篇相關(guān)的文章，從這些主張中提取它們的立場，以及支持這些主張的證據(jù)。

然而現(xiàn)有的工作沒有能夠完成這一系列的任務(wù)（主張?zhí)崛?、立場分類、證據(jù)提?。虼宋恼绿岢隽薎AM數(shù)據(jù)集來解決這個難題。為了更好地協(xié)調(diào)這些任務(wù)，文章提出了兩個新的集成任務(wù)：基于立場分類的主張?zhí)崛。–ESC）和主張-證據(jù)對提取（CEPE）。這兩個任務(wù)不對現(xiàn)有的任務(wù)進(jìn)行處理，而是將相關(guān)的主要任務(wù)整合在一起，這樣在準(zhǔn)備辯論的過程中更實際、更有效。CESC任務(wù)可以分為兩個子任務(wù)：主張檢測任務(wù)和立場分類任務(wù)。直觀上，我們在CESC任務(wù)上進(jìn)行實驗，采用流水線方法將兩個子任務(wù)結(jié)合起來。由于這兩個子任務(wù)是相輔相成的，所以我們也采用了端到端的多標(biāo)簽分類模型(支持、反對、無關(guān)系)。CEPE任務(wù)由主張檢測任務(wù)和證據(jù)檢測任務(wù)組成。與注釋過程類似，利用多任務(wù)模型同時提取主張和證據(jù)及其配對關(guān)系。

IAM數(shù)據(jù)集

數(shù)據(jù)收集

作者從線上論壇廣泛的收集了123個論辯主題，對于每個主題，收集了大約10篇來自英文維基百科的文章，總共收集了1010篇文章，共69,666個句子。

數(shù)據(jù)標(biāo)注

標(biāo)注過程分為兩個階段：

對給定話題檢測主張；

對給定主張檢測證據(jù)。

下表表示了一個例子，主題是”人工智能會取代人類嗎？“以及標(biāo)注好的主張。主張被標(biāo)記為“C_index”，證據(jù)被標(biāo)記為“E_index”。對于立場，“+1”代表支持該主題的當(dāng)前主張，而“-1”代表反對該主題的主張。一個證據(jù)可以支持多個主張，同樣一主張也可以由多個證據(jù)來支持。

數(shù)據(jù)集分析

該數(shù)據(jù)集包含123個話題，可以應(yīng)用于各個子任務(wù)。下表展示了數(shù)據(jù)集的統(tǒng)計信息，句子的長度平均21個單詞，數(shù)據(jù)集還計算了每個”主張-證據(jù)“句子對之間共享的詞匯的平均百分比為20.14%；而語料庫中任意兩個句子之間的比例僅為8.73%。這說明提取“主張-證據(jù)”對是一項合理的任務(wù)，因為“主張-證據(jù)”的詞匯共享比例高于其他句子對。

任務(wù)

現(xiàn)存的子任務(wù)

主張?zhí)崛。航o定一個特定的論辯主題和相關(guān)文章，自動從文章中提取主張。因為主張是關(guān)鍵的論元，所以主張?zhí)崛∪蝿?wù)是基礎(chǔ)性任務(wù)。

立場分類：給定一個主題和為其提取的一組主張，確定每個主張是支持該主題還是反對該主題。

證據(jù)提取：給定一個具體的主題、相關(guān)的主張和可能相關(guān)的文章，需要該模型自動確定這些文檔中的證據(jù)。

集成的任務(wù)

主張?zhí)崛?立場分類（CESC）：由于主張有著明確的立場，因此立場明確的句子很有可能成為主張。立場識別可能有利于主張?zhí)崛?，因此將任?wù)一與任務(wù)二合并，即給定一個特定的主題和相關(guān)的文章，從文章中提取主張，也確定主張對該主題的立場。

主張-證據(jù)對提?。–EPE）：文章假設(shè)主張?zhí)崛『妥C據(jù)提取之間相輔相成，所以結(jié)合任務(wù)一和任務(wù)三，即給定一個特定的主題和相關(guān)的文章，從文章中提取主張-證據(jù)對。

方法

句子配對分類

將句子對連接起來，并輸入到預(yù)訓(xùn)練模型中，以獲得“[CLS]”標(biāo)記的隱藏狀態(tài)。之后，一個線性分類器將預(yù)測兩個句子之間的關(guān)系。任務(wù)一到任務(wù)三都可以表示為一個二分類任務(wù)，交叉熵做為損失函數(shù)。

由于任務(wù)一和任務(wù)三的數(shù)據(jù)標(biāo)簽是不平衡的，主張和證據(jù)的總數(shù)要遠(yuǎn)小于句子總數(shù)，因此可以利用負(fù)采樣來解決。在這兩個任務(wù)訓(xùn)練過程中，對于每一個主張或者證據(jù)，隨機(jī)選取一定數(shù)量的非主張或非證據(jù)句子做為負(fù)樣本，這些負(fù)樣本連同所有的主張和證據(jù)共同構(gòu)成了每個任務(wù)的新的訓(xùn)練數(shù)據(jù)集。

多標(biāo)簽?zāi)Ｐ陀糜贑ESC

文章將主題和句子配對輸入到預(yù)訓(xùn)練模型中，輸出標(biāo)簽為支持、反對和無關(guān)。由于無關(guān)的數(shù)量要遠(yuǎn)大于支持和反對的數(shù)量，因此采用負(fù)采樣來保證更加平衡的訓(xùn)練過程。

多任務(wù)模型用于CEPE

首先將主題和文章中各個句子連接起來做為主張候選集，文章中的句子序列做為證據(jù)候選集。將主張?zhí)崛『妥C據(jù)提取定義為序列標(biāo)注問題，主張候選集和證據(jù)候選集輸入到預(yù)訓(xùn)練模型中得到嵌入表示。為了預(yù)測兩句話是否構(gòu)成主張-證據(jù)對，文章采用填表的方法，將主張候選集的每個句子與證據(jù)候選集的每個句子配對，形成一個表，所有三個特征(即主張候選集、證據(jù)候選集、表格)都通過注意力引導(dǎo)的多交叉編碼層相互更新。最后，兩個序列特征用于預(yù)測其序列標(biāo)簽，表格特征用于每個主張和證據(jù)之間的配對預(yù)測。與流水線方法相比，該多任務(wù)模型具有更強(qiáng)的子任務(wù)協(xié)調(diào)能力，因為兩個子任務(wù)之間的共享信息是通過多交叉編碼器顯式學(xué)習(xí)的。

實驗結(jié)果

現(xiàn)有任務(wù)的主要結(jié)果

1.主張?zhí)崛。合卤碚故玖巳蝿?wù)一的性能，RoBERTa-base性能略優(yōu)于BERT-base-cased。

2.立場分類：下表說明兩種類型的主張F(tuán)1得分相近，并且RoBERTa-base性能優(yōu)于BERT-base-cased。

3.證據(jù)提?。合卤盹@示了任務(wù)3上的性能。同樣，RoBERTa模型比BERT模型性能更好。對于這個任務(wù)，作者實驗了兩種設(shè)置：(1)給定主題和主張(T+C)，(2)僅給定主張(C)，從候選句子中識別證據(jù)。對于(T+C)設(shè)置，只需將主題和主張連接為一個句子，并與證據(jù)候選集配對，以預(yù)測它是否是特定主題下給定主張的證據(jù)。對比這兩種設(shè)置的結(jié)果，添加主題的句子作為輸入并沒有進(jìn)一步顯著提高性能，這說明主張與證據(jù)的關(guān)系更密切，而主題并不是證據(jù)提取的決定性因素。

集成任務(wù)的主要結(jié)果

CESC任務(wù)：下表顯示了CESC任務(wù)的兩種方法的結(jié)果。對于兩種方法，在訓(xùn)練過程中為每個正樣本（主張）隨機(jī)選取5個負(fù)樣本。流水線模型獨立訓(xùn)練兩個子任務(wù)，然后將它們連接到一起，以預(yù)測一個句子是否為主張以及句子的立場。雖然它在每個子任務(wù)上都取得了最好的性能，但總體性能不如多標(biāo)簽?zāi)Ｐ?。結(jié)果表明，識別主張的立場有利于主張?zhí)崛∪蝿?wù)，這種多標(biāo)簽?zāi)Ｐ陀欣诩蒀ESC任務(wù)。

CEPE任務(wù)：下表顯示了不同方法之間的總體性能比較。除了前面提到的流水線和多任務(wù)模型，文章還添加了另一個基線模型，命名為“遍歷”。在該模型中，所有可能的“主題+主張候選句”和“證據(jù)候選句”被連接起來，并輸入到句子對分類模型中。遍歷模型和多任務(wù)模型在F1總分上都優(yōu)于流水線模型，這意味著同時處理這兩個子任務(wù)的重要性。多任務(wù)模型的性能優(yōu)于遍歷模型，說明多任務(wù)體系結(jié)構(gòu)具有較強(qiáng)的子任務(wù)協(xié)調(diào)能力。

論文動機(jī)

線上論辯文本：用戶在網(wǎng)上來回發(fā)布的帖子引發(fā)的討論，反映了大規(guī)模的意見互動。下圖表示了兩個用戶連續(xù)發(fā)帖中的論元標(biāo)注，紅色代表主張，藍(lán)色代表前提。

標(biāo)注數(shù)據(jù)的缺乏：之前的研究試圖以半監(jiān)督的方式利用大量的未標(biāo)記數(shù)據(jù)，然而這種方法要求論元被定義在句子級別，因此在預(yù)測過程中會添加額外的跨度。BERT雖然可以解決特定任務(wù)上的數(shù)據(jù)稀缺問題，但是BERT學(xué)習(xí)到的語言表示依然限制了此類模型的表達(dá)能力。

因此，作者提出了基于Transformer的遷移學(xué)習(xí)方法。作者從CMV社區(qū)中使用大量未標(biāo)記數(shù)據(jù)做為論辯知識來源，基于Transformer的預(yù)訓(xùn)練模型使用掩碼語言模型（MLM）在數(shù)據(jù)集上微調(diào)，不像之前隨機(jī)掩碼單詞來預(yù)測，作者掩碼幾個帖子中特定的標(biāo)記來進(jìn)行預(yù)測，將這種方法命名為選擇性掩碼語言模型（sMLM）。為了充分利用基于sMLM語言模型訓(xùn)練，作者提出了基于prompt的方法來預(yù)測論元之間的關(guān)系。

選擇性語言模型（sMLM）

CMV的結(jié)構(gòu)

討論論壇方便用戶可以發(fā)帖子以及在下面進(jìn)行評論，其他用戶可以回復(fù)原帖或者評論。最終可以形成類似于以原帖為根節(jié)點的樹形結(jié)構(gòu)，從根節(jié)點到葉子節(jié)點的路徑可以被視為兩個或多個用戶獨立的對話路徑，將該路徑稱為“線程”。

sMLM微調(diào)

作者選擇特定的詞來掩碼，而不是隨機(jī)選擇。作者選擇多個標(biāo)記，表明意見、因果關(guān)系、反駁、事實陳述、假設(shè)、總結(jié)和一些額外的詞，這些詞根據(jù)上下文的不同有多種用途。下圖表示sMLM需要預(yù)訓(xùn)練語言模型來根據(jù)上下文預(yù)測紅色單詞。

由于CMV線程將對話分為評論/帖子級別以及線程級別。作者試圖探索在不同的論辯挖掘任務(wù)中文本大小的影響。為此作者使用提出的sMLM對BERT進(jìn)行微調(diào)，并在線程機(jī)制中訓(xùn)練Longformer模型，Longformer使用稀疏的全局的注意力機(jī)制，即少量單詞關(guān)注全部單詞來獲得長期依賴。

論元識別

在選擇性微調(diào)之后，作者要在線程中識別論元類型。由于在單詞級別上進(jìn)行的檢測，所以使用標(biāo)準(zhǔn)的BIO標(biāo)注模式，即.

論元關(guān)系識別

作者提出基于prompt的方法來預(yù)測論元之間的關(guān)系。如下圖所示，試圖對USER-1和USER-2提出的主張之間的關(guān)系進(jìn)行分類，分別用紅色和綠色突出顯示；通過追加提示模板，線程被轉(zhuǎn)換為提示輸入。語言模型將提示標(biāo)記序列轉(zhuǎn)換為固定維度的向量，掩碼標(biāo)記位置對應(yīng)的向量用于關(guān)系分類。

實驗結(jié)果

數(shù)據(jù)集

作者使用CMV做為數(shù)據(jù)集，其中99%的數(shù)據(jù)做為訓(xùn)練集，1%的數(shù)據(jù)用來檢驗sMLM模型的準(zhǔn)確率。數(shù)據(jù)集包括3051條原帖以及293,297條評論，共有34,911個用戶，120,031個線程。

論元識別

下表展示了論元識別的結(jié)果。首先，從現(xiàn)有性能最好的基于LSTM的方法（精度為0.54）轉(zhuǎn)移到BERT時（精度為0.62），可以看到字符級標(biāo)記精度得分的巨大差異。這種差異是意料之中的，因為像BERT這樣的預(yù)訓(xùn)練語言模型在CMV這樣的小型數(shù)據(jù)集中提供了先機(jī)。盡管字符級標(biāo)記的精度提高了，但是精確論元匹配的微平均F1得分在使用RoBERTa之前并沒有增加太多。使用sMLM微調(diào)進(jìn)行訓(xùn)練的Longformer在論元識別的F1總得分方面明顯優(yōu)于其他模型。然而，與評論級上下文（RoBERTa）相比，選擇性語言模型的影響在線程級上下文（即Longformer）的情況下更為突出。

論元關(guān)系識別

下表給出了CMV數(shù)據(jù)集上論元關(guān)系識別的結(jié)果?？紤]傳統(tǒng)的平均池化方法，在這種方法中，我們觀察到sMLM預(yù)先訓(xùn)練的Longformer在訓(xùn)練集為80%和測試集為20%的情況下提高了3個點，而在訓(xùn)練集和測試集各為50%的情況下保持相似的性能。此外，無論使用Longformer還是sMLM，基于prompt的方法始終優(yōu)于平均池化方法。

審核編輯 ：李倩