1. 動機介紹

對話中的情感分析已經(jīng)成為自然語言處理（Natural Language Processing, NLP）界的一個新興話題。大多數(shù)現(xiàn)有的工作主要集中在對話情緒識別上（Emotion Recognition in Conversations, ERC），其目的是預(yù)測對話中每個話語的情緒標(biāo)簽[1,2,3]。然而，情感推理任務(wù)，如識別對話中情緒背后的原因，還沒有被充分研究。最近，Poria等人[4]認(rèn)為，在對話中識別情緒原因（RECCON）有利于提高情緒分析模型的可解釋性和性能。同時，它在一些領(lǐng)域有潛在的應(yīng)用，如情緒支持系統(tǒng)[5]和共情對話系統(tǒng)[6]。因此，Poria等人[4]引入了一個名為RECCON的新任務(wù)，該任務(wù)有一個標(biāo)注情緒原因的數(shù)據(jù)集。它包括兩個不同的子任務(wù)：原因跨度抽?。–ausal Span Extraction, CSE）和情緒原因蘊含（Causal Emotion Entailment, CEE）。在本文中，我們重點關(guān)注CEE子任務(wù)，其目標(biāo)是預(yù)測對話歷史中哪些特定的語句會引發(fā)目標(biāo)語句中的非中性情緒。

在CEE任務(wù)中，有兩個主要的挑戰(zhàn)。首先，為了捕捉對話者之間相互交織的情感動態(tài)變化，有必要通過有效的語境模型來理解語境中的深層語義關(guān)聯(lián)。其次，要準(zhǔn)確地將候選語句推理到目標(biāo)情感上可能很困難，因為因果線索并不總是在語境中明確提及，而是應(yīng)該通過基于推理來暗示，這就導(dǎo)致了候選語句和目標(biāo)語句之間存在推理空缺。然而，Poria等人[4]簡單地將CEE表述為一個語句對分類問題，這是缺乏足夠的對話語境模型和有效的情感原因推理的。因此，為了應(yīng)對這樣的兩個挑戰(zhàn)，我們將常識性知識（Commonsense Knowledge, CSK）[7]引入CEE。

圖1: 數(shù)據(jù)集RECCON-DD示例

一方面，以事件為中心的CSK，對語句中提到的事件前后可能發(fā)生的事情進(jìn)行揭示，可以被視為語義層面的橋梁（S-bridge），連接對話的發(fā)展，加強相關(guān)語句之間的語義依賴，從而深入理解對話的語境信息。如圖1左側(cè)所示，語句#7中PersonA想單獨離開的事件發(fā)生在PersonA告訴PersonB離開的事件之后，這與語句#1和#5相關(guān)。

另一方面，根據(jù)Moors等人[8],人類的感覺和行動傾向是情緒的兩個重要組成部分，并在很大程度上為目標(biāo)情緒的產(chǎn)生提供了潛在的因果線索。為此，社會交互CSK被用作情緒層面的橋梁（E-bridge）和行動層面的橋梁（A-bridge），根據(jù)對話者的感覺和行動傾向所傳達(dá)的因果線索，將候選語詞與目標(biāo)語詞連接起來。在圖1中，話語#4中PersonB的狡辯和批評使PersonA感到憤怒，這與目標(biāo)語句#7所持有的情緒是一致的。此外，語句#5的內(nèi)容暗示了PersonA的行動傾向是獨處，它直接導(dǎo)致了她在目標(biāo)語句#7中表達(dá)的內(nèi)容。

在本文中，我們提出了知識橋接因果交互網(wǎng)絡(luò)(Knowledge Bridged Causal Interaction Network, KBCIN)，以有效地進(jìn)行語境建模和情緒原因推理。具體來說，我們將一個對話抽象為一個對話圖，以建模對話中的語句間依賴關(guān)系。然后，我們引入了以事件為中心的CSKs，包括兩種類型isAfter和isBefore，并設(shè)計了知識增強的圖注意力模塊（CSK-Enhanced Graph Attention），將CSKs作為S-bridge在圖上進(jìn)行消息傳遞。此外，為了填補候選語句和目標(biāo)語句之間的推理空缺，我們利用社會交互CSKs，x(o)Want和x(o)React作為A-bridge和E-bridge。我們設(shè)計了情緒交互模塊和行動交互模塊，借助這兩個bridge所傳達(dá)的明確的因果線索，準(zhǔn)確推理出目標(biāo)情緒的原因。而上述三個模塊構(gòu)成了知識橋接的因果交互（KBCI）模塊，它作為多個注意力頭的并列，充分地建模了對話語句之間的相互依賴關(guān)系，并將目標(biāo)情緒與候選語篇精確地聯(lián)系起來。

為了評估所提出的模型的性能，我們在基準(zhǔn)數(shù)據(jù)集[4]上進(jìn)行了廣泛的實驗。我們與CEE、情緒原因抽?。‥CE）和情感-原因?qū)μ崛。‥CPE）任務(wù)上的基線模型相比，取得了最先進(jìn)的性能。

這項工作的主要貢獻(xiàn)總結(jié)如下：

我們將常識性知識引入到因果情感實體化任務(wù)中，以填補候選語句和目標(biāo)語句之間的推理空白。

我們提出了一個新的模型KBCIN，以常識性知識為橋梁，進(jìn)行全面的對話語境建模和準(zhǔn)確的情感原因推理。

在基準(zhǔn)數(shù)據(jù)集上對比大多數(shù)強基線的實驗結(jié)果證明了我們模型的優(yōu)越性。

2. 模型方法

圖3: 整體模型架構(gòu)圖

2.1 特征提取

語句級特征提取。Transformer encoder（Vaswani等人，2017）被作為語句encoder來提取語料級特征。具體來說，對于每條語句，一個特殊的標(biāo)記[CLS]被拼接到語句的開頭。然后，我們將該序列送入語句編碼器，從最后一個隱藏層中得到的最大池化后的表示作為每條語句的語句級特征。

知識獲取。在這項工作中，我們使用ATOMIC- 2020[7]作為我們的常識性知識（CSK）基礎(chǔ)。它是一個常識知識圖，涵蓋日常推理知識的社會、物理和時間相關(guān)方面。

圖2: 常識知識圖事件中心CSK和社會交互CSK示例

為了充分理解對話中各語句之間的語義依賴關(guān)系，并填補候選語句與目標(biāo)之間的推理空白，我們將CSK作為三座橋梁，分別命名為語義級橋梁（S-bridge）、情緒級橋梁（E-bridge）和動作級橋梁（A-bridge）。更具體地說，我們從ATOMIC-2020中探索了六種CSK，它們被歸類為以事件為中心的CSK和社會交互CSK。圖2中顯示了CSK的例子。一方面，根據(jù)事件中心CSK isAfter和isBefore所體現(xiàn)的對話發(fā)展的脈絡(luò)和因果關(guān)系，語句之間的深層語義依賴將由此來建立。因此，S-bridge的構(gòu)建是為了對對話語境進(jìn)行全面的了解。另一方面，另外兩座橋，E-bridge和A-bridge是由社會交互CSK xReact, oReact, xWant和oWant構(gòu)建的。而x(o)Want是對自身（他人）在事件發(fā)生后可能想做什么的描述，而x(o)React體現(xiàn)了自身（他人）在事件發(fā)生后的情緒感受。它們從人的感覺和行動傾向的角度出發(fā)，填補了候選語詞和目標(biāo)語詞之間的推理空白。

為了生成給定語句的CSK表示，我們采用了生成性常識模型COMET[9]，該模型是在ATOMIC-2020上訓(xùn)練的。更具體地說，我們使用基于BART[10]的COMET變體。給出對話中的每個語句，形成輸入格式，其中r是我們選擇的CSK類型，COMET會在關(guān)系r下生成推理內(nèi)容的描述，而COMET最后一層的隱狀態(tài)表示被用作CSK代表。通過這種方式，對于每個語句，有六種CSK表示，用于對話語境建模和情緒原因推理。它們被表示為，分別是關(guān)系類型isAfter、isBefore、xReact、oReact、xWant和oWant的縮寫。

2.2 并行的知識橋接因果互動

受多頭注意力機制的啟發(fā)[11]，我們提出了并行的知識橋接因果交互塊，其目的是為了充分理解對話語境，準(zhǔn)確推理出目標(biāo)語氣中的非中性情緒的原因。對于每個模塊，它由三個部分組成：CSK增強的圖形注意模塊，情感互動模塊和行為互動模塊。

CSK-增強的圖注意力模塊。我們沒有把CEE定義為一個沒有明確的語境交互建模的語句對分類問題，而是把對話中的語句抽象為一個對話圖，其中當(dāng)前的語句只與對話歷史中的過去的語句相聯(lián)系。通過這種方式，我們確保語句的互動符合因果關(guān)系的性質(zhì)，即原因只能從過去推理出來。每個節(jié)點的表示都是由相應(yīng)的語句級特征初始化的。此外，我們計算目標(biāo)語句和候選語句之間的相對距離，并利用相對位置信息來豐富語句的表示。由于每個語句的情緒標(biāo)簽被證明在CEE中起著重要作用[4]，我們也考慮到了這一點。因此，每個節(jié)點的最終表示是通過以下方式獲得的：

基于原始圖注意網(wǎng)絡(luò)[12]，我們設(shè)計了CSK增強的圖注意力來傳播對話圖上的信息，并利用以事件為中心的CSK作為S-bridge來測量語句間的語義依賴：

權(quán)重被用來衡量當(dāng)前節(jié)點和其鄰居之間的相關(guān)性。我們將以事件為中心的CSK 和融入進(jìn)入這個過程：

與原始的計算語句表示之間的注意力分?jǐn)?shù)的注意力函數(shù)不同[12]，我們利用以事件為中心的CSK 和作為S-bridge來衡量語句的依賴關(guān)系。

情緒交互模塊。在S-bridge的幫助下對對話語境進(jìn)行了全面的建模后，我們用兩種社會交互 CSK、 和 或作為E-bridge來填補推理空白，并根據(jù)情緒因果線索來推理目標(biāo)情緒。這個想法的靈感來自于這樣一個理論：感受是人類情感中最重要的組成部分[8]。因此，目標(biāo)語句與相應(yīng)的情緒對那些能夠產(chǎn)生與目標(biāo)語句最相似的情緒或感覺的候選句來說更相關(guān)。此外，為了區(qū)分說話人內(nèi)部的依賴性和說話人之間的依賴性，和分別作為說話人內(nèi)部E-bridge和說話人之間E-bridge。情緒相似度得分可以通過以下方式獲得：

其中 都是線性變換。是目標(biāo)語句的索引， 是對話歷史中的候選語句的索引。如果目標(biāo)語句 與候選語句 是同一說話人，則，否則 。然后我們利用情緒相似度得分 來對候選語句的重要性進(jìn)行加權(quán)，并用目標(biāo)語句的表述來豐富它們：

行動交互模塊。由于行動傾向是推理人類被引發(fā)的情緒的另一個重要組成部分，其他兩類社會交互CSK 和 作為A-bridge，使候選語詞與目標(biāo)語句產(chǎn)生關(guān)聯(lián)，并暗示一致的行動傾向。此外，還形成了說話人內(nèi)部A-bridge和說話人之間A-brige。行動相似性得分為：

行動交互后的權(quán)重表示為：

最后，在每個知識橋接的因果交互塊結(jié)束時，為了綜合推理過程中的結(jié)果，我們將對話表征 、情緒表征 和行動表征 加在一起，每個語句的最終表示為：

2.3 因果語句預(yù)測

在這里，將每個并行的KBCI頭的因果表征連接起來作為輸入，我們利用一個因果語句預(yù)測器來決定候選 是否是目標(biāo) 的原因：

3. 實驗

3.1 數(shù)據(jù)集

表1: 經(jīng)處理的RECCON-DD的統(tǒng)計數(shù)據(jù)

我們在基準(zhǔn)數(shù)據(jù)集RECCON-DD上進(jìn)行了實驗。它是在數(shù)據(jù)集DailyDialog[13]的基礎(chǔ)上，標(biāo)注了情緒原因標(biāo)簽。我們只考慮對話歷史中的原因，重復(fù)的因果對被刪除。表1顯示了經(jīng)過處理的RECCON-DD的統(tǒng)計數(shù)據(jù)。

3.2 主實驗結(jié)果及分析

表2: 主實驗結(jié)果

如表2所示，我們提出的模型在REECON-DD數(shù)據(jù)集上取得了最好的結(jié)果。由于RoBERTa-Base/Large的結(jié)果和ECPE的方法是在與我們相同的數(shù)據(jù)集規(guī)模下實現(xiàn)的，我們直接參考了Poria等人[4]的結(jié)果，我們在相同的環(huán)境下重新實現(xiàn)了KEC和ECE任務(wù)下的方法。受益于通過S-bridge進(jìn)行的有效對話語境建模和通過E-bridge和A-bridge進(jìn)行的準(zhǔn)確情緒原因推理，KBCIN取得了最先進(jìn)的Pos. F1和macro F1分?jǐn)?shù)，分別為68.59和79.12。

3.3 消融實驗

表3: 消融實驗結(jié)果

我們進(jìn)行了消融實驗，以驗證我們模型中提出的不同模塊的有效性。從表3的結(jié)果可以看出，三個bridge均對情緒原因的推理起到正向的增強作用。

3.4 情緒信息的影響

表4: 情緒信息影響分析

為了進(jìn)一步研究對話歷史中每條語句的情緒信息的影響，我們要么刪除情緒信息，要么用情緒識別模型預(yù)測的標(biāo)簽替換真實情感標(biāo)簽。結(jié)果展示在表4中。我們之所以用預(yù)測的標(biāo)簽來測試KBCIN的性能，是因為在實際應(yīng)用的情況下，情緒識別是情緒原因提取的前置過程，這意味著在實際應(yīng)用中的情緒原因抽取系統(tǒng)中，對話歷史中語句的這種真實情感標(biāo)簽可能無法獲得。使用預(yù)測的情緒標(biāo)簽導(dǎo)致的結(jié)果下降，提醒我們要嘗試在對話中聯(lián)合進(jìn)行情緒識別和情緒原因提取，這樣可以在兩個任務(wù)之間共享相關(guān)的情緒信息，緩解兩階段使用情緒信息帶來的錯誤級聯(lián)傳播問題。

3.5 知識橋接塊的數(shù)量

圖4: 知識橋接塊數(shù)量影響分析

由于KBCI是我們模型的創(chuàng)新和關(guān)鍵部分，用于有效的對話語境建模和準(zhǔn)確的情緒原因推理，我們調(diào)整了不同數(shù)量的KBCI塊來深入分析性能。結(jié)果顯示在圖4中。隨著KBCI塊的數(shù)量從1到5的增加，配有2個KBCI塊的模型取得了最好的性能。

4. 結(jié)論

在本文中，我們提出了知識橋接的因果交互網(wǎng)絡(luò)（KBCIN），用于情緒原因的推理。常識知識（CSK）被用作三個橋梁來進(jìn)行有效的對話語境建模和準(zhǔn)確的情緒原因推理。具體來說，我們將對話抽象為一個對話圖，并利用以事件為中心的CSK作為語義層面的橋梁（S-bridge），通過CSK增強的圖注意力模塊在圖上進(jìn)行消息傳遞，來增強深層次的語義間的依賴性。而社會交互CSK作為情緒級橋梁（E-bridge）和行動級橋梁（A-bridge），從人的感覺和行動傾向的角度為情緒交互模塊和行動交互模塊提供顯示的因果線索，填補了候選語句與目標(biāo)語句之間的推理空白?；鶞?zhǔn)數(shù)據(jù)集的實驗結(jié)果證明了我們提出的KBCIN的有效性。

審核編輯 ：李倩