本研究設(shè)計了一種簡單有效的標(biāo)簽系統(tǒng)將重疊和嵌套事件抽取轉(zhuǎn)換成了詞對關(guān)系分類的任務(wù)，觸發(fā)詞、論元以及其間的關(guān)系可以并行地同時被預(yù)測出來，達(dá)到非?？斓某槿∷俣龋?個重疊或嵌套的事件抽取數(shù)據(jù)集上的實驗結(jié)果達(dá)到了SOTA。

一、動機(jī)介紹

1.1重疊和嵌套事件抽取

事件抽?。‥vent Extraction，EE）是自然語言處理領(lǐng)域的一項非?；镜娜蝿?wù)，在社區(qū)長久以來一直得到廣泛的研究。EE的目標(biāo)是從文本中抽取事件觸發(fā)詞和相關(guān)的論元。傳統(tǒng)的事件抽取關(guān)注于普通的事件，認(rèn)為觸發(fā)詞和論元之間沒有重疊，忽視了復(fù)雜的事件模式，即重疊事件和嵌套事件：

Flat Event：觸發(fā)詞和論元之間沒有重疊；

Overlapped Event：多個事件的共享重疊的觸發(fā)詞或論元；

Nested Event：一個事件的論元是另外一個事件。

圖1：普通事件（a），重疊事件（b），嵌套事件（c）

以圖1為例，(b)中Investment事件和Share Transfer事件共享了”acquired”這一重疊觸發(fā)詞，以及”Citic Securities”，”Guangzhou Securities”是重疊的論元。(c)中Gene Expression事件是Positive Regulation的Theme論元。

1.2重疊和嵌套事件抽取方法

截止當(dāng)前，重疊和嵌套事件抽取領(lǐng)域的主流方法大致有三類：

基于Pipleline的方法；

基于多輪QA的方法；

基于級聯(lián)網(wǎng)絡(luò)的方法。

這些方法都是Multi-stage的，用多個連續(xù)的階段分別抽取事件觸發(fā)詞和論元。其中，基于級聯(lián)網(wǎng)絡(luò)的方法CasEE是之前的SOTA，CasEE依次預(yù)測事件類型、抽取觸發(fā)詞、抽取論元。這些Multi-stage的方法后面階段的預(yù)測依賴于前面的預(yù)測結(jié)果，難以避免地帶來了誤差傳播的問題。

本研究關(guān)注于構(gòu)建一種高效的EE框架，能夠在一個階段同時解決重疊和嵌套的事件抽取。

1.3本文的方法

傳統(tǒng)的事件抽取使用序列標(biāo)注的方法無法解決重疊和嵌套的問題，現(xiàn)有的工作使用指針網(wǎng)絡(luò)分別識別觸發(fā)詞或論元的頭尾token；我們在針對重疊和嵌套事件的共性進(jìn)行深入挖掘后，發(fā)現(xiàn)可以通過token-pair之間的關(guān)系分類進(jìn)行統(tǒng)一建模。觸發(fā)詞和論元可以通過token-head和token-tail之間聯(lián)系，而論元的角色可以通過觸發(fā)詞和論元之間的關(guān)系建模，例如圖1（b）中觸發(fā)詞”acquired”和論元”Guangzhou Securities”表達(dá)了object關(guān)系。

根據(jù)上述觀察，本文將Overlapped and Nested EE任務(wù)轉(zhuǎn)化成一種詞對的關(guān)系分類任務(wù)，通過這種標(biāo)簽體系能夠在一個階段內(nèi)抽取出事件類型、觸發(fā)詞、論元以及論元的角色，在此基礎(chǔ)提出了一種新的EE框架（A One-Stage Framework for Fast Overlapping and Nested Event Extraction），名為OneEE。具體地，該框架的目標(biāo)是將EE轉(zhuǎn)變?yōu)樽R別出觸發(fā)詞和論元中所蘊(yùn)含的兩種類型的關(guān)系，即：

Span關(guān)系（S-T, S-A）；

Role關(guān)系（R-*）；

具體的詞對關(guān)系分類示例如圖2所示。其中S-T表示兩個詞是某個觸發(fā)詞的頭部和尾部，S-A表示兩個詞是某個論元的頭部和尾部（如”Citic”->”Securities”，Argument），R-*表示該詞作為觸發(fā)詞的事件中，另一個詞扮演了角色類型為*的論元（如“acquired”->“Citic Securities”，Subject）。

圖2：關(guān)系分類示例

二、模型框架

圖3給出了OneEE整體的框架結(jié)構(gòu)。其整體可分為三層：輸入編碼層，自適應(yīng)事件融合曾以及最后的聯(lián)合解碼層。其中解碼層是本論文的核心。

圖3：模型整體結(jié)構(gòu)

2.1 編碼層

給定一個輸入句子，將每一個詞轉(zhuǎn)換成多個word piece，并將他們輸入預(yù)訓(xùn)練的BERT模塊中。進(jìn)過BERT計算后，使用最大池化操作將這些word piece表示重新聚合成詞表示。

2.2 自適應(yīng)事件融合層

由于該框架的目標(biāo)是預(yù)測目標(biāo)事件類型的詞對之間的關(guān)系，因此生成高質(zhì)量的事件感知的表示十分重要。因此，為了融合編碼器提供的事件信息和上下文信息，本論文設(shè)計了一個自適應(yīng)事件融合層。其中注意力模塊用于建模不同事件類型之間的交互并獲得全局事件信息，兩個門融合模塊用于將全局事件信息和目標(biāo)事件類型信息與上下文化的詞表示融合。

2.3 解碼層

在自適應(yīng)事件融合層之后，獲得了事件感知的詞表示，用于預(yù)測詞對之間的Span關(guān)系和Role關(guān)系，對于每個詞對(w_i , w_j )，計算一個分?jǐn)?shù)來衡量它們對于關(guān)系 s ∈ S 和 r ∈ R 的可能性。為了使預(yù)測層對于詞與詞之間的相對距離敏感，論文還引入了旋轉(zhuǎn)式的相對位置編碼，設(shè)計了距離感知的打分函數(shù)。損失函數(shù)部分本文使用了Circle Loss的變體，將交叉熵?fù)p失擴(kuò)展到多標(biāo)簽分類問題，并緩解了類別不均衡的問題。

在解碼階段，該模型通過將事件類型Embedding并行地插入自適應(yīng)事件融合層來抽取所有事件。如圖 4 所示，一旦該模型在一個階段預(yù)測了某種事件類型的所有標(biāo)簽，整個解碼過程可以概括為四個步驟：首先，獲得觸發(fā)詞或論元的開始和結(jié)束索引；其次，獲得觸發(fā)詞和論元的span；第三，根據(jù) R-* 關(guān)系匹配觸發(fā)詞和論元；最后，將事件類型分配給該事件結(jié)構(gòu)。

圖4：解碼示例

三、實驗結(jié)果

本文在3個重疊和嵌套的事件抽取數(shù)據(jù)集上（包括英文和中文）進(jìn)行了實驗，分別是：

FewFC，一個中文金融事件抽取數(shù)據(jù)集，標(biāo)注了10種事件類型和18種論元，有約22%的句子包含重疊事件；

Genia 11和Genia 13，兩個英文醫(yī)學(xué)領(lǐng)域數(shù)據(jù)集，有約18%的句子包含嵌套事件，Genia11 標(biāo)注了9種事件類型和10種論元，而Genia13的數(shù)字是13和7。

表1-2分別展示了上述任務(wù)和數(shù)據(jù)集上與基線模型對比的結(jié)果。實驗結(jié)果表明，本文提出的基于詞對關(guān)系分類的One-Stage方法，可以同時解決重疊和嵌套的事件抽取，并在3個數(shù)據(jù)集上的效果都優(yōu)于之前的工作，并且推理速度也是最快的。

表1：FewFC, 重疊事件抽取

表2：Genia 11和Genia 13, 嵌套事件抽取

圖5：重疊事件與嵌套事件抽取效果對比

圖6：觸發(fā)詞和論元不同距離論元角色抽取效果對比

通過進(jìn)一步的消融實驗，我們探索了不同參數(shù)和部件對整體框架的影響。此外我們模型在相對較小的參數(shù)情況下，其訓(xùn)練和推理速度超過了多個非連續(xù)實體識別模型。

表6：消融實驗

表 7：模型參數(shù)與效率對比

四、總結(jié)

在本文中，我們提出了一種基于詞-詞關(guān)系識別的新型單階段框架，以同時解決重疊和嵌套的事件抽取。詞對之間的關(guān)系被預(yù)定義為觸發(fā)詞或論元內(nèi)的詞-詞關(guān)系以及跨越觸發(fā)詞-論元對。此外，我們提出了一個有效的模型，該模型由一個用于融合目標(biāo)事件表示的自適應(yīng)事件融合層和一個用于聯(lián)合識別各種關(guān)系的距離感知的預(yù)測層組成。實驗結(jié)果表明，我們提出的模型在三個數(shù)據(jù)集上實現(xiàn)了新的 SoTA 結(jié)果，并且比 SoTA 模型更快。