介紹

信息提?。↖nformation Extraction，IE）需要提取句子中的實體、關(guān)系、事件等，其不同的任務(wù)具有多樣的抽取目標和異質(zhì)的機構(gòu)，因此，傳統(tǒng)的方法需要針對特定的任務(wù)進行模型設(shè)計和數(shù)據(jù)標注，使得難以推廣到新的模式中，極大限制了IE系統(tǒng)的使用。

2022年《Unified Structure Generation for Universal Information Extraction》一文，提出了通用信息提?。║IE）的概念，旨在使用一個通用模型來解決多個信息提取任務(wù)，提出了一種Seq2Seq的生成模型，以結(jié)構(gòu)化模式提示器+文本內(nèi)容作為輸出，直接生成結(jié)構(gòu)化抽取語言，最終獲取信息提取內(nèi)容。

然而，由于Seq2Seq的生成模型的黑盒特性，導(dǎo)致無法判斷跨任務(wù)或跨模式的遷移在什么情況下會成功or失敗。因此，本論文提出了統(tǒng)一語義匹配框架（Universal Information Extraction，USM）對各種信息提取任務(wù)進行統(tǒng)一建模，明確模型在遷移過程的有效性、健壯性和可解釋性。



如圖1所示，IE任務(wù)中多樣化的任務(wù)和抽取目標，可以解耦為以下兩個操作：

（1）Structuring，即結(jié)構(gòu)化，從文本中抽取目標結(jié)構(gòu)中標簽未知的基本子結(jié)構(gòu)。例如：抽取“Monet”、“Paris”、“France”等文本或者“ Monet-Paris”、“France-Paris”等文本pair對。

（2） Conceptualizing，即概念化，它將抽取文本和文本pair對與目標語義標簽進行對應(yīng)。例如：“Monet”與“person”標簽進行對應(yīng)，“Monet”-"Paris"與“birth place”標簽進行對應(yīng)。

并且在給定目標抽取模式時，可以通過結(jié)構(gòu)化操作，重新建立抽取目標結(jié)構(gòu)與文本的語義信息；通過概念化操作，將抽取文本或文本pair與目標語義標簽進行匹配，完成信息抽取任務(wù)。

USM框架基于上述發(fā)現(xiàn)的規(guī)則，將結(jié)構(gòu)化和概念化轉(zhuǎn)化為一系列有向Token-Linking操作，聯(lián)合建模文本與模式，統(tǒng)一抽取文本或文本pair，并根據(jù)需要可控生成目標結(jié)構(gòu)，實現(xiàn)在不同的目標結(jié)構(gòu)和語義模式之間進行共享抽取的功能。

基于有向Token-Linking的統(tǒng)一語義匹配

如圖2所示，USM框架以任意抽取標簽?zāi)Ｊ胶驮嘉谋咀鳛檩斎?，根?jù)給定的模式直接輸出結(jié)構(gòu)。

Schema-Text Joint Embedding

Token-Token Linking for Structuring

在得到標簽-文本聯(lián)合上下文嵌入后，USM框架使用Token-Token鏈接（TTL）操作抽取所有有效的文本片段。

Utterance：輸入文本中的一段連續(xù)Token序列，例如：實體文本“Monet”、事件觸發(fā)詞“born in”等。如圖3所示，通過片段的頭尾連接（H2T），抽取一個文本片段。例如，“Monet”是自身到自身，“born in”是“born”到“in”。

Association pair：輸入文本中的相關(guān)文本pair對，例如，具有主客體關(guān)系的“Monet”-“Paris”文本對，具有觸發(fā)詞-要素關(guān)系的“born in”-“Paris”文本對。如圖3所示，通過頭頭連接（H2H）和尾尾連接（T2T），抽取文本對。

LTL操作的輸出是標簽名詞和文本內(nèi)容的pair對，例如："person"- “Monet”、"country"-“Paris”等。有兩種類型的概念化：

實體的類型，即為每一個文本分配標簽類型，例如，實體“Monet”的類型為person。

客體的謂詞，即將謂詞類型賦給每個候選客體，例如，客體“Paris”的謂語詞為birth place。其中，實體的類型和客體的謂詞在概念化時采用相同的LT操作，使得兩種標簽語義之間相互加強。并按照頭尾片段抽取風格，使用label到head(L2H)和label到tail(L2T)來定義L2T鏈路操作，例如，客體的謂詞“Paris”-“birth place”，將標簽“birth place”的頭“birth”與客體“Paris”鏈接，將標簽“birth place”尾頭“ place”與客體“Paris”鏈接。計算LTL的得分，如下：

Token-Label Linking for Pairing Conceptualizing

為了概念化文本pair對，USM框架使用 Token-Label鏈接（TLL）將文本pair對的主體鏈接到標簽上。也就是，TLL操作用head到label(H2L)和tail到label(T2L)操作連接了三元組中主體和謂語詞。例如，主體“Monet”的head“Monet”鏈接標簽“birth place”的head“birth”，主體“Monet”的tail“Monet”鏈接標簽“birth place”的tail“place”。計算TLL的得分，如下：

Schema-constraint Decoding for Structure Composing

USM框架采用模式約束解碼算法來解碼最終結(jié)構(gòu)，通過統(tǒng)一的token-linking操作提取給定的文本結(jié)構(gòu)。如圖3所示，USM框架，首先解碼由TTL操作提取的實體文本和主客體文本，例如：“Monet”，“Paris”，“France”，“Monet”-“Pairs”，“France”-“Pairs”；然后通過LTL操作對標簽名詞和文本內(nèi)容的pair對進行解碼，例如：“person”-“Monet”，“country”-“France”，“birth place”-“Paris”，“capital”-“Paris”；最后利用TLL操作對標簽及文本對進行解碼，例如：“Monet”-“birth place”，“France”-“capital”。

由于以上三種鏈接操作互不影響，因此，在進行模型推理過程中，三種操作是高度并行的。

最后，可以根據(jù)從輸入類型的模式定義，將實體類型country和person與關(guān)系類型 birth place和capital分離出來。根據(jù)TLL操作的結(jié)果“Monet”-“birth place”，“France”-“capital”，可以得到完整的三元組結(jié)構(gòu)“Monet”-“birth place”-Paris和“France”-“capital”-“Paris”。

Learning from Heterogeneous Supervision

本文利用異構(gòu)監(jiān)督資源來學習統(tǒng)一令牌鏈接的通用結(jié)構(gòu)和概念化能力，通過語言化的標簽表示和統(tǒng)一的token鏈接，將異構(gòu)的監(jiān)督數(shù)據(jù)統(tǒng)一為進行預(yù)訓練。

Pre-training

USM框架對共享語義表示中的標簽?zāi)Ｊ胶臀谋具M行統(tǒng)一編碼，并使用統(tǒng)一的token-linking對文本中的信息進行結(jié)構(gòu)化和概念化。幫助為了學習常見的結(jié)構(gòu)和概念化能力，本文收集了三種不同的監(jiān)督數(shù)據(jù)用于USM的預(yù)訓練。

任務(wù)數(shù)據(jù)：來自信息抽取任務(wù)的標注數(shù)據(jù)，即數(shù)據(jù)樣本都有一個金標準。

遠程監(jiān)督數(shù)據(jù)：數(shù)據(jù)樣本來自文本和知識庫對齊。

間接監(jiān)督數(shù)據(jù)：數(shù)據(jù)樣本來自其他相關(guān)的NLP任務(wù)，主要使用機器閱讀理解的數(shù)據(jù)，將（問題-文檔-答案）實例中問題作為標簽?zāi)Ｊ?，文檔作為輸入文本，答案作為提及。

Learning function

在訓練過程中，由于token-linking占比僅為所有token鏈接候選集合的1%，因此在模型優(yōu)化過程中，標簽的極端稀疏性是要重點解決的問題。

主要采用類別不平衡損失函數(shù)，

實驗

監(jiān)督實驗

在4個任務(wù)的13個數(shù)據(jù)集上與其他sota模型進行了對比實驗，其中AVE-unify表示非重疊數(shù)據(jù)集的平均指標，AVE-total表示所有數(shù)據(jù)集的平均指標，如表1所示，



USM框架達到了sota的效果，并在AVE-total上優(yōu)于各任務(wù)sota方法1.3，及時在不使用預(yù)訓練模型的情況下，用Roberta初始化的USM框架也表現(xiàn)出了較好的效果，說明統(tǒng)一token-linking具有較強的可遷移性和泛化能力。

采用異構(gòu)數(shù)據(jù)的預(yù)訓練的USM框架相比于Roberta初始化的USM框架在所有數(shù)據(jù)集上平均提高了0.74，說明異構(gòu)預(yù)訓練為信息抽取的結(jié)構(gòu)化和概念化提供了更好的基礎(chǔ)。

在所有任務(wù)上進行微調(diào)的USM-Unify模型也表現(xiàn)出，說明USM框架可以通過單一的多任務(wù)模型解決大量信息抽取任務(wù)。

Zero-shot實驗

在不同領(lǐng)域的9個數(shù)據(jù)集上進行了Zero-shot實驗，如表2所示，




遠程監(jiān)督數(shù)據(jù)和間接監(jiān)督數(shù)據(jù)在預(yù)訓練過程中起到很重要的作用。通過表3，可以看出，在330M參數(shù)下，就可以比137B參數(shù)量的GPT3模型效果更優(yōu)。

Few-shot實驗

在四個信息任務(wù)上進行了Few-shot實驗，如表4所示，



USM框架在少量數(shù)據(jù)下要比UIE效果更優(yōu)，并且要好于使用Roberta進行初始化的模型。當將標簽文本轉(zhuǎn)化成固定符號表示時，效果變差，說明語言表達標簽?zāi)Ｊ讲⒉皇菬o意義的，在語義表征過程中，它起到了決定性的作用。

總結(jié)

該論文通過三種統(tǒng)一的Token-Linking操作，實現(xiàn)信息抽取任務(wù)的統(tǒng)一模型，讓我眼前一亮，相較于Seq2Seq模型來說，該方法的可解釋性更強。