1.背景

機器閱讀理解（Machine Reading Comprehension, MRC）作為自然語言處理領(lǐng)域中的一個基本任務，要求模型就給定的一段文本和與文本相關(guān)的問題進行作答。正如同我們使用閱讀理解測驗來評估人類對于一段文本的理解程度一樣，閱讀理解同樣可以用來評估一個計算機系統(tǒng)對于人類語言的理解程度。近年來，隨著預訓練語言模型在NLP領(lǐng)域的成功，許多預訓練語言模型在流行的MRC數(shù)據(jù)集上的表現(xiàn)達到甚至超過了人類，例如：BERT、RoBERTa、XLNet、GPT3等。因此，為了促進更深層次的語言理解，許多更加具有挑戰(zhàn)的MRC數(shù)據(jù)集被提出，它們從不同的角度考察模型能力，例如：多文檔證據(jù)整合能力[1]、離散數(shù)值推理能力[2]、常識推理能力[3]等。

邏輯推理（Logical Reasoning）指對于日常語言中的論點進行檢查、分析和批判性評價的能力，其是人類智能的關(guān)鍵組成部分，在談判、辯論、寫作等場景中發(fā)揮著重要作用。然而，流行的MRC數(shù)據(jù)集中沒有或僅有很少的數(shù)據(jù)考察邏輯推理能力，例如，根據(jù)Sugawara和Aizawa[4]的研究，MCTest數(shù)據(jù)集中0%的數(shù)據(jù)和SQuAD中1.2%的數(shù)據(jù)需要邏輯推理能力作答。因此，ReClor[5]和LogiQA[6]這兩個側(cè)重考察邏輯推理能力的MRC數(shù)據(jù)集被提出。與邏輯推理MRC任務相關(guān)的一個任務是自然語言推理（Natural Language Inference, NLI），其要求模型對給定句對的邏輯關(guān)系分類，NLI任務僅僅考慮了句子級別的三種簡單的邏輯關(guān)系（蘊含、矛盾、無關(guān)），而邏輯推理MRC需要綜合篇章級別的多種復雜邏輯關(guān)系預測答案，因此更加具有挑戰(zhàn)性。

本文介紹了目前邏輯推理MRC的兩個數(shù)據(jù)集和對應方法。

2.數(shù)據(jù)集簡介

2.1 LogiQA

LogiQA[5]是一個四選一的單項選擇問答數(shù)據(jù)集，針對輸入的問題、篇章和四個選項，模型需要根據(jù)問題和篇章找出唯一正確的選項作為答案。LogiQA的數(shù)據(jù)來自于中國的國家公務員考試題目，其旨在考察公務員候選人的批判性思維和解決問題的能力。原始數(shù)據(jù)經(jīng)過篩選、過濾后得到8678條數(shù)據(jù)，這些數(shù)據(jù)被五名專業(yè)的英文使用者由中文翻譯到英文，數(shù)據(jù)集的中文版本Chinese LogiQA也被同時發(fā)布。LogiQA的例子如圖1所示，這些數(shù)據(jù)按照81的比例隨機劃分為訓練集、開發(fā)集和測試集。

作者評估了基于規(guī)則的方法、深度學習方法以及基于預訓練語言模型的方法在LogiQA上的表現(xiàn)，實驗結(jié)果如表1所示，可以看到人類（研究生）在LogiQA上可以取得86%的平均準確率，這說明該數(shù)據(jù)集的難度對于人類受試者來說并不高，而另一方面，被測試的所有方法的表現(xiàn)均顯著低于人類，即便是表現(xiàn)最好的RoBERTa模型也僅能取得35.31%的準確率，這說明目前的預訓練語言模型的邏輯推理能力還相當弱。

圖1 LogiQA中的例子（正確選項使用紅色標出）

表1 各類方法在LogiQA上的實驗結(jié)果（accuracy%）

2.2 ReClor

ReClor[6]與LogiQA一樣，是一個四選一的單項選擇問答數(shù)據(jù)集，其來自于美國的兩個標準化研究生入學考試：研究生管理科入學考試（GMAT）和法學院入學考試（LSAT），經(jīng)過篩選、過濾得到6138條考察邏輯推理能力的數(shù)據(jù)，這些數(shù)據(jù)被隨機劃分為4638，500，1000條來分別用作訓練集、開發(fā)集和測試集。ReClor數(shù)據(jù)集的一個具體例子如圖2所示，可以看到只有基于篇章、問題和選項進行邏輯推理和分析才能得到正確的答案。

正如上面介紹的那樣，ReClor來自側(cè)重考察邏輯推理的考試，由人類的專家構(gòu)建，這意味著biases有可能被引入，這導致模型可能無需真正理解文本，僅僅利用這些biases就可以在任務上取得很好的表現(xiàn)。而將這些biased數(shù)據(jù)與unbiased數(shù)據(jù)區(qū)分開可以更加全面的評價模型在ReClor上的表現(xiàn)。為此，作者去除掉問題和篇章，僅僅將選項作為預訓練語言模型的輸入，如果模型僅僅依賴選項就可以成功預測出正確選項，那么這樣的biased數(shù)據(jù)就被歸為EASY-SET，其余數(shù)據(jù)被歸為HARD-SET，這樣，ReClor的測試集被分為了EASY-SET和HARD-SET兩部分。

作者在ReClor的EASY-SET和HARD-SET上分別評估了預訓練語言模型和人類的表現(xiàn)，實驗結(jié)果如圖3所示，實驗結(jié)果顯示：預訓練語言模型在EASY-SET上可以取得很好的表現(xiàn)，但是在HARD-SET上表現(xiàn)很差，而人類則在兩個集合上取得了相當?shù)谋憩F(xiàn)，這說明目前的模型雖然擅長利用數(shù)據(jù)集中存在的biases，但是還遠遠做不到真正的邏輯推理。

圖2 ReClor中的一個例子（修改自2019年的LSAT）

圖3 預訓練語言模型與人類（研究生）在ReClor測試集的EASY-SET和HARD-SET上的表現(xiàn)對比

3.方法

下面將介紹幾篇近兩年邏輯推理MRC的相關(guān)工作，目前的已有方法可以大致分為兩類：一類方法是利用預定義的規(guī)則基于篇章、選項構(gòu)建圖結(jié)構(gòu)，圖中節(jié)點對應文本中的邏輯單元（這里的邏輯單元指有意義的句子、從句或文本片段），而圖中的邊則表示邏輯單元間的關(guān)系，然后利用GNN、Graph Transformer等方法建模邏輯推理過程，從而增強模型的邏輯推理能力。另一類則是從預訓練角度出發(fā)，基于一些啟發(fā)式規(guī)則捕捉大規(guī)模文本語料中存在的邏輯關(guān)系，針對其設計相應的預訓練任務，對已有的預訓練語言模型進行二次預訓練，從而增強預訓練語言模型的邏輯推理能力。

3.1 基于圖的精調(diào)方法

3.1.1 DAGN

針對邏輯推理MRC篇章中復雜的邏輯關(guān)系，僅僅關(guān)注句子級別tokens之間的交互是不夠的，需要在篇章級別對句子之間的關(guān)系進行建模。但是邏輯結(jié)構(gòu)隱式存在與文本中，難以直接抽取，大多數(shù)數(shù)據(jù)集也并不包含對文本中邏輯結(jié)構(gòu)的標注。因此，DAGN提出使用語篇關(guān)系（discourse relation）來表示文本中的邏輯信息，語篇關(guān)系分為顯式和隱式兩類，顯式語篇關(guān)系指文本中的語篇狀語（如“instead”）、從屬連詞（如“because”），而隱式語篇關(guān)系則指連接文本片段的標點符號（句號、逗號、分號等）。語篇關(guān)系一定程度上對應著文本中的邏輯關(guān)系，例如：“because”指示因果關(guān)系，“if”指示假設關(guān)系等。

DAGN[7]使用來自PDTB2.0[8]中的語篇關(guān)系中作為分隔符，將文本劃分為多個基本語篇單元（Elementary Discourse Units, EDUs），以EDUs作為節(jié)點、EDUs間的語篇關(guān)系作為邊就得到了語篇圖結(jié)構(gòu)，語篇圖的構(gòu)建過程實例如圖4的左半部分所示。然后，作者利用圖網(wǎng)絡來從語篇圖中學習篇章的語篇特征，該特征與由預訓練語言模型得到的上下文表示合并，共同預測問題的答案。

DAGN使用EDUs作為基本的推理單元，利用學習得到的基于語篇的特征增強預訓練語言模型上下文表示，在ReClor和LogiQA兩個數(shù)據(jù)集上取得了有競爭力的表現(xiàn)。

圖4 DAGN結(jié)構(gòu)

3.1.2 AdaLoGN

傳統(tǒng)的神經(jīng)模型無法很好地建模邏輯推理，而能夠進行邏輯推理的符號推理器卻無法直接應用于文本。同時，前面介紹的DAGN模型雖然基于語篇關(guān)系構(gòu)建了語篇圖結(jié)構(gòu)，但是語篇關(guān)系能否充分表示基于邏輯關(guān)系的符號推理仍然有待商榷，且該圖結(jié)構(gòu)十分稀疏，由長路徑組成，這限制了GNN模型中節(jié)點與節(jié)點間的消息傳遞，導致篇章和選項間的交互不夠充分。

為了解決上述挑戰(zhàn)，AdaLoGN[9]這一神經(jīng)-符號方法被提出，其整體框架與DAGN類似，由圖構(gòu)建和基于圖的推理兩部分組成，區(qū)別在于采用有向的文本邏輯圖（Text Logic Graph，TLG）代替DAGN中的語篇圖，TLG仍然將EDUs作為節(jié)點，邊則采用了六種預定義的邏輯關(guān)系，其中合?。╟onj）、析?。╠isj）、蘊含（impl）、否定（neg）是命題邏輯中的標準邏輯連接詞，而rev表示反向的蘊含關(guān)系，unk表示未知的關(guān)系。作者首先使用Graphene[10]這一信息抽取工具抽取EDUs之間的修辭關(guān)系，然后將部分修辭關(guān)系映射為邏輯關(guān)系，具體映射如表2所示。

表2 Graphene中修辭關(guān)系到TLG中邏輯關(guān)系的映射

使用TLG相比起語篇圖的優(yōu)勢在于可以使用符號化的推理規(guī)則對原始語篇圖進行擴展，基于已知推理得到未知的邏輯關(guān)系，AdaLoGN中作者使用的推理規(guī)則如圖5所示，包括命題邏輯中的假言三段論、置換規(guī)則以及作者自定義的一條規(guī)則。上述符號化推理過程得到的新關(guān)系可能對于后續(xù)GNN消息傳遞過程提供關(guān)鍵連接，幫助正確答案的預測，即符號推理增強了神經(jīng)推理。而對基于推理規(guī)則得到的演繹閉包全盤接受也可能會引入不相關(guān)的連接，誤導后續(xù)的消息傳遞過程，因此，作者提出使用神經(jīng)推理計算得到的信號來自適應地接納相關(guān)擴展，即神經(jīng)推理增強了符號推理。

圖5 AdaLoGN中使用的推理規(guī)則，推理得到的新的節(jié)點與關(guān)系用紅色虛線表示

AdaLoGN的整體結(jié)構(gòu)如圖6所示，可以看到自適應地擴展TLG、消息傳遞過程通過迭代多輪來使得符號推理和神經(jīng)推理彼此充分交互。最終每一輪得到的擴展TLG表示和由RoBERTa得到的上下文token特征共同用于答案預測。AdaLoGN在LogiQA和ReClor數(shù)據(jù)集上取得了比DAGN更好的表現(xiàn)。

圖6 AdaLoGN結(jié)構(gòu)

3.1.3 Loigformer

Logiformer[11]的作者認為，對于邏輯推理MRC任務來說，除了需要從文本中抽取邏輯單元外，還需要對邏輯單元間的長距離依賴進行建模，如圖7中展示的一個來自ReClor數(shù)據(jù)集的具體例子，從中可以看到因果關(guān)系與否定、共現(xiàn)關(guān)系普遍存在于邏輯推理任務中，針對這一點，作者提出基于篇章分別構(gòu)建邏輯圖和句法圖，對上述的因果關(guān)系以及共現(xiàn)關(guān)系分別進行表示，然后使用一個兩支的graph transformer網(wǎng)絡來從兩個角度建模長距離依賴。

圖7 來自ReClor的具體例子及上下文中邏輯單元間的關(guān)系

Logiformer的結(jié)構(gòu)如圖8所示，與之前的方法類似其首先基于文本中表示因果關(guān)系的邏輯單詞（如：if、unless、because等）以及標點符號構(gòu)建邏輯圖，并基于因果關(guān)系為條件節(jié)點到結(jié)果節(jié)點間插入邊。句法圖則以文本中的句子作為節(jié)點，然后基于句子之間的token級別的重疊度來判斷句子之間的共現(xiàn)關(guān)系，為具有共現(xiàn)關(guān)系的節(jié)點插入邊。接著，作者使用兩個獨立的graph transformer分別對邏輯圖和句法圖中的依賴關(guān)系進行建模，并通過將圖對應的鄰接矩陣引入attention計算過程從而將圖的結(jié)構(gòu)信息引入。邏輯圖的graph transformer示意圖如圖9所示。最后使用得到的token級別表示、句法節(jié)點表示和邏輯節(jié)點表示共同預測答案。Logiformer在LogiQA和ReClor數(shù)據(jù)集上取得了目前單模型的SOTA表現(xiàn)。

圖8 Logiformer結(jié)構(gòu)

圖9 邏輯圖對應的graph transformer示意圖（句法圖對應的計算過程類似）

3.2 預訓練方法

3.2.1 MERIt

3.1節(jié)中介紹的基于圖的方法將關(guān)于邏輯關(guān)系的先驗知識引入模型，依賴于標注好的訓練數(shù)據(jù)，導致其在標注數(shù)據(jù)不足的情況下存在過擬合以及泛化性差的問題。MERIt[12]提出利用規(guī)則基于大量無標簽的文本數(shù)據(jù)仿照邏輯推理MRC任務形式構(gòu)造用于對比學習自監(jiān)督預訓練的數(shù)據(jù)，MERIt整體框架如圖10所示，其主要基于這樣一個直覺：文本中邏輯結(jié)構(gòu)可以被由一系列關(guān)系三元組構(gòu)成的推理路徑表示，而實體之間的元路徑（meta-path）先天地提供了表示邏輯一致性的手段。

MERIt的目標是基于大規(guī)模無標簽文本，構(gòu)建上下文和選項，正確選項應當與上下文邏輯一致，而錯誤選項與上下文邏輯相悖，模型借助對比學習作為預訓練目標。MERIt首先識別文本中的實體，并基于實體在文本中的共現(xiàn)關(guān)系構(gòu)建圖，對于該圖結(jié)構(gòu)中直接相鄰任意兩個節(jié)點，如果它們之間具有其他元路徑，則將該節(jié)點這兩個節(jié)點之間的邊對應的句子作為正確選項，將元路徑上邊對應的句子作為上下文，這樣就得到了正例。負例的構(gòu)建則是通過對已有正例進行修改完成的，為了防止模型在預訓練過程中基于自身掌握的常識知識而非邏輯一致性做出判斷，作者還采用了反事實的數(shù)據(jù)增強對文本中的實體進行替換，迫使模型基于邏輯進行預測。基于MERIt構(gòu)造的數(shù)據(jù)二次預訓練得到的模型在下游任務上取得了相較于原預訓練模型更好的表現(xiàn)，且模型可以與3.1節(jié)中的方法同時使用來取得更優(yōu)的結(jié)果。

圖10 MERIt框架

3.2.2 LogiGAN

LogiGAN[13]將視線轉(zhuǎn)向了生成式模型（T5）以及包括邏輯推理MRC在內(nèi)的多種需要推理能力任務上，旨在通過對MLM預訓練任務進行改進來強化模型的邏輯推理能力，并引入驗證器（verifier）來為生成式模型提供額外反饋，同時其通過簡單的策略規(guī)避了序列GAN中beam search帶來的不可導問題。

LogiGAN首先使用預先指定的邏輯指示器（例如：“therefore”、“due to”、“we may infer that”）來從大規(guī)模無標簽文本中識別邏輯推理現(xiàn)象，然后對邏輯指示器后面的表達進行mask，訓練生成式模型對被mask的表達（statement）進行恢復。例如對于“Bob made up his mind to lose weight. Therefore, he decides to go on a diet.”這段話中Therefore就是一個邏輯指示器，因此其后面的表達“he decides to go on a diet.”就會被mask然后交給模型預測。這種基于已知推出未知的訓練目標相比起隨機的MLM更能增強模型的邏輯推理能力。

LogiGAN的框架如圖11所示，模型由生成器和驗證器兩部分組成，驗證器執(zhí)行一個文本分類任務：以上下文和表達作為輸入，判斷該表達來自于原文的真實表達還是構(gòu)造得到偽表達，判別器本質(zhì)上就是在判斷上下文和表達的邏輯一致性。偽表達有兩個來源：從生成器中通過beam search得到的生成概率較高的句子（self-sampling）和基于真實表達從語料庫中檢索得到的近似表達（retrieved）。生成器除了需要學習生成真實表達外，還要讓自己生成偽表達的似然得分分布與判別器給出邏輯一致性得分分布盡可能一致。LogiGAN在包括LogiQA和ReClor在內(nèi)的12個需要推理的下游任務上相較于vanilla T5都取得了明顯的提升。

圖11 LogiGAN框架

4.總結(jié)

目前針對邏輯推理MRC任務主要從精調(diào)和預訓練兩個角度出發(fā)，精調(diào)階段的方法主要圍繞圖的構(gòu)建與使用展開，如何將文本劃分為邏輯單元，指定邏輯單元之間的邏輯關(guān)系，引入符號化的推理規(guī)則是這類工作的重點。而預訓練階段的方法則側(cè)重于如何發(fā)掘大規(guī)模無標簽文本中蘊含的邏輯推理現(xiàn)象，設計合理的預訓練任務。已有方法在兩個邏輯推理MRC數(shù)據(jù)集上的表現(xiàn)距離人類仍有較大差距，期待未來能有更大規(guī)模的新數(shù)據(jù)集和更有效的新方法被提出。

審核編輯：郭婷