引言

EMNLP2020中，復(fù)旦大學(xué)數(shù)據(jù)智能與社會計算實驗室 (Fudan DISC) 提出了一篇基于事實的問題生成工作，論文題目為：PathQG: Neural Question Generation from Facts，被錄取為長文。

文章摘要

關(guān)于問題生成的當(dāng)前研究通常將輸入文本作為序列直接編碼，而沒有明確建模其中的事實信息，這會導(dǎo)致生成的問題和文本不太相關(guān)或者信息量較少。在這篇論文中，我們考慮結(jié)合文本中的事實以幫助問題生成。我們基于輸入文本的事實信息構(gòu)造了知識圖，并提出了一個新任務(wù)：給定知識圖中的一條query路徑生成問題。任務(wù)可以被分為兩個步驟，（1）對query表示的學(xué)習(xí)；（2）基于query的問題生成。我們首先將query表示學(xué)習(xí)定義為序列標(biāo)記問題，以識別涉及的事實從而學(xué)習(xí)到一個query表示，之后使用基于RNN的生成器進(jìn)行問題生成。我們以端到端的方式共同訓(xùn)練這兩個模塊，并提出通過變分框架加強(qiáng)這兩個模塊之間的交互。我們基于SQuAD構(gòu)造了實驗數(shù)據(jù)集，實驗結(jié)果表明我們的模型優(yōu)于其他方法，并且當(dāng)目標(biāo)問題復(fù)雜時，性能提升更多。通過人工評估，也驗證了我們生成的問題的確和文本更相關(guān)且信息更豐富。

研究動機(jī)

本文關(guān)注基于文本的問題生成任務(wù)（Question Generation from Text）：輸入一段文本，自動生成對應(yīng)的問題。

當(dāng)前端到端的問題生成研究，通常對輸入文本直接編碼并學(xué)習(xí)一個隱表示，而沒有對其中的語義信息進(jìn)行明確建模，這會使得生成過程有較大不確定性，導(dǎo)致生成的問題包含和給定文本不相關(guān)的信息或者信息量較少，如下圖顯示，生成的問題Q2包含了不相關(guān)的信息“Everton Fc”，而Q1雖然正確但是缺少特定的信息描述，顯得比較簡略。

先對輸入文本中的事實（facts）進(jìn)行建?？梢詼p輕這些問題，并且針對文本中的多個事實，可以生成較為復(fù)雜（complex）的問題。我們通過對給定文本構(gòu)建知識圖譜（Knowledge Graph，KG）來表示其中的事實，并提出一個新任務(wù)：給定知識圖譜中的一條query path來生成問題，其中query path是一條由多個事實三元組構(gòu)成的序列，每個事實三元組包含兩個實體以及它們的關(guān)系。如上圖（b）顯示了一個KG以及其中的兩條query paths。

由于query path中并非所有事實都會在目標(biāo)問題中被提及，我們首先需要學(xué)習(xí)一個query representation來表示query path中會被提及的事實信息，并基于此生成對應(yīng)的問題，因此任務(wù)可以分成兩個步驟：（1）對query representation的學(xué)習(xí)；（2）基于query的問題生成。我們以端到端的方式共同訓(xùn)練這兩個模塊，并提出通過變分框架加強(qiáng)這兩個模塊之間的交互。

我們使用了數(shù)據(jù)集SQuAD，并且為了驗證模型在復(fù)雜問題生成上的效果，基于SQuAD構(gòu)造了一個復(fù)雜問題數(shù)據(jù)集，并分別進(jìn)行了實驗。

模型

Path-based Question Generation

給定query path的問題生成任務(wù)包含兩個步驟，我們設(shè)計兩個模塊：Query Representation Learner和Query-based Question Generator分別進(jìn)行任務(wù)中的兩個步驟。我們首先以端到端的框架PathQG共同訓(xùn)練這兩個模塊，具體結(jié)構(gòu)如下圖顯示。

1. Query Representation Learner

由于query path中的不同的實體和關(guān)系會對生成目標(biāo)問題有不同的貢獻(xiàn)度，我們首先計算它們各自的貢獻(xiàn)權(quán)重，從而學(xué)到一個query representation來表示目標(biāo)問題將涉及的事實信息。

貢獻(xiàn)權(quán)重計算：將query path看作是一條由實體和關(guān)系相間構(gòu)成的序列，并將query path中各個成分的貢獻(xiàn)度計算看作是一個序列標(biāo)記過程。并且對輸入文本進(jìn)行編碼作為context，通過attention幫助序列標(biāo)記的概率計算，最后將各個位置的sigmoid概率作為各自的貢獻(xiàn)權(quán)重。

Query表示學(xué)習(xí)：得到query path的各個成分的貢獻(xiàn)權(quán)重后，我們以加權(quán)的方式對query path編碼，學(xué)習(xí)到對應(yīng)的query representationL?？紤]到query path由實體和關(guān)系相間構(gòu)成的特殊結(jié)構(gòu)，我們使用循環(huán)跳躍網(wǎng)絡(luò)（recurrent skipping network， RSN）來對路徑序列進(jìn)行編碼。

2. Query-based Question Generator

基于學(xué)到的query representationL，解碼生成對應(yīng)的問題。將最后的query representation和context表示聯(lián)合作為解碼器的初始狀態(tài)，并分別對他們執(zhí)行注意力機(jī)制，逐步生成問題。

Variational Path-based Question Generation

對query representation的學(xué)習(xí)可以看成是對query path的一個推斷過程，參考變分推斷的思想，我們將query representation的學(xué)習(xí)看作是推導(dǎo)query的先驗分布（prior query distribution），而基于query的問題生成是在計算目標(biāo)問題的likelihood，我們又引入了一個額外的后驗query分布（posterior query distribution），通過將目標(biāo)問題作為指導(dǎo)來幫助減少query representation學(xué)習(xí)的不確定性。并且通過訓(xùn)練，使得query的先驗分布不斷靠近后驗分布，最終提升生成的問題質(zhì)量。變分PathQG的結(jié)構(gòu)如下圖。

實驗

我們在SQuAD數(shù)據(jù)集上進(jìn)行了實驗，對每一條文本，通過場景圖解析器（scene garph parser）和詞性標(biāo)注器（part-of-speech tagger）自動構(gòu)建了知識圖譜，并且根據(jù)參考問題從知識圖譜中抽取出對應(yīng)的query path。為了進(jìn)一步驗證模型在復(fù)雜問題生成上的效果，我們還根據(jù)query path中事實三元組的個數(shù)從SQuAD中劃分了一個復(fù)雜問題數(shù)據(jù)集。在全數(shù)據(jù)集和復(fù)雜數(shù)據(jù)集上的實驗結(jié)果顯示我們的模型都優(yōu)于其他模型。

除了自動評估，我們還通過Amazon Mechanical Turk (AMT)進(jìn)行了人工評估，分別從問題的流利度、正確性（和給定文本和答案一致）、信息量對不同模型生成的問題進(jìn)行了兩兩比較，結(jié)果顯示我們的模型也取得不錯效果。

我們還通過對不同模型生成的問題和給定文本之間的重疊率進(jìn)行比較，來評估生成問題和給定文本的相關(guān)性。

最后還進(jìn)行了一些案例分析，可以看出相對模型NQG+，我們生成的問題更加和文本相關(guān)和有信息量。在第一個樣例中，我們生成的問題包含有特定信息“plymouth”和“l(fā)ate 18th”而*NQG+沒有，而在第二個例子中NQG+*生成的問題包含不相關(guān)的“swazi economye”而我們生成的和給定文本更一致。

總結(jié)

這篇文章中，我們通過知識圖譜對文本中的事實建模用于問題生成，并提出一個新任務(wù)：給定知識圖譜中的一條query path，生成對應(yīng)的問題。我們提出先學(xué)習(xí)一個query representation來表示問題中可能涉及的事實，再生成問題，將這兩個模塊聯(lián)合進(jìn)行訓(xùn)練并提出一個變分模型提升問題的生成。我們通過自動構(gòu)建知識圖譜并抽取出對應(yīng)的query path構(gòu)建了我們的實驗數(shù)據(jù)集，結(jié)果驗證了我們模型的有效性。

責(zé)任編輯：lq