研究動機

多標簽文本分類（multi-label text classification, 簡稱MLTC）的目的是在給定文本后要求模型預測其多個非互斥的相關標簽。該任務在許多自然語言處理任務上都有體現(xiàn)。如在表1中，需要給該文檔打上標簽：basketball、NBA、sport。

表1多標簽文本分類的例子

一種處理MLTC的簡單方法是將其轉(zhuǎn)換為多個獨立的二分類問題。該方法被稱為BinaryRelevance (BR)，由于其簡單性而被大規(guī)模使用。但該方法的弊端也十分明顯，即該方法完全忽略了標簽之間的相關信息。直覺上，知道一些標簽——如上例中的basketball及NBA——會使得預測其他標簽（如sport）更加簡單。研究者指出對于多標簽分類任務而言，有效利用標簽之間的相關性是有益的、甚至是必要的。為此，涌現(xiàn)出許多利用標簽關系的算法，其中最知名的就是算法Classifier Chains（CC）。該算法將多個二分類器串聯(lián)起來，其中每個分類器使用之前分類器的預測結(jié)果作為額外的輸入。該方法將潛在的標簽依賴納入考慮，但該問題的最大缺陷在于不同的標簽順序會產(chǎn)生天壤之別的性能。同時，CC算法的鏈式結(jié)構(gòu)使得算法無法并行，在處理大規(guī)模數(shù)據(jù)集時效率低下。

近年來，也有學者將標簽集合視作標簽序列，并使用基于神經(jīng)網(wǎng)絡的端到端模型（seq2seq）來處理該任務。相較于CC預測所有標簽，這類seq2seq的模型只預測相關標簽。因此該類模型的決策鏈條長度更短，性能更優(yōu)。但這類模型的性能強烈依賴于標簽的順序。在多標簽數(shù)據(jù)集中，標簽本質(zhì)上是無序的集合，未必可以線性排列。學者們指出不同的標簽順序?qū)τ趯W習和預測有著重大影響。舉例來說，對于表1中的例子，如果標簽序列以sport開始，則對于預測其他相關標簽的幫助不大。

02

—

解決方案

為了處理上述問題，我們提出了Multi-Label Reasoner（ML-Reasoner），一個基于推理機制的算法。ML-Reasoner的框架如圖1所示，我們?yōu)槊恳粋€標簽分配一個二分類器，它們同時預測所有標簽以滿足標簽的無序性質(zhì)。這樣的話，ML-Reasoner可以同時計算每一個標簽相關的概率。例如在處理上例時，ML-Reasoner可能認為標簽NBA相關的概率為0.9，basketball的為0.7，sport為0.55，football為0.3.這樣，ML-Reasoner就完全避免依賴標簽順序。同時為了有效利用標簽的相關性，我們設置了一種新穎的迭代推理機制，即將上一輪對所有標簽相關的預測作為下一次迭代的額外特征輸入。這種方法使得ML-Reasoner可以在每一輪的迭代中完善預測結(jié)果。舉例來說，考慮到標簽NBA與basketball相關的概率較高，模型可以在后續(xù)迭代中，將標簽sport的概率調(diào)高。

圖1 Multi-Label Reasoner整體框架圖

具體到Reasoner的實現(xiàn)，我們將其劃分為五個組件，其相關交互關系見圖2。

圖2多標簽文本分類的Reasoner模塊

- Text Encoder將詞語序列轉(zhuǎn)換為稠密的向量表示，主要負責抽取文本特征；

- Label Encoder將上一輪次所有標簽的相關概率轉(zhuǎn)換為相應的標簽表示；

- Attention模塊負責計算文本與不同標簽之間的相關性；

- Combiner則將文本的原始特征與標簽特征進行整合；

- 具有相同結(jié)構(gòu)但不同參數(shù)的Classifier則預測各個標簽的相關性。

至于損失函數(shù)，我們選擇了Binary Cross Entropy (BCE)。更具體的設置請參見原文。

03

—

實驗

我們在兩個常用的多標簽文本分類數(shù)據(jù)集Arxiv Acadmeic Paper Dataset（AAPD）及Reuters Corpus Volum I （RCV1-V2）上進行了實驗。AAPD數(shù)據(jù)量更少、標簽密度更大，分類難度更大。評價指標則選用了hamming loss，micro-precision，micro-recall及micro-F1；其中hamming loss越低越好，其他則越高越好。至于基準模型，我們選用了經(jīng)典模型如BR、CC、LP，也有性能優(yōu)越的seq2seq模型如CNN-RNN、SGM，還有其他一些表現(xiàn)卓越的多標簽文本分類模型如LSAN，之外也將seq2set納入進來作為比較。seq2set使用強化學習算法來緩解seq2seq模型對于標簽順序的依賴程度。同時，為了驗證ML-Reasoner在不同文本編碼器上能帶來的性能提升，我們分別使用了CNN、LSTM及BERT作為ML-Reasoner框架中的Text Encoder模塊。實驗結(jié)果如表2所示。

表2 ML-Reasoner及基準模型在兩個數(shù)據(jù)集上的性能

從表中可以看出，ML-Reasoner在兩個數(shù)據(jù)集上均達到了SOTA水準，且在三種不同文本編碼器上都能帶來顯著提升。

為了驗證ML-Reasoner可以完全避免對標簽順序的依賴，我們隨機打亂AAPD數(shù)據(jù)集的標簽順序，并進行了測試；各個模型的性能如表3所示。從表中可以看到，CC及seq2seq模型的性能受標簽順序的劇烈影響；seq2set可以顯著緩解seq2seq的問題；而ML-Reasoner則完全不受標簽順序的影響。

表3各模型在標簽打亂的AAPD數(shù)據(jù)集上的性能

我們也通過燒蝕實驗（見圖3），確定了推理機制確實是性能提升的關鍵。

圖3 ML-Reasoner（T=1,2,5）及CNN-Round（T=1,2,5）在AAPD測試集上的性能雷達圖

我們也探究了迭代次數(shù)對模型性能的影響，由圖4可知，進行了一次推理就可以帶來顯著提升；而推理次數(shù)的再次提高并不能帶來更多的提升。這可能是因為模型及數(shù)據(jù)集的選擇導致的。

圖4不同迭代輪數(shù)下的ML-Reasoner在AAPD測試集上的性能雷達圖

為了進一步理解Reasoner發(fā)揮作用的機制，我們從數(shù)據(jù)集中選取了一些典型示例（見表4）。在第一個例子中，模型通過推理將相關標簽math.OC添上；模型處理第二個例子時，則將無關標簽cs.LO剔除；有時添加與刪除的動作也會同時發(fā)生（見第三個例子）。當然，推理偶爾也會使預測結(jié)果變差（見第四、第五個例子）。

表4 AAPD測試集中一些由于推理機制預測結(jié)果出現(xiàn)變化的實例

為了驗證上述例子的變化確實是因為考慮了標簽之間的相關性，我們進一步統(tǒng)計模型在添加或刪除某個標簽時與其他標簽的共現(xiàn)頻率。從圖5中，可以觀察到模型往往在添加某個標簽時，其共現(xiàn)頻率（第二行）與真實共現(xiàn)頻率接近（第一行）；而刪除某個標簽時，其共現(xiàn)頻率（第三行）與真實共現(xiàn)頻率（第一行）則相差較遠。

圖5 AAPD標簽的共現(xiàn)頻率圖

04

—

結(jié)論

在本文中，我們提出了算法ML-Reasoner。該算法可以同時預測所有標簽進而避免了對標簽順序的依賴；之外，他通過新穎的推理機制利用了標簽之間的高階關系。實驗結(jié)果表明了ML-Reasoner在捕獲標簽依賴之間的有效性；進一步的分析驗證了其確實未對標簽順序產(chǎn)生依賴。一些經(jīng)驗性試驗也揭示了該算法發(fā)揮作用的機制。由于ML-Reasoner未顯式利用標簽之間的關系，如層次結(jié)構(gòu)等，如何將這些信息納入考慮是值得進一步探索的。

原文標題：【IPM2020】一種處理多標簽文本分類的新穎推理機制

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq