9月份，我們兩位同學(xué)一起組隊，參加Byte Cup 2018國際機器學(xué)習(xí)競賽。本次比賽由中國人工智能學(xué)會和字節(jié)跳動主辦，IEEE中國代表處聯(lián)合組織。比賽的任務(wù)是文章標題自動生成。最終，我們隊伍獲得了第一名。

1.比賽介紹

本次比賽的任務(wù)是給定文章文本內(nèi)容，自動生成標題。本質(zhì)上和文本摘要任務(wù)比較類似。本次比賽有100多萬篇文章的訓(xùn)練數(shù)據(jù)。

1.1數(shù)據(jù)介紹

詳細參見：https://biendata.com/competition/bytecup2018/data/。

本次競賽使用的訓(xùn)練集包括了約130萬篇文本的信息，驗證集1000篇文章，

測試集800篇文章。

1.2數(shù)據(jù)處理

文章去重，訓(xùn)練數(shù)據(jù)中包含一些重復(fù)數(shù)據(jù)，清洗，去重；

清洗非英文文章。

1.3評價指標

本次比賽將使用Rouge（Recall-Oriented Understudy for Gisting Evaluation）作為模型評估度量。Rough是評估自動文摘以及機器翻譯的常見指標。它通過將自動生成的文本與人工生成的文本（即參考文本）進行比較，根據(jù)相似度得出分值。

2.模型介紹

本次比賽主要嘗試了seq2seq的方法。參考的模型包括Transformer模型和pointer-generator模型。

模型如下圖：

（其實就是將pointer-generator的copy機制加到transformer模型上）。

同時，嘗試了將ner-tagger和pos-tagger信息加入到模型中，如下圖所示：

3.問題分析

最開始我們嘗試了最基本的transformer模型，通過查看數(shù)據(jù)，遇到以下幾類明顯錯誤：

OOV(out of vocabulary)；

數(shù)字，人名，地名預(yù)測錯誤；

詞形預(yù)測錯誤。

OOV問題，主要原因是數(shù)據(jù)集詞表太大，但是，模型能夠?qū)嶋H使用的詞表較小；數(shù)字，人名，地名預(yù)測錯誤，主要原因是低頻詞embedding學(xué)習(xí)不充分；詞形預(yù)測錯誤，主要原因是模型中沒有考慮詞的形態(tài)問題（當然，如果訓(xùn)練數(shù)據(jù)足夠大，是能避免這個問題的）。

為了解決這些問題，我們嘗試了以下方法。

4.重要組件

4.1copy機制

對于很多低頻詞，通過生成式方法生成，其實是很不靠譜的。為此，我們借鑒Pointer-generator的方法，在生成標題的單詞的時候，通過Attention的概率分布，從原文中拷貝詞。

4.2subword

為了避免oov問題，我們采用subword的方法，處理文本。這樣，可以將詞表大小減小到20k，同時，subword會包含一些單詞詞形結(jié)構(gòu)的信息。

4.3ner-tagger和pos-tagger信息

因為baseline在數(shù)字，人名，地名，詞形上預(yù)測錯誤率較高，所以我們考慮能不能將ner-tagger和pos-tagger信息加入到模型中。如上圖所示。實驗證明通過加入這兩個序列信息能夠大大加快模型的收斂速度（訓(xùn)練收斂后，指標上基本沒差異）。

4.4Gradient Accumulation

在實驗過程中，我們發(fā)現(xiàn)transformer模型對batch_size非常敏感。之前，有研究者在機器翻譯任務(wù)中，通過實驗也證明了這一觀點。然而，對于文章標題生成任務(wù)，因為每個sample的文章長度較長，所以，并不能使用超大batch_size來訓(xùn)練模型，所以，我們用Gradient Accumulation的方法模擬超大batch_size。

4.5ensemble

采用了兩層融合。第一層，對于每一個模型，將訓(xùn)練最后保存的N個模型參數(shù)求平均值（在valid集上選擇最好的N）。第二層，通過不同隨機種子得到的兩個模型，一個作為生成候選標題模型（選擇不同的beam_width, length_penalty）, 一個作為打分模型，將候選標題送到模型打分，選擇分數(shù)最高的標題。

5.失敗的方法

將copy機制加入到transformer遇到一些問題，我們直接在decoder倒數(shù)第二層加了一層Attention層作為copy機制需要的概率分布，訓(xùn)練模型非常不穩(wěn)定，并且結(jié)果比baseline還要差很多；

我們嘗試了bert，我們將bert-encoder抽出的feature拼接到我們模型的encoder的最后一層，結(jié)果并沒有得到提升；

word-embedding的選擇，我們使用glove和fasttext等預(yù)訓(xùn)練的詞向量，模型收斂速度加快，但是，結(jié)果并沒有random的方法好。

6.結(jié)束語

非常感謝主辦方舉辦本次比賽，通過本次比賽，我們探索，學(xué)習(xí)到了很多算法方法和調(diào)參技巧。