經(jīng)常會收到一些比較簡要的技術咨詢，描述了是什么任務，發(fā)現(xiàn)用BERT粗暴精調(diào)效果不好之后，問我有什么辦法可以提升。

在面對第一把梭就失敗時，我通常是這么判斷的：

1. 如果效果差的很離譜，比如二分類準確率在60%以下，那大概率是模型有問題，開始用小數(shù)據(jù)集debug
2. 如果有點效果，但一言難盡，那估計是數(shù)據(jù)有問題，要不然噪聲多，要不然是真的難，可以自己看一下訓練集，如果人看完后在幾秒內(nèi)都不能給出答案，就別太指望模型可以做好

在第一把效果還行的情況下，推薦嘗試以下策略：

1. In-Domain Further Pre-train：利用同領域下的無監(jiān)督數(shù)據(jù)繼續(xù)MLM預訓練，這個方法我真的百試不厭，一般用一兩百萬的數(shù)據(jù)就能提升1-2個點
2. Within-Task Further Pre-Training：利用不同領域的同任務數(shù)據(jù)預先精調(diào)，選通用一些的一般也有提升
3. Multi-Task Fine-Tuning：利用不同任務預先精調(diào)
4. Layer-wise Decreasing Layer Rate：每層學到的知識都是不同的，前面幾層會更通用，所以學的時候可以用小一點的學習率，防止災難性遺忘
5. Features from Different layers：把不同層的輸出集成起來，不過這個方法不一定有提升
6. 長文本處理：截斷或使用層次化編碼

以上這些方法，都出自復旦邱錫鵬老師的《How to fine-tune BERT for text classification?》，該文進行了各種詳細的實驗，得出了不少有用的結論，推薦大家去學習。即使有的方法在論文數(shù)據(jù)集中表現(xiàn)一般，在自己的數(shù)據(jù)上也可以嘗試。