寫在前面

自然語言文本中經(jīng)常會出現(xiàn)一些拼寫錯(cuò)誤（typo），在中文文本里即所謂的錯(cuò)別字，中文拼寫糾錯(cuò)（Chinese Spelling Correction，CSC）可以對中文文本中的 typo 進(jìn)行檢測和糾正。拼寫糾錯(cuò)在諸多 NLP 任務(wù)和應(yīng)用中都有重要作用，如 OCR、語音識別和搜索引擎等。在 NLP 任務(wù)和日常工作生活場景中，中文文本中的 typo 主要是拼音和字形相似導(dǎo)致的，示例如表 1 所示。

表 1

一般 CSC 系統(tǒng)的輸入和輸出序列長度相同，所以現(xiàn)在 CSC 系統(tǒng)主要采用基于 BERT 的非自回歸生成模型，這些模型依據(jù)輸入序列中的所有字符來平行生成每個(gè)位置的字符，而隨著 BERT 等預(yù)訓(xùn)練模型的成功，CSC 模型的性能也有了極大的提升。

雖然 BERT 模型很強(qiáng)大，但其在解決 CSC 任務(wù)時(shí)也會遇到一些問題。

首先，基于 BERT 的 CSC 模型根據(jù) typo 本身及其上下文對該處 typo 進(jìn)行檢測和糾正，但當(dāng)一個(gè)句子中有多處拼寫錯(cuò)誤（multi-typo）時(shí)，則句子中每個(gè)字符的上下文都至少包含一處 typo，這導(dǎo)致其信息中含有噪聲，從而影響模型的效果。論文統(tǒng)計(jì)了中文拼寫糾錯(cuò)任務(wù) SIGHAN13、14、15 的測試集中的 multi-typo 數(shù)據(jù)，如表 2 所示，并且把這些數(shù)據(jù)抽出做成測試集，測試模型對 multi-typo 文本的糾錯(cuò)能力，結(jié)果如表 3 所示（character-level），結(jié)果證實(shí)了上述結(jié)論。

其次，BERT 是掩碼語言模型，其從大規(guī)模語料中學(xué)習(xí)怎樣根據(jù)上下文恢復(fù)被遮掩的 token，但對于一個(gè)被遮掩的位置可能有多個(gè)有效的字符，這時(shí)候 BERT 模型則會傾向于恢復(fù)成最常見的那一個(gè)，而在 CSC 任務(wù)中，則表現(xiàn)為模型可能會把一個(gè)有效的表述改成另外一種更常見的表述，比如將“這并非是說……”改成“這并不是說……”。

表 2

表 3

針對上述的兩個(gè)問題，來自騰訊 AI 平臺部門和北京大學(xué)的研究人員提出了一種名為 CRASpell 的解決方法，讓我們一起來看看吧。

論文標(biāo)題

CRASpell： A Contextual Typo Robust Approach to Improve Chinese Spelling Correction

論文作者

Shulin Liu， Shengkang Song， Tianchi Yue， Tao Yang， Huihui Cai， Tinghao Yu， Shengli Sun

作者單位

Tencent AI Platform Department， China

Peking University， China

論文鏈接

https://aclanthology.org/2022.findings-acl.237/

項(xiàng)目代碼

https://github.com/liushulinle/CRASpell

CRASpell 介紹

該論文將 multi-typo 降低模型性能的問題稱作 Contextual Typo Disturbance，將模型對文本不必要的糾正稱為 Overcorrection，并針對這兩個(gè)問題提出了 CRASpell 模型，其結(jié)構(gòu)如圖 1 所示：

圖 1

由圖 1 我們可以看到，CRASpell 主要分為兩部分，左邊為 Correction Module，右邊為 Noise Modeling Module。

1. Correction Module

Correction Module 中，Transformer Encoder 加 Generative Block 就是一個(gè)基本的 CSC 模型，Generative Block 計(jì)算并輸出一個(gè) generative distribution，其過程可以描述為：

（1）

論文中使用 copy mechanism ［1-2］ 來解決 Overcorrection 的問題，其對于輸入序列中的每一個(gè) token，都有一個(gè) one-shot 向量的 copy distribution，其形式可以描述為：

（2）

Copy Block 則是用來輸出一個(gè) copy probability，計(jì)算過程如下：

（3）

然后以 copy probability 為權(quán)重，將 copy distribution 和 generative distribution 相加作為最后輸出，這樣相當(dāng)于給輸入的 token 額外加上了一個(gè)偏重，讓模型更加傾向于保留原來的 token：

（4）

2. Noise Modeling Module

針對 Contextual Typo Disturbance 問題，CRASpell 提出了 Noise Modeling Module，其思想是訓(xùn)練模型在原始上下文和有噪聲的上下文中輸出相似的概率分布。

Noise Modeling Module 的結(jié)構(gòu)也是 Transformer Encoder 加 Generative Block，不同的是其前面還有一個(gè) Noisy Block，其通過替換的方式在 typo 的上下文中插入噪聲，而噪聲上下文的質(zhì)量又受到兩個(gè)因素的影響：

a. 插入噪聲的位置

作者根據(jù)表 3 的實(shí)驗(yàn)結(jié)果，決定在 typo 周圍 個(gè)字符內(nèi)選擇， 時(shí)如圖 2 所示，如果句子中沒有錯(cuò)誤或者選擇的位置正好是一處 typo，則不插入噪聲。

圖 2

b. 應(yīng)該替換成什么字符

論文中使用公開的混淆集（confusion set）［3］，將選擇位置上的字符替換成其相似字符，這也是 CSC 任務(wù)中制作偽數(shù)據(jù)的常用方法，不同類型字符的替換比例為：70%近音字、15%近形字以及 15%隨機(jī)選擇的字符。

原始輸入經(jīng)過 Noisy Block 插入噪聲后得到新的輸入，經(jīng)過 Noise Modeling Module 后的輸出為 ， 最后將其與 Correction Module 中的 generative distribution 共同計(jì)算 KL 散度損失：

（5）

在 Correction Module 中，給定訓(xùn)練樣本 （X， Y），對于式 （4） 中的 ，其每個(gè)位置的 token 的 loss 為：

（6）

結(jié)合式 （5） 和式 （6），得到整個(gè)模型訓(xùn)練的損失函數(shù)為：

（7）

（8）

這里我們可以看到，Noise Modeling Module 只在訓(xùn)練時(shí)被用到，而插入噪聲的位置沒有計(jì)算在 loss 內(nèi)，這樣做是為了不改變訓(xùn)練過程中數(shù)據(jù)里 typo 的數(shù)量，讓插入的噪聲只起到改變上下文信息的作用。

實(shí)驗(yàn)設(shè)置和結(jié)果

數(shù)據(jù)集方面，論文中的訓(xùn)練集包括 10K 人工標(biāo)注的 SIGHAN 數(shù)據(jù) ［3-5］，加上 271K 的自動生成的數(shù)據(jù) ［6］，測試集使用的是 SIGHAN15 的測試集，另外作者還抽取了 SIGHAN15 測試集中所有的 multi-typo 數(shù)據(jù)以及相同數(shù)量的 negative（不含 typo）數(shù)據(jù)，組成了 multi-typo 測試集，如表 4 所示。指標(biāo)采用了 character-level 的 precision、recall 和 F1 分?jǐn)?shù)，即預(yù)測對一個(gè) typo 標(biāo)簽算一個(gè)正確的預(yù)測結(jié)果，這樣更能體現(xiàn)論文提出的方法對 multi-typo 的提升效果。

表 4

基線模型：

SoftMask：提出 soft-masking 策略提升 BERT 的錯(cuò)誤檢測性能；

SpellGCN：將 GCN 與 BERT 結(jié)合對字符間的關(guān)系進(jìn)行建模；

Tail2Tail：基于 BERT 的模型，但把解碼器換成了 CRF；

cBERT：論文作者發(fā)表于 2021 年的工作，用 CSC 數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的 BERT，論文提出的 CRASpell 模型也用 cBERT 進(jìn)行初始化；

PLOME：與 cBERT 相同，但另外融合了從拼音和筆畫獲取的發(fā)音和字形特征；

cBERTCopy：將 copy mechanism 應(yīng)用在 cBERT 上；

cBERTNoise：將 Noise Modeling Module 應(yīng)用在 cBERT 上；

cBERTRdrop：基于 cBERT 實(shí)現(xiàn)的 Rdrop 方法 ［7］。

1. Main Results

表 5

我們可以從表 5 中看到，Noise Modeling Module 和 copy mechanism 都能提升模型性能，使用了 Noise Modeling Module 的 cBERTNoise 和 CRASpell 在 multi-typo 測試集上均取得了優(yōu)于其他方法的結(jié)果（Correction-level 的 Precision 高于 Detection-level，是因?yàn)槠浞帜甘窃?ground-truth 范圍內(nèi)的預(yù)測標(biāo)簽的數(shù)量，而不是所有預(yù)測標(biāo)簽的數(shù)量），而另外還使用了 copy mechanism 的 CRASpell 則在兩個(gè)測試集都取得了最好結(jié)果。作者也從 SIGHAN14 的測試集中篩選出了一個(gè) multi-typo 測試集，結(jié)果如表 6 所示。

表6

2. Effects of Different Replaced Positions

論文中對比了 Noisy Block 在輸入句子中選擇插入噪聲位置的兩種方式：

在整個(gè)句子中隨機(jī)選擇

在 typo 附近選擇結(jié)果如表 7 所示，作者還在測試集的數(shù)據(jù)中插入噪聲，測試噪聲與 typo 的距離對結(jié)果的影響，結(jié)果如圖 3 所示，兩組實(shí)驗(yàn)的結(jié)果都表明距離 typo 較近的噪聲對模型的性能影響較大。

表 7

圖 3

3. Effects of Different Replaced Characters & the Copy Block

表 8 展示了插入噪聲的兩種方法：隨機(jī)從詞典中選取和從 confusion set 中選取的結(jié)果，可以看出 confusion set 的效果更好，因?yàn)閺?confusion set 中選取的近音、近形字更接近實(shí)際場景下的 typo。Copy Block 被用來減少 BERT 模型對有效字符的修改，從表 9 可以看出其對 BERT 模型性能的提升，cBERT 因?yàn)樵?CSC 數(shù)據(jù)上預(yù)訓(xùn)練過，所以 Copy Block 對其提升幅度較小。

表 8

表 9

4. Comparison of Different Methods for Multi-typo Texts

作者為了展示 Noise Modeling Module 對模型的提升，另外實(shí)現(xiàn)了兩種基于 cBERT 的方法：

MultiRound：用 cBERT 對輸入進(jìn)行多輪預(yù)測，直至不再修改；

NoiseTrain：用 Noise Block 生成的數(shù)據(jù)訓(xùn)練 cBERT，插入噪聲的位置也參與 loss 計(jì)算。結(jié)果如表 10 所示，可以看出 NoiseTrain 提升效果最差，作者猜測是因?yàn)椴迦氲脑肼暿褂?xùn)練數(shù)據(jù)中 typo 數(shù)量增加，且質(zhì)量偏低，從而導(dǎo)致模型在 single-typo 和 zero-typo 的數(shù)據(jù)上的效果變差，而 Noise Modeling Module 中插入的噪聲只作為上下文，不參與 loss 計(jì)算，作者認(rèn)為這是導(dǎo)致結(jié)果差別巨大的關(guān)鍵所在。

表 10

總結(jié)

針對之前 CSC 模型的兩個(gè)限制：Contextual Typo Disturbance 和 Overcorrection，這篇論文提出了一種新的拼寫糾錯(cuò)模型。針對第一個(gè)問題，論文提出了 Noise Modeling Module，在訓(xùn)練過程中生成含噪聲的上下文，該方法有效地提升了模型在 multi-typo 文本上的糾錯(cuò)效果。針對 Overcorrection 問題，論文將 Copy Block 與 CSC 模型結(jié)合，訓(xùn)練模型在原字符有效的情況下盡量不進(jìn)行修改。最終，該方法也是在 SIGHAN15 任務(wù)上取得了新的 SOTA。

原文標(biāo)題：文本糾錯(cuò) | 怎樣改善模型對 multi-typo 的糾正效果？

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。