你有嘗試從 BERT 提取編碼后的 sentence embedding 嗎？很多小伙伴的第一反應(yīng)是：不就是直接取頂層的[CLS] token的embedding作為句子表示嘛，難道還有其他套路不成？

nono，你知道這樣得到的句子表示捕捉到的語(yǔ)義信息其實(shí)很弱嗎？今天向大家介紹一篇來(lái)自于 CMU 和字節(jié)跳動(dòng)合作，發(fā)表在 EMNLP2020 的 paper， 詳盡地分析了從預(yù)訓(xùn)練模型得到 sentence embedding 的常規(guī)方式的缺陷和最佳打開(kāi)方式，是一篇非常實(shí)用、輕松幫助大家用BERT刷分的文章。論文質(zhì)量蠻高，分析和發(fā)現(xiàn)很有趣，通讀之后感覺(jué)收獲多多。

自2018年BERT驚艷眾人之后，基于預(yù)訓(xùn)練模型對(duì)下游任務(wù)進(jìn)行微調(diào)已成為煉丹的標(biāo)配。然而近兩年的研究卻發(fā)現(xiàn)，沒(méi)有經(jīng)過(guò)微調(diào)，直接由BERT得到的句子表示在語(yǔ)義文本相似性方面明顯薄弱，甚至?xí)跤贕loVe得到的表示。此篇論文中首先從理論上探索了masked language model 跟語(yǔ)義相似性任務(wù)上的聯(lián)系，并通過(guò)實(shí)驗(yàn)分析了BERT的句子表示，最后提出了BERT-Flow來(lái)解決上述問(wèn)題。

為什么BERT的句子Embeddings表現(xiàn)弱？

由于Reimers等人之前已實(shí)驗(yàn)證明 context embeddings 取平均要優(yōu)于[CLS] token的embedding。因而在文章中，作者都以最后幾層文本嵌入向量的平均值來(lái)作為BERT句子的表示向量。

語(yǔ)義相似性與BERT預(yù)訓(xùn)練的聯(lián)系

為了探究上述問(wèn)題，作者首先將語(yǔ)言模型(LM)與掩蓋語(yǔ)言模型(MLM) 統(tǒng)一為: 給定context（c）預(yù)測(cè)得到 token(x) 的概率分布，即

這里 是context的embedding， 表示 的word embedding。進(jìn)一步，由于將 embedding 正則化到單位超球面時(shí)，兩個(gè)向量的點(diǎn)積等價(jià)于它們的cosine 相似度，我們便可以將BERT句子表示的相似度簡(jiǎn)化為文本表示的相似度，即 。

另外，考慮到在訓(xùn)練中，當(dāng) c 與 w 同時(shí)出現(xiàn)時(shí)，它們對(duì)應(yīng)的向量表示也會(huì)更接近。換句話說(shuō)，context-context 的相似度可以通過(guò) context-words 之間的相似度推出或加強(qiáng)。

各向異性嵌入空間

Jun Gao, Lingxiao Wang 等人在近幾年的ICLR paper中有提到語(yǔ)言模型中最大似然目標(biāo)的訓(xùn)練會(huì)產(chǎn)生各向異性的詞向量空間，即向量各個(gè)方向分布并不均勻，并且在向量空間中占據(jù)了一個(gè)狹窄的圓錐體，如下圖所示~

這種情況同樣也存在于預(yù)訓(xùn)練好的基于Transformer的模型中，比如BERT，GPT-2。而在這篇paper中，作者通過(guò)實(shí)驗(yàn)得到以下兩個(gè)發(fā)現(xiàn)：

詞頻率影響詞向量空間的分布：文中通過(guò)度量BERT詞向量表示與原點(diǎn) l_2 距離的均值得到以下的圖表。我們可以看到高頻的詞更接近原點(diǎn)。由于word embedding在訓(xùn)練過(guò)程中起到連接文本embedding的作用，我們所需的句子表示向量可能會(huì)相應(yīng)地被單詞頻率信息誤導(dǎo)，且其保留的語(yǔ)義信息可能會(huì)被破壞。

低頻詞分布偏向稀疏：文中度量了詞向量空間中與K近鄰單詞的 l_2 距離的均值。我們可以看到高頻詞分布更集中，而低頻詞分布則偏向稀疏。然而稀疏性的分布會(huì)導(dǎo)致表示空間中存在很多“洞”，這些洞會(huì)破壞向量空間的“凸性”?？紤]到BERT句子向量的產(chǎn)生保留了凸性，因而直接使用其句子embeddings會(huì)存在問(wèn)題。

Flow-based 生成模型

那么，如何無(wú)監(jiān)督情況下充分利用BERT表示中的語(yǔ)義信息？為了解決上述存在的問(wèn)題，作者提出了一種將BERT embedding空間映射到一個(gè)標(biāo)準(zhǔn)高斯隱空間的方法（如下圖所示），并稱(chēng)之為“BERT-flow”。而選擇 Gaussian 空間的動(dòng)機(jī)也是因?yàn)槠渥陨淼奶攸c(diǎn)：

標(biāo)準(zhǔn)高斯分布滿(mǎn)足各向同性

高斯分布區(qū)域沒(méi)有“洞”，即不存在破壞“凸性”的情況

上圖中 表示隱空間， 表示觀測(cè)到的空間，f: 是可逆的變換。根據(jù)概率密度函數(shù)中變量替換的定理，我們可以得到觀測(cè)變量的概率密度函數(shù)如下：

進(jìn)一步，作者通過(guò)最大化BERT句子表示的邊緣似然函數(shù)來(lái)學(xué)習(xí)基于流的生成模型，即通過(guò)如下的公式來(lái)訓(xùn)練flow的參數(shù)：

其中 表示數(shù)據(jù)集分布， 為神經(jīng)網(wǎng)絡(luò)。需要注意的是，在訓(xùn)練中，不需要任何人工標(biāo)注！另外，BERT的參數(shù)保持不變，僅有流的參數(shù)進(jìn)行優(yōu)化更新。其次，在實(shí)驗(yàn)中，作者基于Glow (Dinh et al., 2015)的設(shè)計(jì)（多個(gè)可逆變換組合）進(jìn)行改動(dòng)，比如將仿射耦合(affine coupling)替換為了加法耦合（additive coupling）。

實(shí)驗(yàn)及結(jié)果

論文的實(shí)驗(yàn)部分在7個(gè)數(shù)據(jù)集上進(jìn)行衡量語(yǔ)義文本相似性任務(wù)的效果。

實(shí)驗(yàn)步驟：

通過(guò)句子encoder得到每個(gè)句子的向量表示。

計(jì)算句子之間的cosine similarity 作為模型預(yù)測(cè)的相似度。

計(jì)算Spearman系數(shù)。

實(shí)驗(yàn)結(jié)果：

上圖匯報(bào)了sentence embeddings的余弦相似度同多個(gè)數(shù)據(jù)集上真實(shí)標(biāo)簽之間的Spearman等級(jí)相關(guān)性得分（），其中flow-target 表示在完整的目標(biāo)數(shù)據(jù)集（train+validation+test）上進(jìn)行學(xué)習(xí)，flow-NLI 表示模型在NLI（natual language inference）任務(wù)的測(cè)試，綠色箭頭表示相對(duì)于BERT的baseline，模型的效果有提升，紅色反之。

我們可以注意到模型的改進(jìn)對(duì)于效果的提升還是很顯著滴！文章同樣還在無(wú)監(jiān)督問(wèn)答任務(wù)證明模型的有效性，并將BERT-flow得到的語(yǔ)義相似度同詞法相似度(通過(guò)編輯距離來(lái)衡量)進(jìn)行對(duì)比，結(jié)果同樣證明模型在引入流的可逆映射后減弱了語(yǔ)義相似性與詞法相似性之間的聯(lián)系！具體信息大家可查閱paper~

小結(jié)

總之，這篇paper探究了BERT句子表示對(duì)于語(yǔ)義相似性上潛在的問(wèn)題，并提出了基于流的可逆映射來(lái)改進(jìn)在對(duì)應(yīng)任務(wù)上的表現(xiàn)。想多了解的童鞋可以看看原文，相信你們也會(huì)喜歡上這篇paper！

原文標(biāo)題：還在用[CLS]？從BERT得到最強(qiáng)句子Embedding的打開(kāi)方式！

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq