編者按：從iOS 8開始，蘋果就在iPhone上采用了一個全新的預(yù)測文本功能——QuickType鍵盤。當(dāng)你在打字的時候，系統(tǒng)會根據(jù)你的書寫風(fēng)格，提示接下來可能會鍵入的字詞或短語供你選擇，類似中文輸入法中的智能建議。

這一功能基于其背后強大的自然語言處理（NLP）模型，而在過去幾年中，這種詞向量模型也是新聞、搜索和地圖等其他應(yīng)用程序的核心。在這篇文章中，我們將介紹蘋果研究人員近期的一項新探索：是否可以利用全局語義上下文改進QuickType鍵盤的單詞預(yù)測？

簡介

You shall know a word by the company it keeps.（現(xiàn)代語言學(xué)名句：觀其伴而知其意。即通過分析大型語言語料庫中詞匯共現(xiàn)的模式，我們可以得出詞語的語義表征）

現(xiàn)如今，訓(xùn)練詞嵌入模型的大多數(shù)方法都圍繞句子中給定單詞的上下文，以出現(xiàn)在中心詞前后的幾個單詞（比如5個）為觀察“窗口”，從中挖掘信息。以美國《獨立宣言》中出現(xiàn)的代詞“self-evident”為例，它的左側(cè)是“hold these truths to be”，右側(cè)是“that all men are created”。

本文將在這類方法的基礎(chǔ)上做進一步擴展，探索模型是否能捕獲文檔的整個語義結(jié)構(gòu)，簡而言之，在新模型中，“self-evident”將可以把整本《獨立宣言》作為自己的上下文。那么，這種全局語義上下文能否提高語言模型的性能呢？要解決這個問題，我們先看看現(xiàn)在的詞嵌入用法。

詞嵌入

詞嵌入（Word Embeddings）是NLP中的一個常見操作，現(xiàn)在，以無監(jiān)督方式訓(xùn)練的連續(xù)空間詞嵌入已經(jīng)被證實可用于各種NLP任務(wù)，比如信息檢索、文本分類、問答和序列語言建模等。其中最基礎(chǔ)的一種詞嵌入是1-of-N Encoding，即假設(shè)存在一個大小為N的基礎(chǔ)單詞集，每個單詞都由一個N維系數(shù)向量表示（在單詞索引處為1，在其他地方為0）。

但這種方法有兩個缺陷，一是它的正交性會弱化相似單詞之間關(guān)系，二是編碼結(jié)果容易過長。因此我們也已經(jīng)有了更復(fù)雜的嵌入——將單詞映射到低維連續(xù)向量空間中的密集向量中，這種映射不僅能降低維度，還有利于捕獲關(guān)于單詞的語義、句法和語用信息。

有了詞向量，我們就能通過計算向量之間的距離判斷兩個單詞的相似程度。

比較常見的降維詞嵌入類型有兩種：

從單詞所在文本的上下文中導(dǎo)出表示（前L個單詞和后L個單詞，L一般是個較小的整數(shù)）

利用圍繞單詞的全局上下文的表示（單詞所在的整個文本）

其中，利用文本上下文的方法包括：

用于預(yù)測的神經(jīng)網(wǎng)絡(luò)架構(gòu)，如連續(xù)詞袋模型和skip-gram模型

序列語言模型中的投影層（projection layer）

自編碼器的Bottleneck表示

利用全局上下文的方法包括：

全局矩陣分解方法，如潛在語義映射（LSM），它計算word-document共現(xiàn)次數(shù)

Log-Liner Model，如GloVe，它計算word-word共現(xiàn)次數(shù)

從理想的角度看，像LSM這種計算全局共現(xiàn)的方法其實是最接近真正的語義嵌入的，因為它們捕獲的是整個文本傳達的語義概念的統(tǒng)計信息。相比之下，基于預(yù)測的神經(jīng)網(wǎng)絡(luò)只是把語義關(guān)系封裝到以目標(biāo)單詞為中心的局部文本中，不夠全面。因此，當(dāng)涉及全局語義信息時，由這種方法產(chǎn)生的嵌入往往存在局限。

但是，盡管存在這種局限，現(xiàn)在越來越多的研究人員還是投向神經(jīng)網(wǎng)絡(luò)，尤其是廣受歡迎的連續(xù)詞袋模型和skip-gram模型。因為它們能解決“國王對于女王就像男人對于女人”這類類比，而LSM經(jīng)常失敗。對此，一種普遍看法是基于LSM的方法會使向量空間的各個維度不夠精確，因此只能產(chǎn)生次優(yōu)的空間結(jié)構(gòu)。

這個認(rèn)識引起了蘋果研究人員的極大興趣，因為現(xiàn)用QuickType鍵盤是基于LSM設(shè)計的，在他們最新的博客中，他們就是否可以通過使用不同類型的神經(jīng)網(wǎng)絡(luò)架構(gòu)來實現(xiàn)更強大的語義嵌入進行了探討。

神經(jīng)架構(gòu)

談及生成詞嵌入，最著名的框架之一是word2vec，但研究人員在文章中采用的是一種能提供全局語義嵌入的特殊RNN——bi-LSTM。它允許模型訪問先前、當(dāng)前和未來的輸入信息，把握全局上下文。

為了讓模型能輸入整個完整文檔，他們重新設(shè)計了這個架構(gòu)，如下圖所示，模型的輸出能提供與該文檔相關(guān)聯(lián)的語義類別這意味著生成的詞嵌入捕獲的是輸入的整個語義結(jié)構(gòu)，而不僅是局部上下文。

這個架構(gòu)主要解決了兩個障礙。其一是對目標(biāo)單詞上下文的單詞數(shù)限制，它原則上可以容納無限長度的上下文，這樣就不僅可以處理句子，還可以處理整個段落，甚至是完整的文檔。

圖一 能捕獲全局語義結(jié)構(gòu)的RNN

其二涉及預(yù)測目標(biāo)本身。到目前為止，神經(jīng)網(wǎng)絡(luò)這種解決方案都基于局部上下文信息，無法充分反映全局語義信息，但是上圖已經(jīng)是一個能輸入完整文本的神經(jīng)網(wǎng)絡(luò)了。為了簡化語義標(biāo)簽的生成，研究人員發(fā)現(xiàn)派生合適的聚類類別是有幫助的，例如，他們可以用LSM獲得初始word-document嵌入。

設(shè)當(dāng)前存在一個文本塊（可以是句子，也可以是段落、文檔），它由T個單詞x(t)構(gòu)成（1≤t≤T），且存在一個全局關(guān)聯(lián)的語義類別z。我們把它輸入修改過的bi-LSTM。

用1-of-N encoding對輸入文本中的單詞x(t)編碼，把x(t)轉(zhuǎn)成N維稀疏向量。此時，x(t)左側(cè)的上下文向量h(t ? 1)維數(shù)為H，它包含前一個時間步的隱藏層中輸出值信息的內(nèi)部表示；x(t)右側(cè)的上下文向量g(t + 1)維數(shù)也是H，它包含下一個時間步的隱藏層中的右側(cè)上下文輸出值信息。網(wǎng)絡(luò)在當(dāng)前時間步計算隱藏節(jié)點的輸出值，如下所示：

其中，

F{·}表示激活函數(shù)，如sigmoid、tanh、ReLU

s(t)表示網(wǎng)絡(luò)狀態(tài)，這是左右上下文隱藏節(jié)點的串聯(lián)：s(t) = [g(t) h(t)]，維數(shù)為2H。我們可以把網(wǎng)絡(luò)狀態(tài)看作是2H向量空間中，單詞x(t)的連續(xù)空間表示

網(wǎng)絡(luò)的輸出是與輸入文本相關(guān)聯(lián)的語義類別。在每個時間步，對應(yīng)于當(dāng)前單詞的輸出標(biāo)簽z再被1-of-K encoding：

其中，G {·}表示softmax激活函數(shù)。

當(dāng)我們訓(xùn)練網(wǎng)絡(luò)時，我們假設(shè)有一組語義類別注釋可用。如前所述，這些注釋可能來自使用LSM獲得的初始word-document嵌入。為了避免出現(xiàn)梯度消失，這個架構(gòu)把隱藏節(jié)點設(shè)計成了LSTM和GRU里的形式，我們可以根據(jù)需要將圖一中的單個隱藏層擴展到任意復(fù)雜、任意深度的網(wǎng)絡(luò)。

神經(jīng)語言建模

在實驗中，研究人員使用的是之前訓(xùn)練QuickType時所用的語料庫的子集，如下表所示，他們測試了三種不同嵌入模型在測試集上的困惑度表現(xiàn)，其中“1-of-N”表示標(biāo)準(zhǔn)稀疏嵌入，“word2vec”是標(biāo)準(zhǔn)word2vec嵌入，“bi-LSTM”是他們改進后的方法。

可以發(fā)現(xiàn)，“bi-LSTM”使用的訓(xùn)練數(shù)據(jù)是最少的，但它的性能卻和比他多用了6倍訓(xùn)練數(shù)據(jù)的“word2vec”差不多，而“1-of-N”模型如果要達到同樣的困惑度，它使用的訓(xùn)練數(shù)據(jù)得是“bi-LSTM”的5000倍以上。

因此，這種能捕獲全局語義結(jié)構(gòu)的方法非常適合數(shù)據(jù)量有限的公司、實驗室。

結(jié)論

相比現(xiàn)有方法，將全局語義信息納入神經(jīng)語言模型具有明顯的潛在優(yōu)勢，它也是NLP研究的一個趨勢。但是，在實驗過程中，研究人員也發(fā)現(xiàn)這種方法確實還存在限制，在段落數(shù)據(jù)上訓(xùn)練詞嵌入和在句子數(shù)據(jù)上訓(xùn)練語言模型時，其中還存在一個長度不匹配的問題。

對此，研究人員提出的方案是修改語言模型訓(xùn)練中使用的客觀標(biāo)準(zhǔn)，以便人們能在同一段落數(shù)據(jù)上同時訓(xùn)練嵌入和語言模型?？傊褂胋i-LSTM RNN訓(xùn)練全局語義詞嵌入確實可以提高神經(jīng)語言建模的準(zhǔn)確性，它還可以大大降低對訓(xùn)練所需的數(shù)據(jù)量的要求。