基于 transformer 的編碼器-解碼器模型是 表征學習 和 模型架構(gòu) 這兩個領(lǐng)域多年研究成果的結(jié)晶。本文簡要介紹了神經(jīng)編碼器-解碼器模型的歷史，更多背景知識，建議讀者閱讀由 Sebastion Ruder 撰寫的這篇精彩 博文。此外，建議讀者對 自注意力 (self-attention) 架構(gòu) 有一個基本了解，可以閱讀 Jay Alammar 的 這篇博文 復(fù)習一下原始 transformer 模型。

本文分 4 個部分:

背景 - 簡要回顧了神經(jīng)編碼器-解碼器模型的歷史，重點關(guān)注基于 RNN 的模型。

編碼器-解碼器 - 闡述基于 transformer 的編碼器-解碼器模型，并闡述如何使用該模型進行推理。

編碼器 - 闡述模型的編碼器部分。

解碼器 - 闡述模型的解碼器部分。

每個部分都建立在前一部分的基礎(chǔ)上，但也可以單獨閱讀。這篇分享是第二部分 編碼器-解碼器。如果你還沒有看過 第一部分 背景，可以先讀一讀。

編碼器-解碼器

2017 年，Vaswani 等人引入了 transformer 架構(gòu)，從而催生了 基于 transformer 的編碼器-解碼器模型。

與基于 RNN 的編碼器-解碼器模型類似，基于 transformer 的編碼器-解碼器模型由一個編碼器和一個解碼器組成，且其編碼器和解碼器均由 殘差注意力模塊 (residual attention blocks) 堆疊而成?；?transformer 的編碼器-解碼器模型的關(guān)鍵創(chuàng)新在于: 殘差注意力模塊無需使用循環(huán)結(jié)構(gòu)即可處理長度 可變的輸入序列 。不依賴循環(huán)結(jié)構(gòu)使得基于 transformer 的編碼器-解碼器可以高度并行化，這使得模型在現(xiàn)代硬件上的計算效率比基于 RNN 的編碼器-解碼器模型高出幾個數(shù)量級。

回憶一下，要解決 序列到序列 問題，我們需要找到輸入序列 到變長輸出序列 的映射。我們看看如何使用基于 transformer 的編碼器-解碼器模型來找到這樣的映射。

與基于 RNN 的編碼器-解碼器模型類似，基于 transformer 的編碼器-解碼器模型定義了在給定輸入序列 條件下目標序列 的條件分布:

基于 transformer 的編碼器部分將輸入序列 編碼為 隱含狀態(tài)序列 ，即:

然后，基于 transformer 的解碼器負責建模在給定隱含狀態(tài)序列 的條件下目標向量序列 的概率分布:

根據(jù)貝葉斯法則，該序列分布可被分解為每個目標向量 在給定隱含狀態(tài) 和其所有前驅(qū)目標向量 時的條件概率之積:

因此，在生成 時，基于 transformer 的解碼器將隱含狀態(tài)序列 及其所有前驅(qū)目標向量 映射到 logit 向量 。然后經(jīng)由 softmax 運算對 logit 向量 進行處理，從而生成條件分布 。這個流程跟基于 RNN 的解碼器是一樣的。然而，與基于 RNN 的解碼器不同的是，在這里，目標向量 的分布是 顯式 (或直接) 地以其所有前驅(qū)目標向量 為條件的，稍后我們將詳細介紹。此處第 0 個目標向量 仍表示為 向量。有了條件分布 ，我們就可以??自回歸?生成輸出了。至此，我們定義了可用于推理的從輸入序列 到輸出序列 的映射。

我們可視化一下使用 基于 transformer 的編碼器-解碼器模型 _自回歸_地生成序列的完整過程。

上圖中，綠色為基于 transformer 的編碼器，紅色為基于 transformer 的解碼器。與上一節(jié)一樣，我們展示了如何將表示為的英語句子 “I want to buy a car” 翻譯成表示為的德語句子 “Ich will ein Auto kaufen”。

首先，編碼器將完整的輸入序列 = “I want to buy a car” (由淺綠色向量表示) 處理為上下文相關(guān)的編碼序列 。這里上下文相關(guān)的意思是， 舉個例子 ， 的編碼不僅取決于輸入 = “buy”，還與所有其他詞 “I”、“want”、“to”、“a”、“car” 及 “EOS” 相關(guān)，這些詞即該詞的 上下文 。

接下來，輸入編碼 與 BOS 向量 ( 即 ) 被一起饋送到解碼器。解碼器將輸入 和 ? 變換為第一個 logit (圖中以深紅色顯示)，從而得到第一個目標向量 的條件分布:

然后，從該分布中采樣出第一個目標向量 = (由灰色箭頭表示)，得到第一個輸出后，我們會并將其繼續(xù)饋送到解碼器?，F(xiàn)在，解碼器開始以 = “BOS” 和 ? = “Ich” 為條件來定義第二個目標向量的條件分布 :

再采樣一次，生成目標向量 = “will”。重復(fù)該自回歸過程，直到第 6 步從條件分布中采樣到 EOS:

這里有一點比較重要，我們僅在第一次前向傳播時用編碼器將 映射到 。從第二次前向傳播開始，解碼器可以直接使用之前算得的編碼 。為清楚起見，下圖畫出了上例中第一次和第二次前向傳播所需要做的操作。

可以看出，僅在步驟 時，我們才需要將 “I want to buy a car EOS” 編碼為 。從 開始，解碼器只是簡單地復(fù)用了已生成的編碼。

在 transformers 庫中，這一自回歸生成過程是在調(diào)用 .generate() 方法時在后臺完成的。我們用一個翻譯模型來實際體驗一下。

from?transformers?import?MarianMTModel,?MarianTokenizer

tokenizer?=?MarianTokenizer.from_pretrained("Helsinki-NLP/opus-mt-en-de")
model?=?MarianMTModel.from_pretrained("Helsinki-NLP/opus-mt-en-de")

#?create?ids?of?encoded?input?vectors
input_ids?=?tokenizer("I?want?to?buy?a?car",?return_tensors="pt").input_ids

#?translate?example
output_ids?=?model.generate(input_ids)[0]

#?decode?and?print
print(tokenizer.decode(output_ids))

輸出:

? ??Ich?will?ein?Auto?kaufen

.generate() 接口做了很多事情。首先，它將 input_ids 傳遞給編碼器。然后，它將一個預(yù)定義的標記連同已編碼的 input_ids 一起傳遞給解碼器 (在使用 MarianMTModel 的情況下，該預(yù)定義標記為 )。接著，它使用波束搜索解碼機制根據(jù)最新的解碼器輸出的概率分布 自回歸地采樣下一個輸出詞。更多有關(guān)波束搜索解碼工作原理的詳細信息，建議閱讀 這篇博文。

我們在附錄中加入了一個代碼片段，展示了如何“從頭開始”實現(xiàn)一個簡單的生成方法。如果你想要完全了解 自回歸 生成的幕后工作原理，強烈建議閱讀附錄。

總結(jié)一下:

基于 transformer 的編碼器實現(xiàn)了從輸入序列 到上下文相關(guān)的編碼序列 之間的映射。

基于 transformer 的解碼器定義了條件分布 。

給定適當?shù)慕獯a機制，可以自回歸地從中采樣出輸出序列 。

太好了，現(xiàn)在我們已經(jīng)大致了解了 基于 transformer 的 編碼器-解碼器模型的工作原理。下面的部分，我們將更深入地研究模型的編碼器和解碼器部分。更具體地說，我們將確切地看到編碼器如何利用自注意力層來產(chǎn)生一系列上下文相關(guān)的向量編碼，以及自注意力層如何實現(xiàn)高效并行化。然后，我們將詳細解釋自注意力層在解碼器模型中的工作原理，以及解碼器如何通過 交叉注意力 層以編碼器輸出為條件來定義分布 。在此過程中，基于 transformer 的編碼器-解碼器模型如何解決基于 RNN 的編碼器-解碼器模型的長程依賴問題的答案將變得顯而易見。

可以從 此處 獲取 "Helsinki-NLP/opus-mt-en-de" 的解碼參數(shù)。可以看到，其使用了 num_beams=6 的波束搜索。

敬請關(guān)注其余部分的文章。

編輯：黃飛

?