1 簡介

DeepMind提出的Sparrow，相對于以往的方法，是一種更加有用，準確并且無害的信息檢索對話機器人。

在之前的對話研究中，往往會針對對話的不同方面去設(shè)計對應(yīng)的任務(wù)跟模塊，例如知識性，一致性，長期記憶等等，但是Sparrow則不然，它直接根據(jù)用戶的用戶的反饋進行學習，這樣能盡可能讓模型對齊真實的用戶行為，而不再需要關(guān)注過于瑣碎的諸多對話細節(jié)。

圖1: Sparrow測試樣例

2 Sparrow

整個流程是通過Sparrow模型根據(jù)當前對話生成多個候選回復(fù)，讓用戶去判斷那個回復(fù)最好，哪些回復(fù)違反了預(yù)先設(shè)置好的規(guī)則，基于用戶的反饋去訓練對應(yīng)的Reward模型，利用訓練好的Reward模型，用強化學習算法再去優(yōu)化Sparrow的生成結(jié)果。

圖2:Sparrow框架

Reward

Sparrow學習的用戶反饋分為兩種，一種用戶判斷對話是否違背某些預(yù)設(shè)置好的規(guī)則，另一種的是從用戶根據(jù)當前對話從個候選答案里選擇最合適的一個。這兩種反饋分為對應(yīng)兩個不同的模型，Rule reward model跟Preference reward model。

對于Rule reward model，首先需要根據(jù)任務(wù)自定義對應(yīng)的一些規(guī)則，例如判斷機器人是否在回答用戶問題，話題是否變化等等，規(guī)則樣例如下圖所示。在具體訓練數(shù)據(jù)構(gòu)造時，用戶在給定對話條件下，還會給某個特定規(guī)則，讓用戶有意識的引導機器人去違反對應(yīng)的規(guī)則，然后再由用戶評估機器人回復(fù)是否違反對應(yīng)的規(guī)則。

之所以采用這種方式是為了更高效的積累到高質(zhì)量樣本。用構(gòu)造好的訓練數(shù)據(jù)訓練對應(yīng)的分類模型，判斷機器人回復(fù)是否違反對應(yīng)的規(guī)則，每個規(guī)則對應(yīng)一個分類模型，彼此獨立。



圖3:規(guī)則示例

對于Preference reward model，在給定當前對話條件下，利用多種方式生成多個候選答案（通過是否引入知識檢索，不同生成模型，不同prompt，不同采樣策略），讓用戶從中選擇最合適的答案。利用這些構(gòu)造好的數(shù)據(jù)訓練可以得到對應(yīng)的分類模型，判斷用戶對于當前回復(fù)的傾向。

以下圖為例，共有8個候選答案，其中前四個是不不經(jīng)過知識檢索直接生成的，后面四個是通過兩個不同的檢索query進行知識檢索，將得到的檢索結(jié)果跟當前對話合并再一起后再生成回復(fù)的。

圖4: 回復(fù)生成流程

Reranking

當上述兩個Reward模型給候選答案生成對應(yīng)的得分后，通過一個重排機制綜合考慮兩者的得分可以進一步優(yōu)化對話機器人的性能。

Evidence

前面提及的答案生成是可以通過知識檢索，根據(jù)當前上下文生成對應(yīng)的query，利用Google進行搜索，將得到的結(jié)果跟當前對話信息組合，然后再生成對應(yīng)的回復(fù)。之前也寫過一些相關(guān)的文章，有興趣可以自行查看文本生成系列之retrieval augmentation（思考篇）。

Reinforcement learning

這里強化學習每一步的狀態(tài)是當前的對話上下文，action是具體的token，利用前面提及的rule reward model跟preference reward model來給action打出對應(yīng)的reward得分，從而優(yōu)化Sparrow的輸出結(jié)果。在強化學習訓練過程中，如果機器人生成的回復(fù)reward超過預(yù)期的話，就會把當前對話上下文+機器人回復(fù)作為新的訓練數(shù)據(jù)加入到語料中，擴充訓練語料庫。

圖5: 強化學習流程

3 總結(jié)

個人認為，Sparrow對話機器人，最大的特色在于直接對用戶的反饋進行學習，那樣就不需要為對話各種瑣碎細節(jié)去設(shè)計不同的模塊跟任務(wù)，把決策權(quán)進一步交給模型，讓模型自己去學，而對于那些機器人可能學不好的地方，通過預(yù)先定義的規(guī)則去構(gòu)造對應(yīng)的訓練數(shù)據(jù)，讓模型自己去補全。By the way, 可以好好期待一波ChatGPT了。

審核編輯：劉清