【編者按】Microsoft Semantic Machines資深研究科學(xué)家、UC Berkeley計(jì)算機(jī)科學(xué)博士Jacob Andreas討論了基于部分可觀察馬爾可夫決策過(guò)程思考自然語(yǔ)言處理和強(qiáng)化學(xué)習(xí)問(wèn)題的一些想法。

AI研究應(yīng)該操心話語(yǔ)含義的明確表示嗎？我這里說(shuō)的“含義的明確表示”指具備預(yù)定義的解釋的結(jié)構(gòu)化變量——語(yǔ)義學(xué)家關(guān)心的那類(lèi)事情。長(zhǎng)期以來(lái)，這樣的含義表示一直是將語(yǔ)義與其他任務(wù)連接起來(lái)的成功努力的中心，這些任務(wù)涉及推理、感知、行動(dòng)（從SHRDLU到現(xiàn)代語(yǔ)義解析器）。另外，長(zhǎng)期以來(lái)，結(jié)構(gòu)化的含義表示同時(shí)也是一些不成功的工作的中心，這些工作包括機(jī)器翻譯、句法等。這種表示使用了許多不同的表示形式化系統(tǒng)——新戴維森邏輯形式（AZ13），組合子邏輯（LJK11），其他非邏輯結(jié)構(gòu)（TK+11）——不過(guò)，從某種角度上來(lái)說(shuō)，它們基本上都屬于基于預(yù)測(cè)-論據(jù)結(jié)構(gòu)實(shí)現(xiàn)的模型-理論語(yǔ)義，也許預(yù)言主體有幾個(gè)自由變量。

這類(lèi)方法看起來(lái)正在消失?，F(xiàn)在所有一切都是端到端的，接受手工設(shè)計(jì)的邏輯語(yǔ)言的值，帶有這樣的顯式潛變量的模型非常罕見(jiàn)。話語(yǔ)傳入模型，模型產(chǎn)生行為，我們并不怎么操心中間進(jìn)行的運(yùn)算的結(jié)構(gòu)。從某種標(biāo)準(zhǔn)上來(lái)說(shuō)，這是一件好事：在更形式化的方法中，機(jī)器學(xué)習(xí)和表示的緊密耦合意味著，數(shù)據(jù)中出現(xiàn)新的語(yǔ)義現(xiàn)象導(dǎo)致模型突然變得無(wú)用的風(fēng)險(xiǎn)始終存在。足夠一般的學(xué)習(xí)表示的機(jī)制（非邏輯）讓這一風(fēng)險(xiǎn)不那么可怕了。當(dāng)然，在舊模型中毫不費(fèi)力就能得到的一些特定種類(lèi)的概括和歸納偏置，我們尚未完全搞清楚如何重建。不過(guò)，結(jié)構(gòu)化正則器（OS+17）和我們的NMN工作（AR+16）這樣的混合方法的成功，暗示我們將逐漸達(dá)到這一步。

但是端到端世界的態(tài)度看起來(lái)是，既然我們不再進(jìn)行邏輯推理，那么我們完全沒(méi)有必要考慮含義。突然之間，所有人都喜歡稱引維特根斯坦，主張我們應(yīng)該以下游任務(wù)的成功來(lái)評(píng)估“語(yǔ)言理解”，而不是通過(guò)預(yù)測(cè)正確的邏輯形式（WLM16、GM16、LPB16）——這很棒！——但是這背后似乎有這么一種哲學(xué)：“含義即使用，所以如果我們能以很高的精確度預(yù)測(cè)使用，那么我們就已經(jīng)理解了我們需要理解的關(guān)于含義的一切”。特別是考慮到我們實(shí)際上并沒(méi)有解決“使用”，我認(rèn)為機(jī)器學(xué)習(xí)在等式的含義這邊有很多需要學(xué)、需要說(shuō)的。而且我從不認(rèn)為這是維特根斯坦《哲學(xué)研究》中的主張——就算使用（而不是指代）是我們應(yīng)該嘗試解釋的主要內(nèi)容，《哲學(xué)研究》則對(duì)依據(jù)哪種語(yǔ)言使用是可能的判斷~~心智表示~~過(guò)程表示特別感興趣。

本文的主張是，p(世界狀態(tài)|話語(yǔ))形式的信念狀態(tài)的明確表示，適合作為“非結(jié)構(gòu)”機(jī)器學(xué)習(xí)模型的含義表示。這類(lèi)表示很自然地源于社區(qū)最近熱衷的決策任務(wù)，但也和語(yǔ)言學(xué)的經(jīng)典表示理論很像。這一綜合暗示了同時(shí)訓(xùn)練和解釋語(yǔ)言處理模型的道路。

信念狀態(tài)和內(nèi)涵

考慮這樣一個(gè)問(wèn)題，在部分觀察的世界中，通過(guò)和人們交談降低不確定性，決定如何行動(dòng)。你應(yīng)該如何選擇應(yīng)該采取的最佳行動(dòng)？給定單一話語(yǔ)w，可能真實(shí)的世界狀態(tài)x，就某風(fēng)險(xiǎn)函數(shù)R而言，最小化貝葉斯風(fēng)險(xiǎn)的行動(dòng)為：

任何希望在這個(gè)世界成功的聽(tīng)話人需要至少成功地逼近這一優(yōu)化問(wèn)題的解，在實(shí)踐中，聽(tīng)話人大概需要表示分布p(x|w)，至少隱式地表示。在POMDP中，我們稱p(x|w)為信念狀態(tài)；對(duì)一給定w而言，這是一個(gè)映射可能世界x至變量可信度判斷的函數(shù)——給定我們觀察到某人說(shuō)了w這一事實(shí)，x是真實(shí)世界的可能性有多大？

和蒙塔古語(yǔ)義學(xué)中的內(nèi)涵概念對(duì)比一下：“映射可能世界和時(shí)刻至真值的函數(shù)”（J11）。大多數(shù)（模型-理論）語(yǔ)義程序使用邏輯表達(dá)式（而不是表格）表示內(nèi)涵。但邏輯形式只不過(guò)是表達(dá)類(lèi)型正確的函數(shù)的一種方式；在蒙塔古傳統(tǒng)下，“含義的明確表示”正是內(nèi)涵——類(lèi)似p(x|w)的離散版。

信念狀態(tài)是包含概率的內(nèi)涵。含義的內(nèi)涵表示很有用，不僅是因?yàn)樗鼈冇兄诮鉀Q語(yǔ)言學(xué)問(wèn)題，還因?yàn)樗鼈儽平粋€(gè)量，我們知道，這個(gè)量有助于語(yǔ)言使用者利用從語(yǔ)言中獲取的信息進(jìn)行有用之事。另一方面，POMDP告訴我們，我們需要在聽(tīng)到話語(yǔ)后進(jìn)行的計(jì)算，差不多是語(yǔ)言學(xué)家至始自終告訴我們需要計(jì)算的東西?；蛘?，幾乎就是語(yǔ)言學(xué)習(xí)家已經(jīng)告訴我們的東西——比起回答p(x|w)請(qǐng)求的黑箱，如果是帶一點(diǎn)結(jié)構(gòu)的東西就更好了，也許是某種分解表示，讓我們可以通過(guò)檢查所有可信世界共有的一組屬性高效地找出MBR行動(dòng)。也許是關(guān)于個(gè)體的斷言、他們的性質(zhì)、他們之間的關(guān)系……等的乘積。要是邏輯語(yǔ)義學(xué)不存在的話，我們將不得不發(fā)明它。

準(zhǔn)確地說(shuō)，作為“含義”的p(x|w)應(yīng)該理解為聽(tīng)話人含義：已經(jīng)計(jì)入格萊斯說(shuō)話人含義類(lèi)型效應(yīng)（寓意）以及說(shuō)話人也許不想讓聽(tīng)話人進(jìn)行的進(jìn)一步推理（例如，w是謊言的概率）的精確信念狀態(tài)。我們這里不在乎p(x|w)來(lái)自何處，所以也許可以通過(guò)RSA之類(lèi)的技術(shù)計(jì)算（使用不同的內(nèi)嵌句含義概念）（FG12）。

最后一項(xiàng)調(diào)整：現(xiàn)實(shí)世界聽(tīng)話人并不從白板開(kāi)始：所有話語(yǔ)都基于現(xiàn)存信念狀態(tài)p(x)的上下文進(jìn)行解讀，與其將句子的含義直接視作p(x|w)，不如將其視作一個(gè)更新函數(shù)p(x) ? p(x∣w)。就“Pat loves Lou”這樣的句子而言，我想這一更新基本上一直是連續(xù)的；即p(x) ? (1/Z)?p(x)?p(x∣w). 但要處理指示詞和Quine問(wèn)題中bachelor的含義（譯者注：bachelor既可以指學(xué)士，也可以指單身漢），我們需要更新函數(shù)的一般版本。

實(shí)際影響

這些都很好，不過(guò)我們注意到明確指稱含義表示（邏輯、概率或其他形式）并沒(méi)有在實(shí)踐中表現(xiàn)良好的那些模型中得到應(yīng)用。所以這有什么可在意的？

語(yǔ)言理解系統(tǒng)要想工作良好，必定選擇了類(lèi)似最小貝葉斯風(fēng)險(xiǎn)的行動(dòng)。奧妙在于：深度網(wǎng)絡(luò)的后綴是一個(gè)通過(guò)固定回路轉(zhuǎn)換輸入表示至輸出行動(dòng)的函數(shù)；如果這個(gè)后綴可以為每個(gè)輸入表示選擇良好的行動(dòng)，那么它實(shí)際上實(shí)現(xiàn)了類(lèi)似MBR解碼算法的東西（盡管也許只是逼近，同時(shí)在表示的經(jīng)驗(yàn)分布上特化）；呈現(xiàn)給這一部分網(wǎng)絡(luò)的語(yǔ)言上下文表示必須足以解決優(yōu)化問(wèn)題，所以會(huì)是類(lèi)似p(x|w)表示的東西。

這不是一個(gè)很好的論據(jù)：模型的“句子表示”和“優(yōu)化”部分之間可能實(shí)際上沒(méi)有明顯的界限。但在實(shí)踐中，我們確實(shí)看到了含義類(lèi)的句子表示出現(xiàn)（特別是在句子表示獨(dú)立于聽(tīng)話人具備的關(guān)于世界狀態(tài)的初始信息計(jì)算的模型中（DP+18））。當(dāng)在較大規(guī)模網(wǎng)絡(luò)中使用專門(mén)化的優(yōu)化模塊時(shí)（TW+17、LFK18），我們可以很明確地看到兩者的差別。

在任何情形下，我們模型的某種中間表示解碼（或應(yīng)該能解碼）知識(shí)為世界狀態(tài)分布，并為我們提供了兩種工具：

可解釋性：通過(guò)估計(jì)p(x|rep(w))可以測(cè)試表示是否捕捉了正確的語(yǔ)義（或者識(shí)別表示捕捉了什么奇異的不規(guī)則性），其中rep(w)是模型學(xué)習(xí)到的話語(yǔ)w的表示。判斷這是否對(duì)應(yīng)于w的真實(shí)（即人類(lèi)聽(tīng)話人的）指稱。我們發(fā)表的一些論文（ADK17、AK17）在這一技術(shù)上取得了一些進(jìn)展。我們組的其他一些學(xué)生使用這一技術(shù)分析遵循指令的模型的預(yù)訓(xùn)練方案。不過(guò)，某種程度上，應(yīng)用這一技術(shù)學(xué)習(xí)自然語(yǔ)言自身的表示要比應(yīng)用于學(xué)習(xí)到的消息/抽象行動(dòng)的空間更加自然。

輔助目標(biāo)：指令遵循/QA問(wèn)題的一般目標(biāo)是p(行動(dòng)|話語(yǔ), 聽(tīng)話人觀測(cè))。不過(guò)，如果碰到了過(guò)擬合問(wèn)題，在說(shuō)話人觀測(cè)可用的情況下，可以直接加上一項(xiàng)p(說(shuō)話人觀測(cè), 聽(tīng)話人觀測(cè)|話語(yǔ))。對(duì)某些問(wèn)題而言（例如GeoQuery類(lèi)的語(yǔ)義解析），在“說(shuō)話人觀測(cè)”和“行動(dòng)”之間不存在有意義的差別；對(duì)另一些問(wèn)題而言，這看起來(lái)像是完全不同的學(xué)習(xí)問(wèn)題。在指代表達(dá)任務(wù)中，指稱輔助問(wèn)題是“生成/獲取圖像對(duì)，在這一對(duì)對(duì)圖像之間，這將是不同的描述”；在指令遵循模型中，它是“生成目標(biāo)狀態(tài)（但未必是能讓我到達(dá)那里的行動(dòng)）”。

結(jié)語(yǔ)

在語(yǔ)言任務(wù)中思考POMDP風(fēng)格的解答，我們得到了疑似模型-理論語(yǔ)義學(xué)中的含義的描述。這一類(lèi)比提供了解釋學(xué)習(xí)到的模型的工具，并暗示了提升模型精確度的輔助目標(biāo)。