RL算法由于獎勵不明確，智能體可能會收到“利用環(huán)境中的虛假模式”的正反饋，這就有可能導致獎勵黑客攻擊。谷歌提出了使用開發(fā)元獎勵學習（MeRL）來解決未指定獎勵的問題，通過優(yōu)化輔助獎勵函數(shù)向智能體提供更精確的反饋。

強化學習（RL）為優(yōu)化面向目標的行為,提供了統(tǒng)一且靈活的框架。

并且在解決諸如：玩視頻游戲、連續(xù)控制和機器人學習等具有挑戰(zhàn)性的任務方面，取得了顯著成功。

RL算法在這些應用領(lǐng)域的成功，往往取決于高質(zhì)量和密集獎勵反饋的可用性。

然而，將RL算法的適用性，擴展到具有稀疏和未指定獎勵的環(huán)境，是一個持續(xù)的挑戰(zhàn)。

需要學習智能體從有限的反饋中，概括例如如何學習正確行為的問題。

在這種問題設置中研究RL算法性能的一種自然方法，是通過自然語言理解任務。

為智能體提供自然語言輸入，并且需要生成復雜的響應，以實現(xiàn)輸入過程中指定的目標，同時僅接收“成功-失敗”的反饋。

例如一個“盲”智能體，任務是通過遵循一系列自然語言命令（例如，“右，上，上，右”）到達迷宮中的目標位置。

給定輸入文本，智能體（綠色圓圈）需要解釋命令，并基于這種解釋采取動作以生成動作序列（a）。

如果智能體人達到目標（紅色星級），則獲得1的獎勵，否則返回0。

由于智能體無法訪問任何可視信息，因此智能體解決此任務，并概括為新指令的唯一方法，是正確解釋指令。

在這些任務中，RL智能體需要學習從稀疏（只有少數(shù)軌跡導致非零獎勵）和未指定（無目的和意外成功之間的區(qū)別）獎勵。

重要的是，由于獎勵不明確，智能體可能會收到“利用環(huán)境中的虛假模式”的正反饋，這就有可能導致獎勵黑客攻擊，在實際系統(tǒng)中部署時會導致意外和有害的行為。

在“學習從稀疏和未指定的獎勵中進行概括”中，使用開發(fā)元獎勵學習（MeRL）來解決未指定獎勵的問題，通過優(yōu)化輔助獎勵函數(shù)向智能體提供更精確的反饋。

《Learning to Generalize from Sparse and Underspecified Rewards》論文地址：

https://arxiv.org/abs/1902.07198

MeRL與使用“新探索策略收集到成功軌跡”的記憶緩沖區(qū)相結(jié)合，從而通過稀疏獎勵學習。

這個方法的有效性在語義分析中得到證明，其目標是學習從自然語言到邏輯形式的映射（例如，將問題映射到SQL程序）。

本文研究了弱監(jiān)督問題設置，其目標是從問答配對中自動發(fā)現(xiàn)邏輯程序，而不需要任何形式的程序監(jiān)督。

例如下圖中找出“哪個國家贏得最多銀牌？”，智能體需要生成類似SQL的程序，以產(chǎn)生正確的答案（即“尼日利亞”）。

所提出的方法在WikiTableQuestions和WikiSQL基準測試中實現(xiàn)了最先進的結(jié)果，分別將先前的工作提升了1.2％和2.4％。

MeRL自動學習輔助獎勵函數(shù)，而無需使用任何專家演示（例如，ground-truth計劃），使其更廣泛適用并且與先前的獎勵學習方法不同。

高級概述：

元獎勵學習（MeRL）

MeRL在處理不明確獎勵方面發(fā)現(xiàn)，虛假軌跡和實現(xiàn)意外成功的程序，對智能體的泛化性能不利。

例如，智能體可能解決上述迷宮問題的特定實例。但是，如果它在訓練期間學會執(zhí)行虛假動作，提供看不見的指令則可能導致其失敗。

為了緩解這個問題，MeRL優(yōu)化了更精確的輔助獎勵函數(shù)，可以根據(jù)行動軌跡的特征區(qū)分意外、或非意外的成功。

通過元學習最大化訓練的智能體在保持驗證集上的表現(xiàn)，來優(yōu)化輔助獎勵。

從稀疏獎勵中學習

要從稀疏的獎勵中學習，有效的探索如何找到一組成功軌跡，至關(guān)重要。

論文通過利用Kullback-Leibler（KL）發(fā)散的兩個方向來解決這一挑戰(zhàn)，這是一種衡量兩種不容概率分布的方法。

在下面的示例中，使用KL散度來最小化固定雙峰（陰影紫色）和學習高斯（陰影綠色）分布之間的差異，這可以分別代表智能體的最優(yōu)策略分布，和學習的策略的分布。

KL對象的一個學習方向，試圖覆蓋兩種模式的分布，而其他目標學習的分布，則在尋求特定模式（即，它更喜歡A模式而不是B模式）。

我們的方法利用模式覆蓋了KL關(guān)注多個峰值以收集多樣化的成功軌跡和模式的傾向，尋求KL在軌跡之間的隱含偏好，以學習強有力的策略。

結(jié)論

設計區(qū)分最佳和次優(yōu)行為的獎勵函數(shù)對于將RL應用于實際應用程序至關(guān)重要。

這項研究在沒有任何人為監(jiān)督的情況下向獎勵函數(shù)建模方向邁出了一小步。

在未來的工作中，我們希望從自動學習密集獎勵函數(shù)的角度解決RL中的信用分配問題。

致謝

這項研究是與Chen Liang和Dale Schuurmans合作完成的。 我們感謝Chelsea Finn和Kelvin Guu對該論文的評論。