一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

谷歌最近提出一種新的強化學(xué)習(xí)算法:模擬策略學(xué)習(xí) (SimPLe)

DPVg_AI_era ? 來源:lp ? 2019-03-29 10:17 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

谷歌最近提出一種新的強化學(xué)習(xí)算法模擬策略學(xué)習(xí) (SimPLe) ,使用游戲模型來學(xué)習(xí)選擇動作的策略,在兩款A(yù)tari游戲中獲得了最高分數(shù),并且效率比以前的最先進方法高出2倍以上。

深度強化學(xué)習(xí)(RL)技術(shù)可用于從視覺輸入中學(xué)習(xí)復(fù)雜任務(wù)的策略,并已成功地應(yīng)用于經(jīng)典的Atari 2600游戲。最近在這一領(lǐng)域的工作表明,即使在具有挑戰(zhàn)性的探索體系中,例如《蒙特祖瑪?shù)膹?fù)仇》游戲,AI也可以獲得超越人類的表現(xiàn)。

然而,許多最先進的方法都有的一個限制是,它們需要與游戲環(huán)境進行大量的交互,通常比人類學(xué)習(xí)如何玩好游戲所需要的交互要多得多。

為什么人類能更有效地學(xué)習(xí)這些任務(wù)?一個可能的假設(shè)是,他們能夠預(yù)測自己行為的影響,從而隱式地學(xué)習(xí)了一個關(guān)于哪些動作序列將導(dǎo)致理想結(jié)果的模型。

這種一般性的想法——構(gòu)建一個所謂的游戲模型,并使用它來學(xué)習(xí)選擇行動的良好策略——是基于模型的強化學(xué)習(xí)(model-based reinforcement learning, MBRL)的主要前提。

Google的研究人員最近提出一種新的MBRL算法——模擬策略學(xué)習(xí)(Simulated Policy Learning, SimPLe),使用游戲模型來學(xué)習(xí)選擇動作的質(zhì)量策略。

SimPLe比當(dāng)前最先進的技術(shù)更高效,并且僅使用了~100K與游戲的交互即可顯示出有競爭力的結(jié)果(相當(dāng)于一個人約2小時的實時玩游戲)。

研究人員在論文“Model-Based Reinforcement Learning for Atari”中描述了該算法,并已將代碼作為tensor2tensor開源庫的一部分開源。該版本包含一個預(yù)訓(xùn)練的世界模型,可以使用簡單的命令行運行,并且可以使用類似于Atari的界面播放。

學(xué)習(xí)一個SimPLe世界模型

SimPLe背后的想法是在學(xué)習(xí)游戲行為的世界模型和在模擬游戲環(huán)境中使用該模型優(yōu)化策略(使用model-free強化學(xué)習(xí))之間進行交替。該算法的基本原理已經(jīng)在Sutton的“Dyna, an integrated architecture for learning, planning, and reacting”中很好地建立起來,并且已經(jīng)應(yīng)用到許多最近的基于模型的強化學(xué)習(xí)方法中。

SimPLe的主循環(huán)。1) agent開始與真實環(huán)境交互。2)收集的觀測結(jié)果用于更新當(dāng)前的世界模型。3) agent通過學(xué)習(xí)世界模型更新策略。

為了訓(xùn)練一個玩Atari游戲的模型,我們首先需要在像素空間中生成合理的未來版本。換句話說,我們通過將一系列已經(jīng)觀察到的幀和給到游戲的命令(如“左”、“右”等)作為輸入,來試圖預(yù)測下一幀會是什么樣子。在觀察空間中訓(xùn)練一個世界模型的一個重要原因在于,它實際上是一種自我監(jiān)督的形式,在我們的例子中,觀察(像素)形成了一個密集且豐富的監(jiān)督信號。

如果成功地訓(xùn)練了這樣一個模型(如一個視頻預(yù)測器),則基本上有了一個游戲環(huán)境的學(xué)習(xí)模擬器(learned simulator),可用于生成用來訓(xùn)練良好策略的軌跡,即選擇一系列使智能體的長期獎勵最大化的動作。

換句話說,我們不是在真實游戲的操作序列上訓(xùn)練策略,這在實踐和計算上都非常密集,而是在來自世界模型/學(xué)習(xí)模擬器的序列之上訓(xùn)練策略。

我們的世界模型是一個前饋卷積網(wǎng)絡(luò),它接收4個幀,并預(yù)測下一幀以及獎勵(見上圖)。然而,在Atari游戲的情況下,只考慮4幀的視界的話,未來是非確定性的。例如,游戲中的暫停時間就已經(jīng)超過四幀,比如在《乒乓球》(Pong)游戲中,當(dāng)球掉出框時,可能會導(dǎo)致模型無法成功預(yù)測后續(xù)的幀。我們使用一種新的視頻模型架構(gòu)來處理諸如此類的隨機性問題,在這種情況下能做得更好。

當(dāng)SimPle模型應(yīng)用于《成龍?zhí)唣^》(Kung Fu Master)游戲時,可以看到一個由隨機性引起的問題的例子。在動畫中,左邊是模型的輸出,中間是groundtruth,右邊是兩者之間的像素差異。在這里,模型的預(yù)測由于產(chǎn)生了不同數(shù)量的對手而偏離了真實游戲。

在每次迭代中,在訓(xùn)練好世界模型之后,我們使用這個learned simulator來生成用于使用近似策略優(yōu)化(PPO)算法改進游戲策略的rollouts(即動作、觀察和結(jié)果的樣本序列)。

SimPLe工作的一個重要細節(jié)是,rollouts的采樣是從實際數(shù)據(jù)集幀開始的。由于預(yù)測錯誤通常會隨著時間的推移而增加,使長期預(yù)測變得非常困難,因此SimPLe只使用中等長度的rollouts。幸運的是,PPO算法也可以從其內(nèi)部價值函數(shù)中學(xué)習(xí)動作和獎勵之間的長期影響,因此有限長度的rollouts對于像《Freeway》這樣獎勵稀疏的游戲來說也是足夠的。

SimPLe的效率:比其他方法高2倍以上

衡量成功的一個標(biāo)準(zhǔn)是證明該模型是高效的。為此,我們在與環(huán)境進行了100K次交互之后,評估了我們的策略輸出,這相當(dāng)于一個人玩了大約兩個小時的實時游戲。

我們將SimPLe方法與兩種最先進的model-free RL方法:Rainbow和PPO,進行了比較。在大多數(shù)情況下,SimPLe方法的采樣效率比其他方法高出兩倍以上。

和我們SimPLe方法取得的得分匹配的話,兩種model-free算法所需的交互次數(shù)(左- Rainbow;右-PPO)。紅線表示我們的方法使用的交互次數(shù)。

SimPLe的成功:2款游戲獲得最高分

SimPLe方法的一個令人興奮的結(jié)果是,對于Pong和Freeway這兩款游戲,在模擬環(huán)境中訓(xùn)練的智能體能夠獲得最高分數(shù)。下面是智能體使用為Pong游戲?qū)W習(xí)的模型玩游戲的視頻:

對于Freeway、Pong和Breakout這3款游戲,SimPLe可以生成50步以內(nèi)的近乎完美的像素預(yù)測,如下圖所示。

SimPLe可以在Breakout(上圖)和Freeway(下圖)生成幾乎完美的像素預(yù)測。在每個動畫中,左邊是模型的輸出,中間是groundtruth,右邊是兩者之間的像素差異。

SimPLe的局限

SimPLe的預(yù)測并不總是正確的。最常見的失敗是由于世界模型沒有準(zhǔn)確地捕獲或預(yù)測小但高度相關(guān)的對象。

例如:(1)在《Atlantis》和《Battlezone》游戲中,子彈是如此之小,以至于它們往往會消失不見;(2)《Private Eye》游戲中,agent穿越不同的場景,從一個場景傳送到另一個場景。我們發(fā)現(xiàn),我們的模型通常很難捕捉到如此巨大的全局變化。

在《Battlezone》中,我們發(fā)現(xiàn)模型很難預(yù)測小但高度相關(guān)的部分,比如子彈。

結(jié)論

model-based的強化學(xué)習(xí)方法的主要前景是在交互要么成本高昂、速度緩慢,要么需要人工標(biāo)記的環(huán)境中,比如許多機器人任務(wù)。在這樣的環(huán)境中,一個learned simulator能夠更好地理解智能體的環(huán)境,并能夠為執(zhí)行多任務(wù)強化學(xué)習(xí)提供新的、更好、更快的方法。

雖然SimPLe還沒有達到標(biāo)準(zhǔn)的model-free RL方法的性能,但它的效率要高很多。我們期望未來的工作能夠進一步提高model-based的技術(shù)的性能。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6231

    瀏覽量

    108158
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4710

    瀏覽量

    95405
  • 強化學(xué)習(xí)
    +關(guān)注

    關(guān)注

    4

    文章

    269

    瀏覽量

    11604

原文標(biāo)題:谷歌提出強化學(xué)習(xí)新算法SimPLe,模擬策略學(xué)習(xí)效率提高2倍

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    NVIDIA Isaac Lab可用環(huán)境與強化學(xué)習(xí)腳本使用指南

    Lab 是個適用于機器人學(xué)習(xí)的開源模塊化框架,其模塊化高保真仿真適用于各種訓(xùn)練環(huán)境,Isaac Lab 同時支持模仿學(xué)習(xí)(模仿人類)和強化學(xué)習(xí)(在嘗試和錯誤中進行
    的頭像 發(fā)表于 07-14 15:29 ?565次閱讀
    NVIDIA Isaac Lab可用環(huán)境與<b class='flag-5'>強化學(xué)習(xí)</b>腳本使用指南

    18個常用的強化學(xué)習(xí)算法整理:從基礎(chǔ)方法到高級模型的理論技術(shù)與代碼實現(xiàn)

    本來轉(zhuǎn)自:DeepHubIMBA本文系統(tǒng)講解從基本強化學(xué)習(xí)方法到高級技術(shù)(如PPO、A3C、PlaNet等)的實現(xiàn)原理與編碼過程,旨在通過理論結(jié)合代碼的方式,構(gòu)建對強化學(xué)習(xí)算法的全面理解。為確保內(nèi)容
    的頭像 發(fā)表于 04-23 13:22 ?418次閱讀
    18個常用的<b class='flag-5'>強化學(xué)習(xí)</b><b class='flag-5'>算法</b>整理:從基礎(chǔ)方法到高級模型的理論技術(shù)與代碼實現(xiàn)

    永磁同步電機二階迭代學(xué)習(xí)控制

    針對永磁同步電機存在的周期性脈動問題,提出一種二階 PD-型迭代學(xué)習(xí)控制策略,該算法能夠 有效實現(xiàn)最優(yōu)跟蹤控制 。利用卷積的推廣 You
    發(fā)表于 03-26 14:28

    詳解RAD端到端強化學(xué)習(xí)后訓(xùn)練范式

    受限于算力和數(shù)據(jù),大語言模型預(yù)訓(xùn)練的 scalinglaw 已經(jīng)趨近于極限。DeepSeekR1/OpenAl01通過強化學(xué)習(xí)后訓(xùn)練涌現(xiàn)了強大的推理能力,掀起新輪技術(shù)革新。
    的頭像 發(fā)表于 02-25 14:06 ?602次閱讀
    詳解RAD端到端<b class='flag-5'>強化學(xué)習(xí)</b>后訓(xùn)練范式

    淺談適用規(guī)模充電站的深度學(xué)習(xí)有序充電策略

    應(yīng)用強化學(xué)習(xí)算法求解電動汽車有序充電策略,可以有效減少充電場站的充電成本,同時使模型訓(xùn)練難度不受電動汽車規(guī)模影響。
    的頭像 發(fā)表于 02-08 15:00 ?541次閱讀
    淺談適用規(guī)模充電站的深度<b class='flag-5'>學(xué)習(xí)</b>有序充電<b class='flag-5'>策略</b>

    華為云 Flexus X 實例部署安裝 Jupyter Notebook,學(xué)習(xí) AI,機器學(xué)習(xí)算法

    前言 由于本人最近在學(xué)習(xí)些機器算法,AI 算法的知識,需要搭建學(xué)習(xí)環(huán)境,所以就在
    的頭像 發(fā)表于 01-02 13:43 ?540次閱讀
    華為云 Flexus X 實例部署安裝 Jupyter Notebook,<b class='flag-5'>學(xué)習(xí)</b> AI,機器<b class='flag-5'>學(xué)習(xí)</b><b class='flag-5'>算法</b>

    螞蟻集團收購邊塞科技,吳翼出任強化學(xué)習(xí)實驗室首席科學(xué)家

    領(lǐng)域的研究與發(fā)展。令人矚目的是,邊塞科技的創(chuàng)始人吳翼已正式加入該實驗室,并擔(dān)任首席科學(xué)家職。 吳翼在其個人社交平臺上對這變動進行了回應(yīng)。他表示,自己最近接受了螞蟻集團的邀請,負責(zé)大模型強化
    的頭像 發(fā)表于 11-22 11:14 ?1586次閱讀

    NPU與機器學(xué)習(xí)算法的關(guān)系

    在人工智能領(lǐng)域,機器學(xué)習(xí)算法是實現(xiàn)智能系統(tǒng)的核心。隨著數(shù)據(jù)量的激增和算法復(fù)雜度的提升,對計算資源的需求也在不斷增長。NPU作為一種專門為深度學(xué)習(xí)
    的頭像 發(fā)表于 11-15 09:19 ?1228次閱讀

    NPU在深度學(xué)習(xí)中的應(yīng)用

    設(shè)計的硬件加速器,它在深度學(xué)習(xí)中的應(yīng)用日益廣泛。 1. NPU的基本概念 NPU是一種專門針對深度學(xué)習(xí)算法優(yōu)化的處理器,它與傳統(tǒng)的CPU和GPU有所不同。NPU通常具有高度并行的處理能
    的頭像 發(fā)表于 11-14 15:17 ?1922次閱讀

    一種基于深度學(xué)習(xí)的二維拉曼光譜算法

    近日,天津大學(xué)精密儀器與光電子工程學(xué)院的光子芯片實驗室提出一種基于深度學(xué)習(xí)的二維拉曼光譜算法,成果以“Rapid and accurate bacteria identificati
    的頭像 發(fā)表于 11-07 09:08 ?743次閱讀
    <b class='flag-5'>一種</b>基于深度<b class='flag-5'>學(xué)習(xí)</b>的二維拉曼光譜<b class='flag-5'>算法</b>

    如何使用 PyTorch 進行強化學(xué)習(xí)

    強化學(xué)習(xí)(Reinforcement Learning, RL)是一種機器學(xué)習(xí)方法,它通過與環(huán)境的交互來學(xué)習(xí)如何做出決策,以最大化累積獎勵。PyTorch 是
    的頭像 發(fā)表于 11-05 17:34 ?1043次閱讀

    AI大模型與深度學(xué)習(xí)的關(guān)系

    AI大模型與深度學(xué)習(xí)之間存在著密不可分的關(guān)系,它們互為促進,相輔相成。以下是對兩者關(guān)系的介紹: 、深度學(xué)習(xí)是AI大模型的基礎(chǔ) 技術(shù)支撐 :深度學(xué)習(xí)
    的頭像 發(fā)表于 10-23 15:25 ?2900次閱讀

    【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 第、二章學(xué)習(xí)感受

    常用的機器學(xué)習(xí)算法,重點剖析了元線性回歸算法,由此引出機器學(xué)習(xí)算法的運算特征,此后分別描述了使
    發(fā)表于 10-10 10:36

    谷歌AlphaChip強化學(xué)習(xí)工具發(fā)布,聯(lián)發(fā)科天璣芯片率先采用

    近日,谷歌在芯片設(shè)計領(lǐng)域取得了重要突破,詳細介紹了其用于芯片設(shè)計布局的強化學(xué)習(xí)方法,并將該模型命名為“AlphaChip”。據(jù)悉,AlphaChip有望顯著加速芯片布局規(guī)劃的設(shè)計流程,并幫助芯片在性能、功耗和面積方面實現(xiàn)更優(yōu)表現(xiàn)。
    的頭像 發(fā)表于 09-30 16:16 ?705次閱讀

    一種完全分布式的點線協(xié)同視覺慣性導(dǎo)航系統(tǒng)

    在本文中,我們提出一種完全分布式的點線協(xié)同視覺慣性導(dǎo)航系統(tǒng)。我們通過蒙特卡羅模擬和真實環(huán)境數(shù)據(jù)集,在稠密特征或稀疏特征環(huán)境下將所提出算法
    的頭像 發(fā)表于 09-30 14:45 ?901次閱讀
    <b class='flag-5'>一種</b>完全分布式的點線協(xié)同視覺慣性導(dǎo)航系統(tǒng)