強化學(xué)習(xí)（ Reinforcement learning，RL）作為機器學(xué)習(xí)領(lǐng)域中與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)并列的第三種學(xué)習(xí)范式，通過與環(huán)境進行交互來學(xué)習(xí)，最終將累積收益最大化。常用的強化學(xué)習(xí)算法分為模型化強化學(xué)習(xí)（Mode- based reinforcement Lear-ning）和無模型強化學(xué)習(xí)（ Model- ree reirη forcement Learning）。模型化強化學(xué)習(xí)需要根據(jù)真實環(huán)境的狀態(tài)轉(zhuǎn)移數(shù)據(jù)來預(yù)定義環(huán)境動態(tài)模型，隨后在通過環(huán)境動態(tài)模型進行策略學(xué)習(xí)的過程中無須再與環(huán)境進行交互。在無模型強化學(xué)習(xí)中，智能體通過與環(huán)境進行實時交互來學(xué)習(xí)最優(yōu)策略，該方法在實際任務(wù)中具有更妤的通用性，因此應(yīng)用范圍更廣。文中對無模型強化學(xué)習(xí)的最新研究進展與發(fā)展動態(tài)進行了綜述。首先介紹了強化學(xué)習(xí)、模型化強化學(xué)習(xí)和無模型強化學(xué)習(xí)的基礎(chǔ)理論;然后基于價值函數(shù)和策略函數(shù)歸納總結(jié)了無模型強化學(xué)習(xí)的經(jīng)典算法及各自的優(yōu)缺點;最后概述了無模型強化學(xué)習(xí)在游戲AⅠ、化學(xué)材料設(shè)計、自然語言處理和機器人控制領(lǐng)域的最新研究現(xiàn)狀，并對無模型強化學(xué)習(xí)的未來發(fā)展趨勢進行了展望。