針對(duì)雙足機(jī)器人在非平整地面行走時(shí)容易失去運(yùn)動(dòng)穩(wěn)定性的問(wèn)題，提出一種基于一種基于價(jià)值的深度強(qiáng)化學(xué)習(xí)算法DQN（ Deep Q-Network）的步態(tài)控制方法。首先通過(guò)機(jī)器人步態(tài)規(guī)劃得到針對(duì)平整地面環(huán)境的離線步態(tài)，然后將雙足機(jī)器人視為一個(gè)智能體，建立機(jī)器人環(huán)境空間、狀態(tài)空間、動(dòng)作空間及獎(jiǎng)懲機(jī)制，該過(guò)程與傳統(tǒng)控制方法相比無(wú)需復(fù)雜的動(dòng)力學(xué)建模過(guò)程，最后經(jīng)過(guò)多回合訓(xùn)練使雙足機(jī)器人學(xué)會(huì)在不平整地面進(jìn)行姿態(tài)調(diào)整，保證行走穩(wěn)定性。在V-Rep仿真環(huán)境中進(jìn)行了算法驗(yàn)證，雙足機(jī)器人在非平整地面行走過(guò)程中，通過(guò)DQN步態(tài)調(diào)整學(xué)習(xí)算法，姿態(tài)角度波動(dòng)范圍在3。以內(nèi)，結(jié)果表明雙足機(jī)器人行走穩(wěn)定性得到明顯改善，實(shí)現(xiàn)了機(jī)器人的姿態(tài)調(diào)整行為學(xué)習(xí)，證明了該方法的有效性。

　　雙足機(jī)器人具有和人類相似的形體結(jié)構(gòu)，其雙足直立行走的運(yùn)動(dòng)方式在現(xiàn)實(shí)中具有廣泛的應(yīng)用前景，其行走穩(wěn)定性控制問(wèn)題一直是業(yè)界的研究重點(diǎn)。如何使雙足機(jī)器人適應(yīng)各種地面，進(jìn)行快速穩(wěn)定的行走是研究中的關(guān)鍵問(wèn)題。

　　目前，仿人機(jī)器人的步態(tài)規(guī)劃主要針對(duì)理想的平整地面環(huán)境，采用離線方式設(shè)計(jì)出滿足特定全局優(yōu)化要求的步態(tài)序列，然后根據(jù)規(guī)劃好的步態(tài)序列控制機(jī)器人行走。若是機(jī)器人行走過(guò)程中遇到凸起或凹陷的不平整地面，會(huì)使擺動(dòng)腿末端提前或推遲觸地，使腿末端遭遇過(guò)大的地面沖擊力，導(dǎo)致機(jī)器人因姿態(tài)扭曲而摔倒。