此文是根據(jù)北京大學(xué)工學(xué)院謝廣明教授于2019年5月在浙江寧波余姚舉行的第六屆中國機器人峰會上的《一種基于強化學(xué)習(xí)與計算流體力學(xué)結(jié)合的機器魚運動控制方法》報告錄音整理摘編部分而成，

以賽促研，挖掘有特點并結(jié)合實際的項目

海洋夢是中國夢的重要組成部分，而建設(shè)海洋強國越來越受到重視。謝廣明指出了水下機器人的研究方向，他認為，要對單體上的水下智能仿生機器人進行研究，研發(fā)各種各樣的魚、海豚等兩棲的仿生機器人，通過控制其它方面來提升性能；另一方面，要通過感知通信、關(guān)鍵技術(shù)編隊協(xié)作運輸?shù)燃夹g(shù)，使一群機器人共同完成任務(wù)，變成產(chǎn)業(yè)化提供服務(wù)。

此外，謝廣明還表示要以水中機器人為主體展開各項競賽活動，通過比賽吸引更多的國內(nèi)外高校一起促進技術(shù)的進步，不光是被動地參與比賽，而是真的主動提出一些有特點、又跟實際發(fā)展相結(jié)合的項目。據(jù)謝廣明介紹，他們最初設(shè)計比賽項目都偏科研類，逐漸由純學(xué)術(shù)的比賽走向跟實際應(yīng)用結(jié)合。并希望通過各種比賽聯(lián)盟，成為一個競賽、教學(xué)、科研、產(chǎn)業(yè)化的平臺，將來也會吸引一些企業(yè)進入，形成紐帶作用，提升水平發(fā)展，形成共贏的局面。

仿真訓(xùn)練困難重重

水下機器人發(fā)展很難，看上去空間好像很遠，但實際上難度很大，它的通信和能源不好定位。謝廣明指出，有些項目用大型機器人不好操作，需要開發(fā)小型仿生機器人，但這種機器魚以及控制等方面仍存在很多問題，比如模型難建立、難以做得精巧。因此，用深度強化學(xué)習(xí)來提高機器人的自主性、智能性或許成為解題思路。但深度強化學(xué)習(xí)同樣存在問題，它的迭代周期非常長，需要長期訓(xùn)練。

仿真訓(xùn)練也得到了大家的關(guān)注，但是仿真和實際的距離還是很大，仿真中訓(xùn)練的效果直接用到機器人上，會不會產(chǎn)生成像效果？謝廣明認為這之間還是有一定距離。機器魚有柔性，如何仿真才能夠跟實際更接近呢？這也不好弄。如果用流體仿真，比陸地仿真更復(fù)雜，代價更大，就面臨更多的困難。

強化學(xué)習(xí)與計算流體力學(xué)結(jié)合攻破難關(guān)

面對這么多難題，應(yīng)該如何運用呢？謝廣明表示，經(jīng)過一段時間的初步嘗試后，他們形成了基于深度強化學(xué)習(xí)的代理模型，確定程度后，再置于CFD的精細仿真環(huán)境中，調(diào)整參數(shù)，最終取得實際效果。然后將代理模型和精確仿真之間進行切換，形成訓(xùn)練系統(tǒng)。在這個過程中，謝廣明及其團隊發(fā)現(xiàn)用傳統(tǒng)控制實現(xiàn)不了讓機器魚走期望的軌道。

于是，他們開始使用預(yù)先設(shè)定的直線進行模擬訓(xùn)練，再用曲線進行CFD測試，最后再真實環(huán)境中進行測試。目前已實現(xiàn)用DRL方法來控制仿生機器人魚的運動，并結(jié)合實際實驗數(shù)據(jù)和計算流體力學(xué)（CFD），提出了自切換模擬系統(tǒng)，實現(xiàn)了從模擬到現(xiàn)實的策略遷移，只有在直線上訓(xùn)練，機器人才能在現(xiàn)實世界中追蹤任何不超過其運動能力的曲線。謝廣明表示，未來將設(shè)計更復(fù)雜的任務(wù)來形成連續(xù)化，進行抗干擾研究、節(jié)能研究、多機器人協(xié)作研究等多方面的研究，使機器人能完成更復(fù)雜的任務(wù)。