如果說我們的征途是星辰大海，那么星際爭(zhēng)霸必定是其中一關(guān)。今天，有人在Github開源了他潛心研究一年半的成果，一個(gè)新手和資深研究人員都能受益的深度強(qiáng)化學(xué)習(xí)框架，單機(jī)運(yùn)行速度快、方便調(diào)式，支持多種強(qiáng)化學(xué)習(xí)訓(xùn)練環(huán)境。

上周結(jié)束的 AI Challenger 星際爭(zhēng)霸競(jìng)賽，讓 AI 挑戰(zhàn)星際爭(zhēng)霸這個(gè)議題又稍稍火了一把。雖然這屆冠軍使用的仍然是硬編碼方法，但從其他解決方案中不難看出，AI算法的占比在不斷提升。

作為圍棋之后 DeepMind 公開宣布的下一個(gè)攻克目標(biāo)，《星際爭(zhēng)霸》的魅力可見一斑。而隨后不久 DeepMind 便將其相關(guān)研究及平臺(tái)開源，更是印證了讓 AI 玩星際爭(zhēng)霸的挑戰(zhàn)。

今天，塔爾圖大學(xué)的 Roman Ring 在 Github 上開源了他傾力投入一年半的成果，一個(gè)名叫 Reaver 的《星際爭(zhēng)霸 II》AI，可用于訓(xùn)練《星際爭(zhēng)霸 II》的各種基本任務(wù)。

Reaver 的基本思路是沿著 DeepMind 的路線在走，也即 AI 的玩法是像人類玩家一樣，從游戲畫面中獲取視覺特征，然后再做出決策。

補(bǔ)充說明，Roman 去年本科畢業(yè)項(xiàng)目是使用《Actor-Critic 法復(fù)現(xiàn) DeepMind 星際爭(zhēng)霸 II 強(qiáng)化學(xué)習(xí)基準(zhǔn)》[1]，Reaver 則是在此基礎(chǔ)上的改善提升。

Reaver 的強(qiáng)項(xiàng)在于比其他開源的同類框架單機(jī)運(yùn)行速度快；除了支持星際爭(zhēng)霸游戲訓(xùn)練環(huán)境 SC2LE，也支持 OpenAI Gym、ATARI 和 MUJOCO；模塊化組成，容易調(diào)試。

根據(jù)作者所說，Reaver 不到10 秒就解決 CartPole-v0，在 4 核 CPU 筆記本上每秒處理 5000 張圖像，使用 Google Colab，Reaver 通關(guān)《星際爭(zhēng)霸 II》SC2LE 小型游戲 MoveToBeacon 只需要半小時(shí)的時(shí)間。

Reaver 玩《星際爭(zhēng)霸 II》小型游戲 MoveToBeacon 的畫面，左邊是未經(jīng)訓(xùn)練，右邊是訓(xùn)練后的情況。來源：Roman Ring/YouTube

套用一句話，如果我們的征途是星辰大海，那么其中的一關(guān)必然是《星際爭(zhēng)霸》。

Reaver 對(duì)于不具備 GPU 集群的人非常友好，正如作者在 Github 庫里介紹所說，

“雖然開發(fā)是研究驅(qū)動(dòng)的，但 Reaver API 背后的理念類似于《星際爭(zhēng)霸II》游戲本身——新手可以用，領(lǐng)域?qū)＜乙材軓闹蝎@得東西。

“對(duì)于業(yè)余愛好者而言，只要對(duì) Reaver 稍作修改（例如超參數(shù)），就能得到訓(xùn)練深度強(qiáng)化學(xué)習(xí)智能體的所有必須工具。對(duì)于經(jīng)驗(yàn)豐富的研究人員，Reaver 提供簡(jiǎn)單但性能優(yōu)化的代碼庫，而且都是模塊化架構(gòu)：智能體、模型和環(huán)境都是分開，并且可以隨意組合調(diào)換?！?/p>

歡迎加入星際爭(zhēng)霸強(qiáng)化學(xué)習(xí)陣營。

深度強(qiáng)化學(xué)習(xí)AIReaver：模塊化且便于調(diào)試

性能 大部分已發(fā)表的強(qiáng)化學(xué)習(xí)基準(zhǔn)通常針對(duì)的都是 MPI 之間 message-based 通信，對(duì)于 DeepMind 或者 OpenAI 這樣有大規(guī)模分布式強(qiáng)化學(xué)習(xí)配置的機(jī)構(gòu)而言這樣做自然很合理，但對(duì)于普通研究者或其他沒有這類強(qiáng)大基礎(chǔ)設(shè)施的人，這就成了很大的瓶頸。因此，Roman Ring 采用了共享內(nèi)存（shared memory）的方法，相比 message-based 并行的解決方案實(shí)現(xiàn)了大約 3 倍的速度提升。

模塊化 很多強(qiáng)化學(xué)習(xí)基準(zhǔn)都或多或少都是模塊化的，不過這些基準(zhǔn)通常與作者使用的訓(xùn)練環(huán)境密切相關(guān)。Roman Ring 自己就曾經(jīng)因?yàn)閷Ｗ⒂凇缎请H爭(zhēng)霸 II》環(huán)境而導(dǎo)致調(diào)試花了很長時(shí)間。因此，Revar 只需要一個(gè)命令行就能改變訓(xùn)練環(huán)境，從 SC2 到 Atari 或者 CartPole（將來計(jì)劃納入 VizDoom）。每個(gè)神經(jīng)網(wǎng)絡(luò)都是簡(jiǎn)單的 Keras 模型，只要符合基本的 API contracts 都能調(diào)用。

調(diào)試 現(xiàn)在一個(gè)游戲 AI 通常含有十幾個(gè)不同的調(diào)試參數(shù)，如何實(shí)現(xiàn)更為統(tǒng)一便捷的調(diào)試？Roman Ring 在 Reaver 中只要能用的地方都用了 “gin-config”，這個(gè)輕量級(jí)調(diào)試框架只要是 Python 可調(diào)用函數(shù)都能調(diào)試，非常方便。

更新 是的，現(xiàn)在算法發(fā)展很快，去年發(fā)表的東西今年就可能過時(shí)。在開發(fā) Reaver 的時(shí)候 Roman 表示他想著用了 TensorFlow 2.0 API（主要是使用 tf.keras 不用 tf.contrib），希望這個(gè)庫能活用久一點(diǎn)吧。

單機(jī)友好，可用于訓(xùn)練星際爭(zhēng)霸II各種任務(wù)

Roman Ring 列出了 Reaver 在《星際爭(zhēng)霸 II》各種小型游戲上與其他 AI 的性能對(duì)比。其中，

Reaver（A2C）就是在 SC2LE 訓(xùn)練 Reaver 得到的結(jié)果

DeepMind SC2LE 是 DeepMind 在《StarCraft II: A New Challenge for Reinforcement Learning》一文中發(fā)布的結(jié)果[2]

DeepMind ReDRL 則是 DeepMind 在《Relational Deep Reinforcement Learning》中的結(jié)果[3]

人類專家是 DeepMind 收集的 GrandMaster 級(jí)別人類玩家的結(jié)果

以下是 Reaver 在不同小型游戲中訓(xùn)練花費(fèi)的時(shí)間：

綜上，就算 DefeatRoaches 花了 150 小時(shí)，但考慮到硬件只是一臺(tái)筆記本（英特爾酷睿 i5-7300HQ，4核 +GTX 1050GPU），這個(gè)結(jié)果已經(jīng)算很不錯(cuò)。

Roman 還列出了他的路線圖，上述成果只是他萬里長征的第一步。如果你感興趣，不妨加入這個(gè)項(xiàng)目。