你們不是嫌棄世界冠軍 OG 團(tuán)隊(duì)實(shí)力太水嗎？“你行你上”的機(jī)會(huì)來(lái)了。

4 月 14 日凌晨，OpenAI Five 以 2:0 擊敗了 DOTA 世界冠軍團(tuán)隊(duì) OG 引發(fā)熱議。比賽當(dāng)天，OpenAI 也宣布要開(kāi)放 OpenAI Five 競(jìng)技場(chǎng)模式，讓每個(gè)感興趣的人都參與其中。

4 月 18 日（太平洋標(biāo)準(zhǔn)時(shí)間）下午 6 點(diǎn)，OpenAI 如約開(kāi)放了這一模式，全世界各路玩家都可以免費(fèi)進(jìn)行體驗(yàn)。開(kāi)放時(shí)間為期三天，4 月 21 日(太平洋標(biāo)準(zhǔn)時(shí)間)晚上 11 點(diǎn) 59 分關(guān)閉，要體驗(yàn)一把人機(jī)對(duì)戰(zhàn)的話(huà)可得抓緊時(shí)間。

參賽鏈接：https://arena.openai.com/#/

目前從其官網(wǎng)賽況來(lái)看，截止今天早上 10 點(diǎn)，OpenAI Five 與參與者打了 424 場(chǎng)比賽，AI 以 112-0 完勝人類(lèi)玩家。

以下是人類(lèi)參與者的部分賽況：

據(jù) OpenAI 官方介紹，參與者可以在競(jìng)爭(zhēng)模式和合作模式下體驗(yàn) OpenAI Five。他們的 1v1 機(jī)器人可以通過(guò)巧妙的策略加以利用，但他們也并不知道 OpenAI Five 能在多大程度上可以做到這一點(diǎn)。

在此前決賽中，他們展示了 OpenAI Five 和人類(lèi)在合作模式打游戲。一組是 Sheever、Blitz 和三個(gè) OpenAI Five，對(duì)手是由 Capitalist、ODPixel 和三個(gè) OpenAI Five 組成的團(tuán)隊(duì)。

不過(guò)，通過(guò) OpenAI Five 在決賽上的表現(xiàn)，OpenAI 團(tuán)隊(duì)在最新的博客中分享了兩個(gè)驚喜：

盡管訓(xùn)練 OpenAI Five 系統(tǒng)的目的是為了打敗其他機(jī)器人，但他們卻發(fā)現(xiàn) OpenAI Five 其實(shí)還有與人類(lèi)成為隊(duì)友的基本能力，也就是說(shuō)可以將一個(gè)競(jìng)爭(zhēng)型 AI 變?yōu)楹献餍?AI。他們認(rèn)為，如果能更努力去開(kāi)發(fā)，未來(lái) AI 系統(tǒng)能為人類(lèi)做出非常多的貢獻(xiàn)。

4 月 18 日 到 21 日的競(jìng)技場(chǎng)模式測(cè)試將回答一個(gè)很重要的研究問(wèn)題——OpenAI Five 的潛能可以被人類(lèi)運(yùn)用到何種程度，或者它們?cè)谄渌男┓矫姹囟〞?huì)被打敗。OpenAI Five 這一深度強(qiáng)化學(xué)習(xí)智能體系統(tǒng)，可能會(huì)成為有史以來(lái)人類(lèi)能與之交互的最大的 AI 部署系統(tǒng)。

OG戰(zhàn)隊(duì)與OpenAI開(kāi)發(fā)團(tuán)隊(duì)

對(duì)于 OpenAI Five 競(jìng)技場(chǎng)模式，有很多人報(bào)以期待，reddit 上有網(wǎng)友評(píng)論稱(chēng)，“這特么太酷了，自從 OpenAI 1v1 首秀之后，人們已經(jīng)要求要在網(wǎng)上跟機(jī)器人玩游戲了，現(xiàn)在它真的發(fā)生了！”

只是，如果在競(jìng)爭(zhēng)模式跟 AI 打 DOTA，作為人類(lèi)玩家的你會(huì)不會(huì)慘遭OpenAI Five 的虐殺，而輸?shù)煤翢o(wú)懸念呢？祝你們好運(yùn)。

當(dāng)然，玩游戲之余，你可能也想知道：OpenAI Five 取得勝利背后的“秘訣”是什么？為什么這次的 OpenAI Five 系統(tǒng)要比去年在 TI 表演賽上敗給人類(lèi)的AI系統(tǒng)更強(qiáng)？OpenAI 是如何訓(xùn)練 OpenAI Five 系統(tǒng)的？OpenAI 團(tuán)隊(duì)最近給出了解讀。

為什么是 DOTA2？

一開(kāi)始，OpenAI 團(tuán)隊(duì)研究 OpenAI Five 是為了解決超出現(xiàn)有深度強(qiáng)化學(xué)習(xí)算法能力范圍的問(wèn)題，他們希望通過(guò)現(xiàn)有的方法解決當(dāng)下無(wú)法解決的問(wèn)題，原以為這需要復(fù)雜的算法思想（比如分層強(qiáng)化學(xué)習(xí)（Hierarchical RL）），但他們驚訝地發(fā)現(xiàn)只需要改進(jìn)的是規(guī)模，但實(shí)現(xiàn)和利用這個(gè)規(guī)模并不容易，這成了其研究的主要內(nèi)容。

OpenAI Five 把世界看作是一串必須破譯的數(shù)字。無(wú)論這些數(shù)字是以 DOTA 游戲形式（約 20000 個(gè)數(shù)字），還是以機(jī)械手形式（約 200 個(gè)），使用的都是通用學(xué)習(xí)代碼。

為了創(chuàng)建 OpenAI Five，OpenAI 團(tuán)隊(duì)創(chuàng)造了一個(gè)名為 Rapid 的系統(tǒng)，用來(lái)以從未有過(guò)的規(guī)模去運(yùn)行 PPO（Proximal Policy Optimization），結(jié)果出人意料，居然創(chuàng)造了一個(gè)不受任何基本性能限制的世界級(jí) DOTA 機(jī)器人。

如今，RL 算法表現(xiàn)出了驚人的能力，但它在游戲或模擬環(huán)境之外卻用處不大，但這個(gè)限制可能并沒(méi)有聽(tīng)起來(lái)的那么糟糕，例如可以使用 Rapid 來(lái)控制機(jī)械手來(lái)重新移動(dòng)一個(gè)模塊，這需要首先進(jìn)行模擬訓(xùn)練，然后在物理機(jī)器人上執(zhí)行。他們認(rèn)為，對(duì)于 RL 的下一個(gè)挑戰(zhàn)是減少對(duì)經(jīng)驗(yàn)的依賴(lài)。

雖然他們決定不再讓 OpenAI Five 成為競(jìng)爭(zhēng)對(duì)手，但社會(huì)進(jìn)步和技術(shù)發(fā)展將繼續(xù)推動(dòng)未來(lái)的研究，這也并非 DOTA 比賽研究的終點(diǎn)，他們認(rèn)為 DOTA 比賽對(duì) RL 開(kāi)發(fā)來(lái)說(shuō)是一個(gè)比現(xiàn)在使用的標(biāo)準(zhǔn)環(huán)境更有趣、更復(fù)雜、也更好理解的環(huán)境。

算力

與 DOTA2 在去年的 TI 表演賽的失利相比，OpenAI Five 在 4 月 14 日戰(zhàn)勝 OG 團(tuán)隊(duì)的主要原因是其訓(xùn)練的計(jì)算量增加了 8 倍。去年比賽后，OpenAI 團(tuán)隊(duì)將項(xiàng)目中的絕大部分計(jì)算用于訓(xùn)練 OpenAI Five 模型，同時(shí)還增加了訓(xùn)練時(shí)間。

OpenAI Five 的 TrueSkill，由于已經(jīng)使用了額外的訓(xùn)練計(jì)算，所以用線來(lái)劃分主要的系統(tǒng)變化。這張圖的走向大致是線性的，意味著 OpenAI Five 不斷從額外計(jì)算中獲益。

總之 ，OpenAI Five 的當(dāng)前版本已經(jīng)訓(xùn)練了 800 petaflop/s /天，并且在10個(gè)實(shí)時(shí)月的時(shí)間內(nèi)進(jìn)行相當(dāng)于人類(lèi)大約 45000 年時(shí)長(zhǎng)的 DOTA 游戲自我訓(xùn)練，相當(dāng)于人類(lèi)每天平均有 250 年的模擬訓(xùn)練。OpenAI Five 的最終版本與 TI 版本相比，勝率是 99.9%。

18 個(gè)英雄

從訓(xùn)練 5 名英雄到 18 名英雄時(shí)的訓(xùn)練進(jìn)度幾乎沒(méi)有放緩，他們已經(jīng)假設(shè)同樣的情況如果發(fā)生在更多的英雄身上會(huì)怎樣。TI比賽后，又花了很多精力去整合新的英雄。

他們花了幾周時(shí)間去訓(xùn)練多達(dá) 25 個(gè)英雄的英雄池，將這些英雄帶到大約 5k MMR(大約是95% DOTA 玩家的水平)。雖然在進(jìn)步，但學(xué)習(xí)速度不夠快，無(wú)法在決賽前達(dá)到職業(yè)水平。研究人員還沒(méi)有時(shí)間去找到原因，但后來(lái)發(fā)現(xiàn)模型容量不足，需要更好的匹配來(lái)擴(kuò)展英雄池，還需要更多的訓(xùn)練時(shí)間來(lái)讓新英雄趕上老英雄。但想象一下，當(dāng)一個(gè)人掌握了自己的英雄時(shí)，再去學(xué)習(xí)一個(gè)新英雄是多么困難。

對(duì)了，這里明明說(shuō)訓(xùn)練了 18 個(gè)英雄，但為什么在與 OG 比賽時(shí)只放了 17 個(gè)英雄？因?yàn)檫€有一個(gè)英雄在 DOTA v7.20 版本中出現(xiàn)了明顯變化，所以就沒(méi)用。

最后，這么好的機(jī)會(huì)，要不要去體驗(yàn)下被機(jī)器人在 DOTA 中碾壓的酸爽感？