機(jī)器人緊緊地抓住門把手，或者把塑料香蕉投進(jìn)碗中，亦或是用力在金屬箱附近推動(dòng)樂(lè)高積木......

如果您參觀過(guò)加州大學(xué)伯克利分校 Sergey Levine 教授的實(shí)驗(yàn)室，您可能會(huì)看到這樣一些場(chǎng)景。

Sergey Levine 的機(jī)器人實(shí)驗(yàn)室也許有一天會(huì)成為機(jī)器人的“游樂(lè)場(chǎng)”。

機(jī)器人為什么會(huì)玩耍？因?yàn)橹腔劬腕w現(xiàn)在生物通過(guò)戳東西、推動(dòng)物體和觀察發(fā)生的事情來(lái)了解自己的物理環(huán)境。

Levine 解釋說(shuō)：“證明智慧存在的唯一證據(jù)是在人類身上，而人類存在于物質(zhì)世界中，是具體化的。事實(shí)上，我們所知道的所有智慧生物都是具體化的。也許他們不必如此，但我們并不知道例外情況?！?/p>

因此，更廣泛地講，“我認(rèn)為機(jī)器人實(shí)際上是人工智能的一個(gè)透視鏡”，他說(shuō)道。

機(jī)器訓(xùn)練也應(yīng)遵循“達(dá)爾文進(jìn)化論”

Levine 認(rèn)為，多年來(lái)，人們從機(jī)器人技術(shù)上得到的重大收獲之一便是，它證實(shí)了“莫拉維克悖論”（Moravec's paradox）。

卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)教授 Hans Moravec 在其 1988 年出版的《智力后裔：機(jī)器人和人類智能的未來(lái)》(Mind Children: The Future of Robot and Human Intelligence) 一書中談到了 AI 的二分法。

機(jī)器可以被教會(huì)做“人類覺(jué)得困難的事情”，比如對(duì)戰(zhàn)一局國(guó)際象棋。但機(jī)器在“對(duì)我們來(lái)說(shuō)輕而易舉的事情”上做得卻不盡人意，比如基本的運(yùn)動(dòng)技能。

Levine 表示：“如果您想讓一臺(tái)機(jī)器下國(guó)際象棋，這實(shí)際上會(huì)相對(duì)容易些。但如果您想要一臺(tái)機(jī)器來(lái)拾起棋子，卻難于上青天?！?/p>

Moravec 把這種二分法看成是一條可制造智能機(jī)器的“重大線索”。他主張遵循達(dá)爾文進(jìn)化論的路線來(lái)構(gòu)建智能。也就是說(shuō)，先從基本的感覺(jué)運(yùn)動(dòng)系統(tǒng)逐步發(fā)展，自下而上，然后才是更高的推理能力。

缺乏機(jī)器學(xué)習(xí)的現(xiàn)成數(shù)據(jù)

有人要喝咖啡嗎？教機(jī)器學(xué)習(xí)可以創(chuàng)造能夠與人類一起生活和工作的機(jī)器人。

與網(wǎng)上無(wú)數(shù)的貓圖片不同，目前還沒(méi)有可供機(jī)器人學(xué)習(xí)的現(xiàn)成數(shù)據(jù)。因此，他的實(shí)驗(yàn)室專注于讓機(jī)器“連續(xù)幾周探索環(huán)境，自主地推動(dòng)物體、操控物體，然后了解所處的世界”。

Levine 使用各種機(jī)器學(xué)習(xí)技術(shù)來(lái)訓(xùn)練機(jī)器人，包括 CNN，尤其使用了增強(qiáng)學(xué)習(xí)，即通過(guò)從當(dāng)前狀態(tài)推斷到目標(biāo)狀態(tài)來(lái)規(guī)劃抵達(dá)目的地的路徑。然后，機(jī)器人在測(cè)試時(shí)使用該策略來(lái)執(zhí)行這些任務(wù)的新實(shí)例。

在訓(xùn)練階段，玩物體游戲是“無(wú)人監(jiān)督的”。目前人類尚未設(shè)計(jì)出機(jī)器人在執(zhí)行任務(wù)時(shí)應(yīng)該做出的精確動(dòng)作，甚至也未指定目標(biāo)。

神經(jīng)網(wǎng)絡(luò)確定了機(jī)器人應(yīng)該實(shí)現(xiàn)的目標(biāo)，然后確定了用于實(shí)現(xiàn)該目標(biāo)的策略，包括機(jī)器人肢體的運(yùn)動(dòng)角度。

“學(xué)會(huì)學(xué)習(xí)”

場(chǎng)外訓(xùn)練利用了 NVIDIA GPU 集群。在測(cè)試期間，每個(gè)機(jī)器人都連接一個(gè) GPU，用于運(yùn)行已學(xué)習(xí)到的策略。在一些更具挑戰(zhàn)性的測(cè)試中（例如通過(guò)觀看一段人類的視頻演示來(lái)學(xué)習(xí)一項(xiàng)新策略），每臺(tái)機(jī)器都連接了功能更強(qiáng)大的NVIDIA DGX-1。

Levine 表示，GPU 計(jì)算能力為 AI 帶來(lái)兩大好處。通過(guò)加速訓(xùn)練，它“允許我們更快地進(jìn)行科研工作。”其次，在推理過(guò)程中，GPU 的強(qiáng)大功能可以實(shí)時(shí)做出反應(yīng)，這對(duì)“機(jī)器人來(lái)說(shuō)至關(guān)重要”。

“當(dāng)機(jī)器人真正處于物質(zhì)世界中時(shí)，如果它正在運(yùn)動(dòng)，例如閉門飛行，”類似無(wú)人機(jī)的情況，“它需要在撞到門之前弄清楚門是關(guān)著的?！?/p>

Levine 團(tuán)隊(duì)在增強(qiáng)學(xué)習(xí)方面的工作變得越發(fā)復(fù)雜。其中之一便是，教會(huì)機(jī)器人在測(cè)試時(shí)執(zhí)行任務(wù)，就像它在訓(xùn)練中學(xué)到的那樣。更具挑戰(zhàn)性的是，讓機(jī)器人學(xué)習(xí)能夠解決新奇任務(wù)的策略。Levine 稱，機(jī)器正在“學(xué)會(huì)學(xué)習(xí)”。

后者稱為元學(xué)習(xí)（meta-learning），是他實(shí)驗(yàn)室日益關(guān)注的焦點(diǎn)。在近期發(fā)表的一篇名為《復(fù)合視覺(jué)運(yùn)動(dòng)任務(wù)的一次性分層模仿學(xué)習(xí)》(One-shot Hierarchical Imitation Learning of Compound Visuomotor Tasks) 的論文中，機(jī)器人首先觀察人類演示一個(gè)簡(jiǎn)單的“原始”任務(wù)，比如將物體扔進(jìn)碗中。它制定了一項(xiàng)策略來(lái)模仿該動(dòng)作。

在測(cè)試時(shí)，機(jī)器人將從事一項(xiàng)“復(fù)合”任務(wù)，比如將物體扔進(jìn)碗中，然后沿著桌子移動(dòng)碗。機(jī)器人利用其先前處理簡(jiǎn)單任務(wù)掌握的經(jīng)驗(yàn)，形成一“系列”策略，并借此來(lái)連續(xù)執(zhí)行動(dòng)作。

伯克利人工智能研究實(shí)驗(yàn)室也參與了我們的 NVIDIA AI 實(shí)驗(yàn)室計(jì)劃。

Levine 的機(jī)器人僅在看到人類演示一次復(fù)合任務(wù)后，就能夠模仿人類所演示的任務(wù)，這就是所謂的“一次性”學(xué)習(xí)。

機(jī)器人的成長(zhǎng)

Levine 非常留意對(duì) AI 持懷疑態(tài)度的人，比如紐約大學(xué)教授 Gary Marcus。Levine同意 Marcus 的觀點(diǎn)，即今天的深度學(xué)習(xí)并不會(huì)帶來(lái)更高的推理能力。

形成更高的推理能力可能是機(jī)器人生命周期中的一個(gè)過(guò)程，而不是單個(gè)神經(jīng)網(wǎng)絡(luò)。

他說(shuō)：“我認(rèn)為，如果未來(lái)機(jī)器人也能像我們一樣擁有童年，那將是一件了不起的事情。”這樣，機(jī)器人會(huì)通過(guò)各種發(fā)育階段來(lái)取得進(jìn)步。

Levine 若有所思地說(shuō)，在最終的成年期，機(jī)器人的心智將會(huì)繼續(xù)發(fā)展。

“如果你有個(gè)機(jī)器人須執(zhí)行某種任務(wù)，比如進(jìn)行施工。在停歇時(shí)，這個(gè)機(jī)器人不會(huì)只是坐在小房間里收拾塵土，實(shí)際上，它做事情的方式會(huì)和人類一樣?！?/p>

回歸現(xiàn)實(shí)

要使機(jī)器人能自行發(fā)育，我們還需從事大量的系統(tǒng)工程工作，并將其與深度學(xué)習(xí)相結(jié)合。但 Levine 相信，“在未來(lái)五年左右的時(shí)間里，我們將看到這些事情成為現(xiàn)實(shí)?！?/p>

“它可能從工業(yè)機(jī)器人開始，比如倉(cāng)庫(kù)、雜貨店的機(jī)器人。但我認(rèn)為我們會(huì)在日常生活中看到越來(lái)越多的機(jī)器人。”