通過模仿人類大腦在日常生活中做出決策時使用的策略，可以顯著增強機器人智能。最近，科學(xué)家們找到了最新觀點。

本周五在國內(nèi)上映的《阿麗塔：戰(zhàn)斗天使》又掀起了一波智能熱，這部由著導(dǎo)演詹姆斯·卡梅?。↗ames Cameron）擔(dān)任編劇和制片的電影，講述了擁有人類大腦、機械身軀的女主角，不斷改變世界、認(rèn)識自我的故事。

這部背景發(fā)生在26世紀(jì)的電影，依舊把人類大腦作為承載智慧、情感和決策的關(guān)鍵能力。

而現(xiàn)在，一份來自韓國高等科學(xué)技術(shù)研究院（KAIST）、劍橋大學(xué)、日本國家信息通信技術(shù)研究所（NICT）和谷歌DeepMind的聯(lián)合研究認(rèn)為，通過模仿人類大腦在日常生活中做出決策時使用的策略，可以顯著增強機器人智能，他們的方法是：將神經(jīng)科學(xué)應(yīng)用于機器人大腦。

最近，這項研究發(fā)表在了Science Robotics雜志上。

決策神經(jīng)科學(xué)：解決機器人技術(shù)中的關(guān)鍵挑戰(zhàn)

人類和自主機器人不斷需要學(xué)習(xí)和適應(yīng)新的環(huán)境。兩者的不同之處在于，人類能夠根據(jù)獨特情況做出決策，而機器人仍然依靠預(yù)定數(shù)據(jù)來做出決策，這是目前機器人的短板。

強化學(xué)習(xí)(RL)成為通過與世界交互來理解決策的主要理論框架，并且最近在構(gòu)建具有超人類表現(xiàn)的智能體方面取得成功。然而，哪怕是最新的強化算法仍然存在很大的局限性，例如，缺乏制定目標(biāo)導(dǎo)向策略的能力，或依賴大量經(jīng)驗來學(xué)習(xí)。

這些限制阻礙了機器人在任務(wù)或背景頻繁變化的動態(tài)環(huán)境中快速適應(yīng)的能力。

相比之下，人類在經(jīng)驗有限的條件下迅速適應(yīng)環(huán)境變化方面具有非凡的能力。決策神經(jīng)科學(xué)(decision neuroscience)的最新發(fā)現(xiàn)表明，大腦不僅為RL使用多個控制系統(tǒng)，而且還使用一種靈活的元控制機制(metacontrol mechanism)來選擇控制選項，每個不同選項分別與預(yù)測性能、認(rèn)知負荷和學(xué)習(xí)速度相關(guān)。

理解大腦如何實現(xiàn)這些選項可能會讓RL算法解決機器人的實際控制問題。

在Science Robotics上發(fā)表的研究中，研究人員討論了人類RL相關(guān)的最新發(fā)現(xiàn)，這些發(fā)現(xiàn)可能會解決機器人技術(shù)中的幾個關(guān)鍵挑戰(zhàn)：性能—效率—速度權(quán)衡、多機器人設(shè)置中的沖突需求以及探索—開發(fā)困境。

詳細解讀：元控制可以類似大腦

首先，決策神經(jīng)科學(xué)的證據(jù)表明，人類利用兩種不同的行為控制策略：

刺激驅(qū)動的習(xí)慣性(stimulus--driven habitual)；

目標(biāo)導(dǎo)向的認(rèn)知控制(goal--directed cognitive control)。

習(xí)慣性控制是自動且快速的，盡管它在不穩(wěn)定的環(huán)境中很脆弱，并且能由model--free RL很好地解釋，model--free RL通過無環(huán)境模型下的試錯過程來逐步學(xué)習(xí)行為的價值。

相反，目標(biāo)導(dǎo)向的控制可以迅速適應(yīng)環(huán)境的變化，但它具有認(rèn)知需求。它通過學(xué)習(xí)環(huán)境模型來指導(dǎo)行動，并利用這個知識庫快速適應(yīng)環(huán)境結(jié)構(gòu)的變化，例如學(xué)習(xí)狀態(tài)-行動空間中的潛在(隱藏)原因。

model--based RL和model--free RL之間的這種計算上的區(qū)別表明它們之間存在不可避免的妥協(xié)。model--free RL學(xué)習(xí)起來比較慢，但一旦策略被學(xué)習(xí)并實現(xiàn)自動化，就可以快速地實現(xiàn)目標(biāo)。model--based RL通常比model--free RL提供更多的準(zhǔn)確預(yù)測，但計算量要大得多。每種策略都提供了關(guān)于準(zhǔn)確性、速度和認(rèn)知負荷的互補解決方案，突出了預(yù)測性能和計算效率之間的權(quán)衡。

其次，RL算法通常需要大量經(jīng)驗來充分學(xué)習(xí)不同環(huán)境因素下的因果關(guān)系(incremen-tal learning)。然而，人類的學(xué)習(xí)速度很快——通常一個從未經(jīng)歷過的事件發(fā)生一次之后就已學(xué)習(xí)(“one--shot learn-ing”)。

神經(jīng)科學(xué)最近的研究發(fā)現(xiàn)，當(dāng)與環(huán)境的交互受到限制時，人類有很強的提高學(xué)習(xí)速度的傾向；他們會努力迅速弄清環(huán)境中未知的部分，即使這會危及安全。這些結(jié)果表明，大腦是直接執(zhí)行計算來尋找性能和速度之間的權(quán)衡。

第三，越來越多的證據(jù)支持這樣一種觀點，即前額葉皮層使元控制能夠靈活地在不同的學(xué)習(xí)策略之間進行選擇，例如在model--based RL和model--free RL 之間，以及在incremental learning和one--shot learning之間。

在新的環(huán)境中，元控制通過選擇model--based RL來強調(diào)性能。因為這在計算上很昂貴，當(dāng)大腦發(fā)現(xiàn)進一步學(xué)習(xí)沒有什么好處時，就會轉(zhuǎn)向model--free RL：要么環(huán)境非常穩(wěn)定，可以做出精確的預(yù)測；要么高度不穩(wěn)定，以至于基于模型的RL的預(yù)測不如無模型RL的預(yù)測可靠。

在其他情況下，元控制優(yōu)先考慮速度。當(dāng)預(yù)估的因果關(guān)系中的不確定性很高時，大腦傾向于轉(zhuǎn)換到one-shot學(xué)習(xí)，以快速解決預(yù)測結(jié)果中的不確定性。然而，當(dāng)agent對所有可能的因果關(guān)系都同樣不確定時，它會重新轉(zhuǎn)向incremental learning以確保安全的學(xué)習(xí)。

這些機制表明類似于大腦的元控制可以處理性能-效率-速度的權(quán)衡。

第四，人類的RL可以解釋在人類進化中起重要作用的社會現(xiàn)象。在多主體相互作用的人類社會中，存在著具有部分競爭性和部分一致性激勵機制的社會困境。

使用model--based的RL方法成功地在更復(fù)雜的時間擴展設(shè)置中實現(xiàn)了協(xié)作。

人類似乎通過使用元認(rèn)知(metacognition)來繞過這個問題——元認(rèn)知是一種評估自己表現(xiàn)的能力，即評估自信和/或不確定性的水平。例如，較低的任務(wù)難度或較低的環(huán)境噪聲會使學(xué)習(xí)主體自信，從而導(dǎo)致更果斷的行動，而失去自信則會導(dǎo)致更謹(jǐn)慎和防御性的策略。元認(rèn)知學(xué)習(xí)因此可以快速適應(yīng)環(huán)境的變化，同時保持對環(huán)境噪聲的魯棒性。這樣的策略有可能增強機器人的決策能力。

總之，將人類決策神經(jīng)科學(xué)的發(fā)現(xiàn)整合起來，可以為機器人的動作控制系統(tǒng)提供有價值的見解，從而實現(xiàn)更安全、更有能力、更高效的學(xué)習(xí)。

對大腦建模，算法能否支撐起意識？

另外，研究團隊還認(rèn)為，這種跨學(xué)科的方法也應(yīng)該引起神經(jīng)科學(xué)的注意，為開發(fā)新的人類決策計算理論提供一個可靠的測試基礎(chǔ)。

最近對焦慮、抑郁和成癮等精神疾病背后的興趣引起了很多人的興趣，這使得一系列復(fù)雜的理論在沒有某種先進的情境平臺的情況下難以測試。這種情況需要一種對人類大腦進行建模的方法，以找出它在現(xiàn)實生活中如何與世界相互作用，以測試這些模型中的不同異常是否以及如何引起某些疾病。

例如，如果我們可以在機器人中重現(xiàn)焦慮行為或強迫癥，那么就可以預(yù)測需要做些什么來治療。研究團隊預(yù)計，開發(fā)不同精神疾病的機器人模型，與研究人員現(xiàn)在使用動物模型的方式類似，將成為臨床研究的關(guān)鍵未來技術(shù)。

最后再回到電影《阿麗塔》。

電影中所有的機器人都擁有人類的生命、有機大腦。機器人能從脊髓或大腦直接將信號傳遞到假體中的代碼，使截癱或四肢癱瘓的人能夠隨著機器人技術(shù)的進步再次獲得行動能力。

如果放到現(xiàn)在的時代，這種技術(shù)看上去非常棒；但電影設(shè)定發(fā)生在五百年后，AI依然只是作為支撐軀體的技術(shù)，核心還是人類的大腦而不是由算法主導(dǎo)意識與行動，看來卡梅隆和羅德里格斯導(dǎo)演的腦洞還是小了點：）