人工神經(jīng)網(wǎng)絡(luò)(ANN)和大腦有著許多相似的地方，那么ANN到底從動物大腦中學(xué)到了什么呢？Nature Communications近期發(fā)布了一篇文章便對此問題進行了討論。研究人員認為，機器與生物的工作原理不同導(dǎo)致二者不可能做到高度相似。

人工神經(jīng)網(wǎng)絡(luò)能夠從動物大腦中學(xué)到什么？ 盡管近年來人工智能取得了許多進步，但人工神經(jīng)網(wǎng)絡(luò)仍遠未接近人類的智能。ANN可以在國際象棋和圍棋等游戲中打敗人類對手，但在大多數(shù)維度上——語言、推理和常識——它們甚至沒有達到四歲兒童的認知能力。 也許更令人吃驚的是，ANN離簡單動物的能力也還差得很遠。許多最基本的行為——即使對簡單動物而言似乎毫不費力的行為——最終被證明非常具有挑戰(zhàn)性，是AI無法企及的。 我們無法建造出一臺能筑巢、追蹤獵物的機器。在很多方面，AI遠未達到狗、老鼠、甚至蜘蛛的智力水平，而且看起來，僅靠擴大當前方法的規(guī)模也無法實現(xiàn)這些目標。 好消息是，如果AI真的能達到老鼠的智能水平，那么離人類的智能可能就只差一小步了。 近期，Nature Communications 便發(fā)表一篇論文，探討了人工神經(jīng)網(wǎng)絡(luò)能夠從動物大腦中學(xué)到些什么。

論文地址： https://www.nature.com/articles/s41467-019-11786-6 顧名思義，人工神經(jīng)網(wǎng)絡(luò)的發(fā)明是為了構(gòu)建基于神經(jīng)系統(tǒng)所使用的計算原理的人工系統(tǒng)。在接下來的內(nèi)容中，我們從神經(jīng)科學(xué)中發(fā)現(xiàn)了一些額外的原理，這些原理可能會加速實現(xiàn)老鼠水平的智能、甚至人類水平智能的目標。 研究人員認為，與人工神經(jīng)網(wǎng)絡(luò)不同的是，動物在很大程度上依賴于學(xué)習(xí)和先天機制的結(jié)合。這些先天過程通過進化產(chǎn)生，被編碼在基因組中，并以連接大腦的規(guī)則的形式出現(xiàn)。研究人員討論了這些觀察結(jié)果對產(chǎn)生下一代機器算法的影響。 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 從人工智能的早期開始，就有兩種相互競爭的方法：符號AI和人工神經(jīng)網(wǎng)絡(luò)。符號AI又稱“有效的老式人工智能”(good old fashion AI)。 現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)與它30年前的祖先非常相似。大部分進步可以歸因于原始計算機能力的提高：僅僅因為摩爾定律，今天的計算機比上一代計算機快了幾個數(shù)量級，GPU在人工神經(jīng)網(wǎng)絡(luò)上的應(yīng)用更是加快了它們的速度。大數(shù)據(jù)集的可用性是第二個因素：在谷歌時代之前，收集用于訓(xùn)練的大量標記圖像集是非常具有挑戰(zhàn)性的。最后，現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)比它們的前輩更有用的第三個原因是，它們需要更少的人為干預(yù)。現(xiàn)代的神經(jīng)網(wǎng)絡(luò)，特別是“深層網(wǎng)絡(luò)”，從數(shù)據(jù)中學(xué)習(xí)適當?shù)牡讓颖硎?如視覺特征)，而不是依賴手工連接來顯式地編程。 在人工神經(jīng)網(wǎng)絡(luò)研究中，“學(xué)習(xí)”(learning)一詞的用法與其在神經(jīng)科學(xué)和心理學(xué)中的用法不同。在神經(jīng)網(wǎng)絡(luò)中，學(xué)習(xí)是從輸入數(shù)據(jù)中提取結(jié)構(gòu)，并將結(jié)構(gòu)編碼到網(wǎng)絡(luò)參數(shù)中的過程。這些網(wǎng)絡(luò)參數(shù)包含指定網(wǎng)絡(luò)所需的所有信息。 從數(shù)據(jù)中提取結(jié)構(gòu)并將其編碼為網(wǎng)絡(luò)參數(shù)(即權(quán)重和閾值)有三種經(jīng)典范式。

在監(jiān)督學(xué)習(xí)中，數(shù)據(jù)成對組成——一個輸入項(如圖像)和它的標簽(如單詞“giraffe”)——目標是找到為新的pair生成正確標簽的網(wǎng)絡(luò)參數(shù)。

在無監(jiān)督學(xué)習(xí)中，數(shù)據(jù)沒有標簽；目標是在沒有明確指導(dǎo)的情況下發(fā)現(xiàn)數(shù)據(jù)中的統(tǒng)計規(guī)律。例如，我們可以想象，有了足夠多的長頸鹿和大象的樣本，我們可能最終推斷出這兩類動物的存在，而不需要明確地給它們貼上標簽。

最后，在強化學(xué)習(xí)中，數(shù)據(jù)被用來驅(qū)動行為，這些行為的成功與否是基于一個“獎勵”信號來評估的。

人工神經(jīng)網(wǎng)絡(luò)的許多進步都是為監(jiān)督學(xué)習(xí)開發(fā)更好的工具。監(jiān)督學(xué)習(xí)的一個核心考慮是“泛化”(generalization)。隨著參數(shù)數(shù)量的增加，網(wǎng)絡(luò)的“表示能力”也隨之增加，即網(wǎng)絡(luò)能夠處理的輸入-輸出映射的復(fù)雜性在增加。一個具有足夠自由參數(shù)的網(wǎng)絡(luò)可以適應(yīng)任何函數(shù)，但是訓(xùn)練一個網(wǎng)絡(luò)而不過度擬合所需的數(shù)據(jù)量通常也會隨著參數(shù)的數(shù)量而變化。 如果一個網(wǎng)絡(luò)有太多的自由參數(shù)，那么網(wǎng)絡(luò)就有“過擬合”數(shù)據(jù)的風(fēng)險，也就是說，它會在一組帶標簽的訓(xùn)練樣本上生成正確的響應(yīng)，但不能推廣到新的樣本上。在ANN的研究中，網(wǎng)絡(luò)的靈活性（與神經(jīng)元和連接的數(shù)量成比例）與訓(xùn)練網(wǎng)絡(luò)所需的數(shù)據(jù)量（更多神經(jīng)元和連接通常需要更多數(shù)據(jù)）之間的這種張力稱為“偏差 - 方差權(quán)衡”(bias-variance tradeoff)，如圖1所示。 具有更大靈活性的網(wǎng)絡(luò)更強大，但是，如果沒有足夠的訓(xùn)練數(shù)據(jù)，網(wǎng)絡(luò)對新的測試實例所做的預(yù)測可能是非常不正確的——比一個更簡單、功能更弱的網(wǎng)絡(luò)的預(yù)測要糟糕得多。套用“蜘蛛俠”的話來解釋：能力越大，責(zé)任越大(獲得足夠的有標記訓(xùn)練數(shù)據(jù))。偏方差權(quán)衡解釋了為什么大型網(wǎng)絡(luò)需要大量有標記的訓(xùn)練數(shù)據(jù)。

圖1：機器學(xué)習(xí)中的“偏差-方差權(quán)衡”可以看作是奧卡姆剃刀的形式化。 動物的學(xué)習(xí) “學(xué)習(xí)”一詞在神經(jīng)科學(xué)(和心理學(xué))中指的是由經(jīng)驗導(dǎo)致的長期行為變化。在這一背景下的學(xué)習(xí)包括動物范例，如經(jīng)典性條件反射和操作性條件反射，以及一系列其他范例，如觀察學(xué)習(xí)或指導(dǎo)學(xué)習(xí)。雖然神經(jīng)科學(xué)和人工神經(jīng)網(wǎng)絡(luò)在“學(xué)習(xí)”這個詞的使用上有一些重疊，但在某些情況下，這些術(shù)語的差異足以導(dǎo)致混淆。 也許在使用上最大的分歧是“監(jiān)督學(xué)習(xí)”一詞的應(yīng)用。監(jiān)督學(xué)習(xí)是近年來人工神經(jīng)網(wǎng)絡(luò)在解決現(xiàn)實問題方面取得成功的關(guān)鍵。例如，監(jiān)督學(xué)習(xí)作為一種范例，使得神經(jīng)網(wǎng)絡(luò)能對圖像進行精確分類。然而，為了確保泛化，訓(xùn)練這種網(wǎng)絡(luò)需要大量的數(shù)據(jù)集；一個視覺查詢系統(tǒng)需要訓(xùn)練10?個“標記”示例(問答對)。 盡管這種訓(xùn)練的最終結(jié)果是一個人工神經(jīng)網(wǎng)絡(luò)，它至少在表面上模仿了人類對圖像分類的能力，但人工系統(tǒng)學(xué)習(xí)的過程與新生兒學(xué)習(xí)的過程幾乎沒有相似之處。然而，一年也只有10?秒，所以一個孩子一生中每秒鐘都要問一個問題，才能收集到相當數(shù)量的標記數(shù)據(jù)；當然，孩子們遇到的大多數(shù)圖片都沒有標簽。 因此，可用的標記數(shù)據(jù)池與兒童學(xué)習(xí)的速度之間存在不匹配。顯然，孩子們并不主要依靠監(jiān)督算法來學(xué)習(xí)對物體進行分類。 諸如此類的考慮促使機器學(xué)習(xí)社區(qū)尋找更強大的學(xué)習(xí)算法，尋找假定能讓孩子們在幾年內(nèi)學(xué)會如何駕馭世界的“秘密武器”。ANN社區(qū)中的許多人假設(shè)，我們主要依賴于非監(jiān)督范式來構(gòu)建世界的表示，而不是監(jiān)督范式。 由于無監(jiān)督算法不需要標記數(shù)據(jù)，因此它們可能會利用我們接收到的大量原始(未標記)感官數(shù)據(jù)。實際上，有幾種無監(jiān)督算法生成的表示讓人聯(lián)想到在視覺系統(tǒng)中存在的表示。 盡管目前這些無監(jiān)督算法不能像監(jiān)督算法那樣有效地產(chǎn)生視覺表示，但沒有已知的理論原則或約束可以排除這種算法的存在。每個學(xué)習(xí)模型都必須包含對它可以學(xué)習(xí)的函數(shù)類的隱式或顯式限制。 因此，盡管孩子在出生后10?秒內(nèi)所接觸到的帶標簽的圖像數(shù)量可能很少，但在這段時間內(nèi)所接收到的全部感官輸入?yún)s是相當大的；也許大自然已經(jīng)進化出一種強大的無監(jiān)督算法來利用這個巨大的數(shù)據(jù)池。發(fā)現(xiàn)這樣一個無監(jiān)督算法——如果它存在的話——將為下一代神經(jīng)網(wǎng)絡(luò)奠定基礎(chǔ)。

動物的學(xué)習(xí)和天生行為

因此，一個核心問題是，沒有大量監(jiān)督訓(xùn)練數(shù)據(jù)集的情況下，動物如何在出生后如此迅速地運作?？梢韵胂螅瑹o監(jiān)督學(xué)習(xí)，利用比任何已發(fā)現(xiàn)的算法更強大的算法，可能在建立感官表征和driving behavior方面發(fā)揮作用。但即使是這樣一種假設(shè)的無監(jiān)督學(xué)習(xí)算法也不可能是全部。實際上，這種假設(shè)算法所面臨的挑戰(zhàn)甚至比它看起來還要大。 人類是一個outlier：我們花在學(xué)習(xí)上的時間可能比其他任何動物都多，因為我們有一個長期的不成熟期。許多動物在106、105、甚至出生后的幾秒都能有效地發(fā)揮作用：松鼠出生后幾個月內(nèi)就可以從一棵樹跳到另一棵樹上，小馬出生后幾個小時內(nèi)就可以行走，而蜘蛛出生后就可以捕獵了。這些例子表明，即使是最聰明的無監(jiān)督算法，挑戰(zhàn)也可能超過其能力。 因此，如果單憑無監(jiān)督機制無法解釋動物在出生時（或出生后不久）是如何如此有效地發(fā)揮作用的，那么還有什么選擇呢？答案是，我們的許多感官表達和行為基本上是天生的。例如，許多嗅覺刺激天生具有吸引力或食欲（鯊魚對血液）或厭惡（狐貍尿?qū)鲜螅? 對視覺刺激的反應(yīng)也可以是天生的例如，小鼠對即將到來的刺激作出防御性反應(yīng)，這可能允許快速檢測和避免空中捕食者。但先天機制的作用不僅僅是簡單地建立對感官表征的反應(yīng)。事實上，昆蟲和其他短命動物的大部分行為都是天生的。在脊椎動物中也有許多復(fù)雜先天行為的例子，例如在求愛儀式中。 在哺乳動物中復(fù)雜的先天行為的一個突出例子是挖洞：在隧道的長度和復(fù)雜性方面，密切相關(guān)的deer mice物種在洞穴中的差異很大。這些先天的傾向與養(yǎng)育無關(guān)：由其他物種的養(yǎng)育的一只小鼠可以像他們的親生父母那樣挖洞。因此，似乎動物行為技能的一個主要組成部分并不是由聰明的學(xué)習(xí)算法監(jiān)督或不監(jiān)督的結(jié)果，而是已經(jīng)存在于出生時的行為程序。 從進化的角度來看，很明顯為什么天生的行為是有利的。動物的生存需要它解決所謂的“四個F” - feeding（進食）、fighting（戰(zhàn)斗）、fleeing（逃跑）和交配?？紤]一個物種X在出生時達到98％的成熟度，其競爭對手Y在出生時僅達到50％，需要一個月的學(xué)習(xí)才能達到成熟的表現(xiàn)。（這里的表現(xiàn)被視為一定程度的適應(yīng)度，即個體生存和傳播的能力）。所有其他方面都是相同的，例如，假設(shè)兩個物種的成熟表現(xiàn)水平相同），物種X將超過物種Y（圖2A）。

圖2：先天策略和學(xué)習(xí)策略之間的進化權(quán)衡 然而，一般來說，所有其他事物都不可能是平等的。通過純先天機制實現(xiàn)的成熟表現(xiàn)可能與通過額外學(xué)習(xí)實現(xiàn)的表現(xiàn)不同（圖2A）。如果一個環(huán)境正在迅速變化，例如，在單個個體的時間尺度上，先天的行為策略可能無法提供一條途徑，使其達到與部分依賴學(xué)習(xí)的混合策略相同的成熟水平。

結(jié)論

大腦為人工智能提供洞察力的觀念并不新穎；實際上，它是ANN研究的基礎(chǔ)。ANN代表了一種試圖捕捉神經(jīng)系統(tǒng)某些關(guān)鍵方面的嘗試：許多簡單的單元，通過突觸連接，并行運行。隨后的一些進展也來自神經(jīng)科學(xué)。例如，最近成功的強化學(xué)習(xí)算法，如AlphaGo Zero，從動物學(xué)習(xí)研究中汲取靈感。同樣，CNN的靈感來自視覺皮層的結(jié)構(gòu)。 但人工智能的進一步發(fā)展是否會從動物大腦的研究中受益仍有爭議。也許我們已經(jīng)從動物的大腦中學(xué)到了我們所需要的一切。正如飛機與鳥類的區(qū)別一樣，人們可以想象，智能機器的工作原理與生物有機體的工作原理完全不同。我們認為這是不可能的，因為我們對智能機器的需求，有時被錯誤地稱為“通用人工智能”，根本不是通用的；如此緊密地匹配人的能力，只有與大腦類似的機器才能實現(xiàn)它。 從某種程度上說，飛機遠比鳥類優(yōu)越：它能在更高的高度、更長的距離、更大的載貨能力下飛行得更快。但是飛機不能潛入水中捕魚，也不能從樹上無聲地俯沖下來抓老鼠。同樣地，現(xiàn)代計算機在某些方面已經(jīng)大大超過了人類的計算能力（如國際象棋），但在被定義為通用智能的一組明確的專門任務(wù)上卻無法與人類匹敵。 如果我們想要設(shè)計一個可以做我們所做的事情的系統(tǒng)，我們就需要根據(jù)相同的設(shè)計原則來構(gòu)建它。