考慮下圖的動(dòng)物。 如果您識(shí)別出它，快速激活大腦中一系列的神經(jīng)元，就會(huì)將其圖像與其名稱和您知道的其他信息（棲息地，大小，飲食，壽命等）聯(lián)系起來。 但是，如果像我一樣，您以前從未見過這種動(dòng)物，那么現(xiàn)在您的腦子里就會(huì)遍歷以往見過的各種動(dòng)物，比如尾巴，耳朵，爪子，鼻子和其他所有特征，以確定該奇怪生物屬于哪個(gè)。 您的生物神經(jīng)網(wǎng)絡(luò)正在重新處理您過去的經(jīng)驗(yàn)和記憶以應(yīng)對(duì)新情況和事物。

經(jīng)過數(shù)百萬年的進(jìn)化磨礪，我們的大腦是非常高效的處理機(jī)器，將我們從感官輸入中接收到的大量信息分類，并將已知的信息與它們各自的類別聯(lián)系起來。

順便說一下，那張照片是一只印度靈貓，是一種瀕臨滅絕的物種，與貓，狗和嚙齒動(dòng)物無關(guān)。 應(yīng)該將其放在自己的單獨(dú)類別中去。 現(xiàn)在，您有了一個(gè)新的存儲(chǔ)類來放置它，下次再見到你可能一眼辨認(rèn)出來。

盡管我們還沒有學(xué)到很多關(guān)于大腦如何工作的知識(shí)，但我們正處于（或者可能仍處于起步階段）創(chuàng)建自己的人類大腦版本的時(shí)代。 經(jīng)過數(shù)十年的研究和開發(fā)，研究人員已經(jīng)設(shè)法創(chuàng)建了深度神經(jīng)網(wǎng)絡(luò)，有時(shí)在特定任務(wù)中與人類的表現(xiàn)相匹配或超越。

但是，關(guān)于人工智能的討論中反復(fù)出現(xiàn)的主題之一是，深度學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)，是否類似于我們大腦的生物神經(jīng)網(wǎng)絡(luò)。 許多科學(xué)家認(rèn)同，人工神經(jīng)網(wǎng)絡(luò)是對(duì)大腦結(jié)構(gòu)的非常粗略的模仿，有些人認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)是統(tǒng)計(jì)推理引擎，不能反映大腦的許多功能。 他們相信，大腦包含許多超越生物神經(jīng)元的聯(lián)系和奇觀。

最近發(fā)表在同行評(píng)審雜志《神經(jīng)元》上的一篇論文挑戰(zhàn)了人腦功能的傳統(tǒng)觀點(diǎn)。 這篇論文的標(biāo)題為“直接適應(yīng)自然：生物和人工神經(jīng)網(wǎng)絡(luò)的進(jìn)化觀點(diǎn)”，討論了與許多科學(xué)家的看法，相反的人腦是一種蠻力大數(shù)據(jù)處理器，其參數(shù)適合于許多實(shí)例。 這種描述通常是針對(duì)深度神經(jīng)網(wǎng)絡(luò)的。

這份引人深思的論文由普林斯頓大學(xué)的研究人員撰寫，對(duì)神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)及其生物學(xué)對(duì)應(yīng)物之間的類比，以及創(chuàng)建功能更強(qiáng)大的人工智能系統(tǒng)的未來方向提供了不同的見解。

人工智能的可解釋性挑戰(zhàn)

神經(jīng)科學(xué)家通常認(rèn)為，大腦的復(fù)雜功能可以分解為簡(jiǎn)單的，可解釋的模型。

例如，我可以解釋我對(duì)靈貓圖片的分析所經(jīng)歷的復(fù)雜的心理過程（當(dāng)然，在我知道它的名字之前），例如：“它絕對(duì)不是鳥，因?yàn)樗鼪]有羽毛和翅膀。 當(dāng)然不是魚。 毛茸茸的外套可能是哺乳動(dòng)物。 耳朵尖的人可能是貓，但脖子有點(diǎn)長(zhǎng)，而且身體形狀有些怪異。 鼻子有點(diǎn)像嚙齒動(dòng)物，但腿比大多數(shù)嚙齒動(dòng)物都要長(zhǎng)……”，最后我得出的結(jié)論是，它可能是一種深?yuàn)W的貓。 （以我的辯護(hù)，如果您堅(jiān)持的話，那是貓科動(dòng)物的遠(yuǎn)親。）

但是，人工神經(jīng)網(wǎng)絡(luò)通常被視為無法解釋的黑匣子。 他們沒有提供有關(guān)決策過程的豐富解釋。 當(dāng)涉及由數(shù)百個(gè)（或數(shù)千個(gè)層）和數(shù)百萬個(gè)（或數(shù)十億個(gè)）或參數(shù)組成的復(fù)雜深度神經(jīng)網(wǎng)絡(luò)時(shí)，更加如此。

在訓(xùn)練階段，深度神經(jīng)網(wǎng)絡(luò)會(huì)檢查數(shù)百萬張圖像及其相關(guān)標(biāo)簽，然后盲目地將其數(shù)百萬個(gè)參數(shù)調(diào)整為從這些圖像中提取的模式。 然后，這些調(diào)整后的參數(shù)使它們可以確定新圖像屬于哪個(gè)類別。 他們不了解我剛才提到的更高層次的概念（脖子，耳朵，鼻子，腿等），只是在尋找圖像像素之間的一致性。

《直接適應(yīng)自然》的作者承認(rèn)，生物和人工神經(jīng)網(wǎng)絡(luò)在其電路結(jié)構(gòu)、學(xué)習(xí)規(guī)則和目標(biāo)功能方面存在很大差異。

研究人員寫道：“但是，鑒于網(wǎng)絡(luò)的輸入或環(huán)境，所有網(wǎng)絡(luò)都使用迭代優(yōu)化過程來追求目標(biāo)，這一過程我們稱為‘直接擬合’?！?“直接擬合”一詞的靈感來自于進(jìn)化過程中觀察到的盲擬合過程，這是一種優(yōu)雅而漫不經(jīng)心的優(yōu)化過程，在此過程中，不同的生物通過長(zhǎng)期進(jìn)行的一系列隨機(jī)遺傳轉(zhuǎn)化來適應(yīng)其環(huán)境。

作者寫道，這個(gè)框架削弱了傳統(tǒng)實(shí)驗(yàn)方法的假設(shè)，并出乎意料地與發(fā)展心理學(xué)和生態(tài)心理學(xué)中長(zhǎng)期存在的爭(zhēng)論產(chǎn)生了聯(lián)系。

人工智能界面臨的另一個(gè)問題是可解釋性和泛化性之間的權(quán)衡。 科學(xué)家和研究人員一直在尋找可以在更大范圍內(nèi)推廣AI功能的新技術(shù)和結(jié)構(gòu)。 經(jīng)驗(yàn)表明，對(duì)于人工神經(jīng)網(wǎng)絡(luò)，規(guī)?？梢蕴岣叻夯阅芰?。 處理硬件的進(jìn)步和大型計(jì)算資源的可用，性使研究人員能夠在合理的時(shí)間內(nèi)創(chuàng)建和訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。 事實(shí)證明，這些網(wǎng)絡(luò)在執(zhí)行復(fù)雜任務(wù)（例如計(jì)算機(jī)視覺和自然語言處理）方面具有顯著的優(yōu)勢(shì)。

然而，人工神經(jīng)網(wǎng)絡(luò)的問題在于，它們變得越大，就會(huì)導(dǎo)致它們變得越不透明。 由于其邏輯分布在數(shù)以百萬計(jì)的參數(shù)中，因此與為每個(gè)特征分配一個(gè)系數(shù)的簡(jiǎn)單回歸模型相比，它們變得難以解釋。 簡(jiǎn)化人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（例如，減少層次或變量的數(shù)量）將使解釋它們?nèi)绾螌⒉煌妮斎胩卣饔成涞狡浣Y(jié)果變得更加容易。 但是，較簡(jiǎn)單的模型也無法處理自然界中復(fù)雜而混亂的數(shù)據(jù)。

我們認(rèn)為神經(jīng)計(jì)算是建立在蠻力直接擬合基礎(chǔ)上的，蠻力直接擬合依賴于過度參數(shù)化的優(yōu)化算法來提高預(yù)測(cè)能力（泛化），而無需明確建模世界的基本生成結(jié)構(gòu)。

人工智能的泛化問題

假設(shè)您要?jiǎng)?chuàng)建一個(gè)AI系統(tǒng)來檢測(cè)圖像和圖片中的椅子。 理想情況下，您將為算法提供一些椅子圖像，并且能夠檢測(cè)所有類型的正常以及古怪和時(shí)髦的圖像。

這是人工智能長(zhǎng)期以來追求的目標(biāo)之一，創(chuàng)建可以很好地“外推”的模型。 這意味著，在給出問題域的一些示例的情況下，該模型應(yīng)該能夠提取基本規(guī)則，并將其應(yīng)用于以前從未見過的大量新穎示例中。

當(dāng)處理簡(jiǎn)單的（大多數(shù)是人工的）問題域時(shí)，可能可以通過將深層神經(jīng)網(wǎng)絡(luò)調(diào)整為一小組訓(xùn)練數(shù)據(jù)來達(dá)到推斷水平。 例如，在具有有限特征（例如銷售預(yù)測(cè)和庫(kù)存管理）的域中，可以達(dá)到這種概括水平。 （但是正如我們?cè)谶@些頁面中所看到的，當(dāng)環(huán)境發(fā)生根本性變化時(shí)，即使是這些簡(jiǎn)單的圖像，AI模型也可能會(huì)崩潰。）

但是，當(dāng)涉及到諸如圖像和文本之類的雜亂無章的數(shù)據(jù)時(shí)，小數(shù)據(jù)方法往往會(huì)失敗。 在圖像中，每個(gè)像素有效地變成一個(gè)變量，因此分析一組100×100像素圖像成為10，000個(gè)維的問題，每個(gè)維都有成千上萬個(gè)可能性。

普林斯頓大學(xué)的研究人員寫道：“在參數(shù)空間的不同部分，存在復(fù)雜的非線性和變量之間的相互作用的條件下，進(jìn)行有限的數(shù)據(jù)推斷必然會(huì)失敗。”

許多認(rèn)知科學(xué)家認(rèn)為，人類的大腦可以依賴內(nèi)隱生成規(guī)則，而不需要接觸來自環(huán)境的豐富數(shù)據(jù)。另一方面，人們普遍認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)不具備這樣的能力。

將神經(jīng)網(wǎng)絡(luò)直接擬合到問題域

本質(zhì)上，有了足夠的樣本，您將能夠捕獲夠大的問題域。 這樣就可以通過簡(jiǎn)單的計(jì)算在樣本之間進(jìn)行內(nèi)插，而無需提取抽象規(guī)則來預(yù)測(cè)超出訓(xùn)練示例范圍的場(chǎng)景。

隨著計(jì)算硬件的發(fā)展，過去十年來，非常大的數(shù)據(jù)集的可用性使人們可以創(chuàng)建直接擬合的人工神經(jīng)網(wǎng)絡(luò)。 互聯(lián)網(wǎng)擁有來自各個(gè)領(lǐng)域的各種數(shù)據(jù)。 科學(xué)家從Wikipedia，社交媒體網(wǎng)絡(luò)，圖像存儲(chǔ)庫(kù)等創(chuàng)建大量的深度學(xué)習(xí)數(shù)據(jù)集。 物聯(lián)網(wǎng)（IoT）的出現(xiàn)也使從物理環(huán)境（道路，建筑物，天氣，身體等）的豐富采樣成為可能。

在許多類型的應(yīng)用程序（即監(jiān)督學(xué)習(xí)算法）中，收集的數(shù)據(jù)仍然需要大量的體力勞動(dòng)才能使每個(gè)樣本與其結(jié)果相關(guān)聯(lián)。 但是，盡管如此，大數(shù)據(jù)的可用性使直接擬合法可以應(yīng)用于無法由少量樣本和一般規(guī)則表示的復(fù)雜域。

超越系統(tǒng)：神經(jīng)網(wǎng)絡(luò)

然而，不可否認(rèn)的一件事是，人類實(shí)際上確實(shí)從其環(huán)境中提取規(guī)則，并發(fā)展出用于處理和分析新信息的抽象思想和概念。 這種復(fù)雜的符號(hào)操作使人類能夠比較和繪制不同任務(wù)之間的類比，并執(zhí)行有效的轉(zhuǎn)移學(xué)習(xí)。 理解和運(yùn)用因果關(guān)系仍然是人腦的獨(dú)特特征。

這些功能不是從單個(gè)神經(jīng)網(wǎng)絡(luò)的激活和交互中產(chǎn)生的，而是跨許多思想和世代積累的知識(shí)的結(jié)果。

Hasson和Nastase承認(rèn)，這是直接擬合模型不足的領(lǐng)域。 從科學(xué)上講，這稱為系統(tǒng)1和系統(tǒng)2思維。 系統(tǒng)1是指可以通過死記硬背來學(xué)習(xí)的任務(wù)，例如識(shí)別人臉，行走，跑步，駕駛。 您可以在不知不覺中執(zhí)行其中的大多數(shù)功能，同時(shí)還可以執(zhí)行其他一些任務(wù)（例如，與他人同時(shí)走路和說話，開車和收聽廣播）。 但是，系統(tǒng)2需要專注和有意識(shí)的思考（您可以在慢跑時(shí)解決微分方程嗎？）。

那么，我們需要開發(fā)具有系統(tǒng) 2功能的AI算法嗎？ 這是研究界爭(zhēng)論不休的領(lǐng)域。 包括深度學(xué)習(xí)先驅(qū)Yoshua Bengio在內(nèi)的一些科學(xué)家認(rèn)為，基于純神經(jīng)網(wǎng)絡(luò)的系統(tǒng)最終將導(dǎo)致系統(tǒng)2級(jí)人工智能。 該領(lǐng)域的新研究表明，先進(jìn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)體現(xiàn)了以前被認(rèn)為是深度學(xué)習(xí)無法使用的符號(hào)操作能力。

專家稱：盡管人類的思想激勵(lì)著我們接觸恒星，但這是建立在系統(tǒng)1的數(shù)十億個(gè)直接擬合參數(shù)的基礎(chǔ)上的。因此，直接擬合插值不是最終目標(biāo)，而是起點(diǎn) 理解高階認(rèn)知架構(gòu)的要點(diǎn)。 系統(tǒng)2不會(huì)從其他基質(zhì)中產(chǎn)生。

另一種觀點(diǎn)是創(chuàng)建混合系統(tǒng)，將經(jīng)典的符號(hào)人工智能與神經(jīng)網(wǎng)絡(luò)結(jié)合起來。 在過去的一年中，該領(lǐng)域備受關(guān)注，并且有幾個(gè)項(xiàng)目表明基于規(guī)則的AI和神經(jīng)網(wǎng)絡(luò)可以相互補(bǔ)充，以創(chuàng)建比其各個(gè)部分的總和更強(qiáng)大的系統(tǒng)。

專家表示：“將網(wǎng)絡(luò)集成到體內(nèi)，以使其能夠與世界上的對(duì)象進(jìn)行交互，對(duì)于促進(jìn)在新環(huán)境中的學(xué)習(xí)非常必要。” “尋求一種語言模型來從文本語料庫(kù)中的相鄰單詞中學(xué)習(xí)單詞的含義，會(huì)使網(wǎng)絡(luò)處于高度限制性和狹窄的環(huán)境中。 如果網(wǎng)絡(luò)具有身體并且可以通過與單詞相關(guān)的方式與對(duì)象和人進(jìn)行交互，則可能會(huì)更好地理解上下文中單詞的含義。 與直覺相反，在神經(jīng)網(wǎng)絡(luò)上強(qiáng)加這些“限制”（例如，身體）會(huì)迫使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更多有用的表示。”（本文最初由Ben Dickson在TechTalks上發(fā)表）。