日本ATR國(guó)際電氣通信先端技術(shù)研究所和日本京都大學(xué)的研究人員稱他們創(chuàng)造了一個(gè)能夠讀取人的腦波的AI。他們構(gòu)建了一個(gè)神經(jīng)網(wǎng)絡(luò)，可以解讀并且準(zhǔn)確地再現(xiàn)一個(gè)人看到的圖像或想象的圖像。

日本ATR國(guó)際電氣通信先端技術(shù)研究所和日本京都大學(xué)的研究人員稱他們創(chuàng)造了一個(gè)能夠讀取人的腦波的AI。他們構(gòu)建了一個(gè)神經(jīng)網(wǎng)絡(luò)，不僅可以讀取，而且能夠重建你的思維。

具體來(lái)說(shuō)，根據(jù)ZME Science網(wǎng)站的報(bào)道，“研究團(tuán)隊(duì)創(chuàng)建了一種算法，可以解讀并且準(zhǔn)確地再現(xiàn)（reproduce）一個(gè)人看到的圖像或想象的圖像。”

深度圖像重建的結(jié)構(gòu)圖。對(duì)輸入圖像的像素值進(jìn)行了優(yōu)化，使圖像的DNN特征與fMRI活動(dòng)中解碼的特征相似。一個(gè)深度生成器網(wǎng)絡(luò)（DGN）可以選擇與DNN組合以產(chǎn)生自然的圖像，其中優(yōu)化是在DGN的輸入空間中執(zhí)行的。Credit:bioRxiv(2017). DOI: 10.1101/240317

研究論文的標(biāo)題是“利用人類大腦活動(dòng)的深度圖像重建”（Deep image reconstruction from human brain activity），論文寫(xiě)道，研究者能夠根據(jù)一個(gè)人正在觀察的場(chǎng)景來(lái)復(fù)制一個(gè)圖像。這些AI創(chuàng)造的圖像與人實(shí)際看到的并不完全一樣，只是模糊地表現(xiàn)了人的思維。不過(guò)，AI還是能夠利用腦電波來(lái)重建這些圖像。

盡管距離實(shí)際使用可能還需幾十年的時(shí)間，但是這項(xiàng)技術(shù)使我們距離創(chuàng)造能夠閱讀和理解人類思維的系統(tǒng)更近了一步。

試圖馴服一臺(tái)計(jì)算機(jī)來(lái)解碼心理意象（mental image）并不是新的想法。事實(shí)上，這一研究已經(jīng)持續(xù)了許多年，研究人員從2011年起就開(kāi)始試圖重建大腦的畫(huà)面，例如電影片段、照片，甚至夢(mèng)境。但是，以前所有的系統(tǒng)在范圍和能力上都很有限。有些只能處理人臉形狀之類狹窄的區(qū)域，有些只能通過(guò)預(yù)先設(shè)計(jì)好的圖像或類別（例如，“鳥(niǎo)”、“蛋糕”、“人”等）來(lái)重建圖像。到目前為止，所有這些技術(shù)都要求有預(yù)存的數(shù)據(jù)；它們起作用的方式是將受試者的大腦活動(dòng)與之前記錄的人正在觀察圖像時(shí)的大腦活動(dòng)相匹配。

但研究人員稱，他們的新算法可以從零開(kāi)始生成新的、可識(shí)別的圖像，甚至可以生成僅僅是人的大腦想象出來(lái)的形狀。

這一切都始于功能性核磁共振成像(fMRI)技術(shù)，這是一種測(cè)量大腦血液流動(dòng)的技術(shù)，并用其結(jié)果判斷神經(jīng)活動(dòng)。研究團(tuán)隊(duì)將3名受試者的視覺(jué)處理區(qū)域以2毫米分辨率掃描。掃描執(zhí)行了數(shù)次。在每一次掃描中，這3名受試者被要求觀看1000張以上的圖片，圖片包括一條魚(yú)、一架飛機(jī)和一些簡(jiǎn)單的彩色圖形。

一種新的算法，利用大腦活動(dòng)來(lái)重建（底下兩行）所觀察的圖片（第一行）。 圖片來(lái)源：Kamitani Lab

該研究團(tuán)隊(duì)的目標(biāo)是理解對(duì)圖像反應(yīng)的大腦活動(dòng)，并最終通過(guò)計(jì)算機(jī)程序生成能夠在大腦中產(chǎn)生類似反應(yīng)的圖像。

團(tuán)隊(duì)最近開(kāi)始取得成果。研究人員使用一個(gè)深度神經(jīng)網(wǎng)絡(luò)（DNN）和幾層簡(jiǎn)單的處理元素，而不是一張接一張地向受試者展示圖像，直到計(jì)算機(jī)得到正確的結(jié)果。

神谷之康（Yukiyasu Kamitani）是這項(xiàng)研究的主要作者，他說(shuō)：“我們相信深度神經(jīng)網(wǎng)絡(luò)可以很好地表示大腦的層級(jí)式處理?！?/p>

“使用DNN，我們可以從大腦視覺(jué)系統(tǒng)的不同層級(jí)（從簡(jiǎn)單的光對(duì)比度到更有意義的內(nèi)容，例如面部）中提取信息?！?/p>

使用decoder，研究人員創(chuàng)建了大腦對(duì)DNN中圖像的反應(yīng)。然后，他們不再需要 fMRI 成像測(cè)量，也不再使用DNN翻譯作為模板。

接下來(lái)是一個(gè)重復(fù)的過(guò)程，在這個(gè)過(guò)程中，系統(tǒng)創(chuàng)建圖像，試圖讓DNN對(duì)所需的模板做出相似的反應(yīng)——無(wú)論是動(dòng)物還是彩色的玻璃窗。 這是一個(gè)試驗(yàn)和錯(cuò)誤的過(guò)程，其中程序以中立的圖像開(kāi)始，并經(jīng)過(guò)200次的重復(fù)緩慢地進(jìn)行改進(jìn)。為了了解它與想要的圖像的接近程度，系統(tǒng)比較了模板和DNN對(duì)生成圖像的響應(yīng)之間的差異。這樣的計(jì)算允許它逐個(gè)像素地朝著理想的圖像改進(jìn)。

為了提高最終圖像的準(zhǔn)確性，團(tuán)隊(duì)利用了一個(gè)“深度生成器網(wǎng)絡(luò)”(deep generator network，DGN)，這是一種經(jīng)過(guò)預(yù)訓(xùn)練的算法，可以從原始輸入中創(chuàng)建逼真的圖像。從本質(zhì)上來(lái)說(shuō)，DGN是將完成后的細(xì)節(jié)放在圖像上，使其看起來(lái)更自然。

在DGN完成對(duì)照片的修補(bǔ)后，一個(gè)中立的人類觀察者被要求對(duì)這項(xiàng)工作進(jìn)行評(píng)價(jià)。他會(huì)被展示了兩張圖片供選擇，并被提問(wèn)哪張圖片是算法重建的。作者在論文中寫(xiě)道，人類觀察者能夠在99%的時(shí)候能夠正確選擇系統(tǒng)生成的圖像。

接下來(lái)是將所有的工作與“讀心術(shù)”的過(guò)程結(jié)合起來(lái)。他們要求三名受試者回憶之前展示給他們的圖像，并掃描他們的大腦。在個(gè)過(guò)程有點(diǎn)棘手，但結(jié)果仍然令人興奮——這個(gè)方法對(duì)照片效果不好，但是對(duì)于形狀，生成器在83%的時(shí)候能夠創(chuàng)建可識(shí)別的圖像。

需要注意的是，這一工作看起來(lái)非常整潔和謹(jǐn)慎。他們的系統(tǒng)運(yùn)行得很好，可能瓶頸不在于軟件，而在于我們測(cè)量大腦活動(dòng)的能力?；蛟S我們需要等待更好的fMRI成像技術(shù)和其他大腦成像技術(shù)的出現(xiàn)。