一名已經(jīng)15年沒有說話的癱瘓男子，正使用腦機(jī)接口來解碼他想說的話（一次一個詞）。加州大學(xué)舊金山分校

電腦屏幕顯示問題“你想要一些水嗎?”下面有三個點(diǎn)在閃爍，緊跟著幾個字，一個一個地出現(xiàn):“不，我不渴。”

大腦的活動使這些想法具體化——自從中風(fēng)破壞了他的大腦和身體其他部分的連接，他幾乎癱瘓后，已經(jīng)有15年沒有說話了。他使用了許多其他技術(shù)進(jìn)行交流；最近，他使用了一個附在棒球帽上的探針在觸摸屏上敲出文字，這種方法很有效，但很慢。他自愿參加了我的研究小組在加州大學(xué)舊金山分校(University of California, San Francisco)的臨床試驗，希望開創(chuàng)一種更快的方法。到目前為止，他只在研究過程中使用過這種大腦轉(zhuǎn)換文本的系統(tǒng)，但他希望自己能夠幫助我們把這項技術(shù)發(fā)展成像他這樣的人可以在日常生活中使用的東西。

在我們的初步研究中，我們在志愿者的大腦表面覆蓋了一個薄而靈活的電極陣列。電極記錄神經(jīng)信號，并將其發(fā)送到語音解碼器，由語音解碼器將信號翻譯成該男子想要說的話。這是第一次一個癱瘓的不能說話的人使用神經(jīng)技術(shù)從大腦中傳播整個單詞，而不僅僅是字母。

這項試驗是十多年來對控制語言的潛在大腦機(jī)制的研究的高潮，我們對迄今為止所取得的成就感到無比自豪。但我們才剛剛開始。我在加州大學(xué)舊金山分校的實(shí)驗室正在與世界各地的同事合作，使這項技術(shù)足夠安全、穩(wěn)定、可靠，并且可以在家里日常使用。我們也在努力改進(jìn)系統(tǒng)的性能，所以這是值得的。

01

神經(jīng)修復(fù)術(shù)是如何工作的

第一個版本的腦機(jī)接口讓志愿者掌握了50個實(shí)用單詞。加州大學(xué)舊金山分校

神經(jīng)修復(fù)術(shù)在過去的20年里取得了長足的進(jìn)展。用于聽覺的假體植入物已經(jīng)發(fā)展得最遠(yuǎn)了，它們的設(shè)計與內(nèi)耳的耳蝸神經(jīng)連接，或直接進(jìn)入聽覺腦干。還有大量關(guān)于視網(wǎng)膜和大腦植入視覺的研究，以及讓義手患者獲得觸覺的工作。所有這些感覺義肢從外界獲取信息，并將其轉(zhuǎn)化為電信號，輸入大腦的處理中心。

相反，神經(jīng)假體記錄大腦的電活動，并將其轉(zhuǎn)換為控制外界事物的信號，如機(jī)械臂、視頻游戲控制器或電腦屏幕上的光標(biāo)。最后一種控制方式已經(jīng)被一些團(tuán)體使用，比如“大腦之門”(BrainGate)聯(lián)盟，使癱瘓的人能夠打字--有時一次一個字母，有時使用自動補(bǔ)全功能來加快打字過程。

為了實(shí)現(xiàn)用大腦打字的功能，通常要在大腦中控制運(yùn)動的部分--運(yùn)動皮層中植入傳感器。然后，用戶想象某些物理動作來控制在虛擬鍵盤上移動的光標(biāo)。另一種方法是我的一些合作者在2021年的一篇論文中率先提出的，他讓一名用戶想象自己拿著筆在紙上寫字，在運(yùn)動皮層中產(chǎn)生信號，然后將這些信號翻譯成文本。這種方法創(chuàng)造了速度的新紀(jì)錄，使志愿者每分鐘能寫大約18個單詞。

在我們實(shí)驗室的研究中，我們采取了一種更雄心勃勃的方法。我們不是解碼用戶移動光標(biāo)或鋼筆的意圖，而是解碼控制聲道的意圖，聲道由數(shù)十塊控制喉頭(通常稱為喉頭)、舌頭和嘴唇的肌肉組成。

這個看似簡單的對話設(shè)置是由復(fù)雜的神經(jīng)技術(shù)硬件和解碼他的大腦信號的機(jī)器學(xué)習(xí)系統(tǒng)實(shí)現(xiàn)的。加州大學(xué)舊金山分校

我在十多年前就開始在這個領(lǐng)域工作了。作為一名神經(jīng)外科醫(yī)生，我經(jīng)常看到一些嚴(yán)重受傷、無法說話的病人。令我驚訝的是，在許多情況下，大腦損傷的位置與我在醫(yī)學(xué)院學(xué)到的綜合癥并不匹配，我意識到關(guān)于語言是如何在大腦中處理的，我們還有很多要學(xué)習(xí)。我決定研究語言的基礎(chǔ)神經(jīng)生物學(xué)，如果可能的話，開發(fā)一種腦機(jī)接口(BMI)，為失去交流能力的人恢復(fù)交流。除了我的神經(jīng)外科背景，我的團(tuán)隊還擁有語言學(xué)、電子工程、計算機(jī)科學(xué)、生物工程和醫(yī)學(xué)方面的專業(yè)知識。我們正在進(jìn)行的臨床試驗是測試硬件和軟件，以探索我們的BMI的極限，并確定我們可以恢復(fù)什么樣的語音。

02

說話的肌肉:與說話有關(guān)的肌肉

語言是區(qū)分人類的行為之一。許多其他物種也會發(fā)聲，但只有人類以無數(shù)種不同的方式組合一組聲音來代表他們周圍的世界。這也是一種非常復(fù)雜的運(yùn)動動作--一些專家認(rèn)為這是人類最復(fù)雜的運(yùn)動動作。說話是通過聲道調(diào)節(jié)氣流的產(chǎn)物；每一次發(fā)聲，我們都通過在喉聲帶中產(chǎn)生可聽到的振動，改變嘴唇、下巴和舌頭的形狀來塑造呼吸。

聲道的許多肌肉與以關(guān)節(jié)為基礎(chǔ)的肌肉(如手臂和腿部的肌肉)完全不同，后者只能以幾種規(guī)定的方式運(yùn)動。例如，控制嘴唇的肌肉是括約肌，而組成舌頭的肌肉更多的是由液壓控制的--舌頭主要由固定體積的肌肉組織組成，所以移動舌頭的一部分會改變其他地方的形狀?？刂七@種肌肉運(yùn)動的物理原理與肱二頭肌或腿筋完全不同。

因為有這么多的肌肉參與其中，而且每一塊都有這么多的自由度，本質(zhì)上有無限多的可能的構(gòu)型。但當(dāng)人們說話時，他們使用的核心動作相對較少(在不同的語言中有些不同)。例如，當(dāng)說英語的人發(fā)“d”音時，他們會把舌頭放在牙齒后面;當(dāng)他們發(fā)“k”音時，他們的舌頭后部會向上觸及口腔后部的天花板。很少有人意識到說最簡單的單詞需要精確、復(fù)雜和協(xié)調(diào)的肌肉動作。

團(tuán)隊成員大衛(wèi)·摩西(David Moses)看著病人的腦電波讀數(shù)(左屏)和解碼系統(tǒng)的活動顯示(右屏)。加州大學(xué)舊金山分校

我的研究小組專注于大腦運(yùn)動皮層的部分，這些部分向面部、喉嚨、口腔和舌頭的肌肉發(fā)送運(yùn)動指令。這些大腦區(qū)域是一心多用的:它們控制產(chǎn)生語言的肌肉運(yùn)動，也控制吞咽、微笑和接吻的肌肉運(yùn)動。

要用有效的方法研究這些區(qū)域的神經(jīng)活動，既需要毫米量級的空間分辨率，也需要毫秒量級的時間分辨率。歷史上，非侵入性成像系統(tǒng)只能提供其中一種，而不能同時提供兩者。當(dāng)我們開始這項研究時，我們發(fā)現(xiàn)很少有數(shù)據(jù)表明大腦活動模式如何與言語中最簡單的成分(音素和音節(jié))相關(guān)聯(lián)。

在此，我們非常感謝參與研究的志愿者。在加州大學(xué)舊金山分校癲癇中心，準(zhǔn)備手術(shù)的患者通常會在他們的大腦表面放置幾天的電極，這樣我們就可以在他們癲癇發(fā)作時繪制出相關(guān)的區(qū)域。在接線中斷的那幾天里，許多患者自愿參加神經(jīng)學(xué)研究實(shí)驗，利用他們大腦中的電極記錄。我的小組讓我們研究他們說話時的神經(jīng)活動模式。

所涉及的硬件稱為皮層電描記術(shù)(ECoG)。ECoG系統(tǒng)中的電極不穿透大腦，而是位于大腦表面。我們的陣列可以包含幾百個電極傳感器，每個電極傳感器記錄數(shù)千個神經(jīng)元。到目前為止，我們使用的數(shù)組有256個通道。我們早期研究的目標(biāo)是發(fā)現(xiàn)人們說簡單音節(jié)時皮質(zhì)活動的模式。我們要求志愿者說出特定的聲音和單詞，同時記錄他們的神經(jīng)模式，跟蹤他們舌頭和嘴巴的運(yùn)動。有時我們會讓他們涂上彩色的面部顏料，然后用計算機(jī)視覺系統(tǒng)提取運(yùn)動學(xué)手勢；其他時候，我們使用放置在患者頜骨下的超聲波機(jī)來成像他們移動的舌頭。

該系統(tǒng)首先將一個柔性電極陣列覆蓋在患者的大腦上，以接收來自運(yùn)動皮層的信號。該陣列專門捕捉針對患者聲道的運(yùn)動指令。固定在頭骨上的一個端口引導(dǎo)連接到計算機(jī)系統(tǒng)的電線，計算機(jī)系統(tǒng)將大腦信號解碼，并將它們翻譯成患者想要說的話。然后他的答案會出現(xiàn)在顯示屏上。Chris Philpot

我們用這些系統(tǒng)將神經(jīng)模式與聲道的運(yùn)動相匹配。一開始我們對神經(jīng)信號解碼有很多疑問。一種可能是，神經(jīng)活動為特定的肌肉編碼了方向，大腦本質(zhì)上控制這些肌肉，就像按鍵盤上的鍵一樣。另一個想法是，編碼決定了肌肉收縮的速度。還有一種是，神經(jīng)活動與肌肉收縮的協(xié)調(diào)模式相一致，肌肉收縮用于產(chǎn)生某種聲音。(例如，發(fā)出“aaah”的聲音時，舌頭和下巴都需要下垂。)我們發(fā)現(xiàn)，有一個控制聲道不同部分的表征圖，不同的大腦區(qū)域以協(xié)調(diào)的方式結(jié)合在一起，產(chǎn)生流暢的講話。

03

人工智能在當(dāng)今神經(jīng)科技中的作用

我們的工作依賴于人工智能在過去十年中的進(jìn)步。我們可以將收集到的關(guān)于神經(jīng)活動和語音運(yùn)動學(xué)的數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中，然后讓機(jī)器學(xué)習(xí)算法在兩個數(shù)據(jù)集之間的關(guān)聯(lián)中尋找模式。在神經(jīng)活動和生成的語音之間建立聯(lián)系是可能的，并使用這個模型生成計算機(jī)生成的語音或文本。但這種技術(shù)無法訓(xùn)練針對癱瘓患者的算法，因為我們?nèi)鄙僖话氲臄?shù)據(jù)：我們有神經(jīng)活動模式，但沒有相應(yīng)的肌肉運(yùn)動。

我們意識到，使用機(jī)器學(xué)習(xí)更聰明的方法是把問題分解成兩個步驟。首先，解碼器將來自大腦的信號翻譯成聲道肌肉的預(yù)期動作，然后將這些預(yù)期動作翻譯成合成的語音或文本。

我們稱之為仿生學(xué)方法，因為它復(fù)制了生物學(xué)；在人體中，神經(jīng)活動直接負(fù)責(zé)聲道的運(yùn)動，只間接負(fù)責(zé)聲音的產(chǎn)生。這種方法的一大優(yōu)勢在于訓(xùn)練解碼器，以完成將肌肉運(yùn)動翻譯成聲音的第二步。因為聲道運(yùn)動和聲音之間的關(guān)系是相當(dāng)普遍的，我們能夠訓(xùn)練解碼器從大的數(shù)據(jù)集，從沒有癱瘓的人。

04

一個測試語言神經(jīng)假體的臨床試驗

下一個巨大的挑戰(zhàn)是將這項技術(shù)帶給真正能從中受益的人。

美國國立衛(wèi)生研究院(NIH)正在資助我們從2021年開始的試點(diǎn)試驗。我們已經(jīng)有兩名植入了ECoG陣列的癱瘓志愿者，我們希望在未來幾年有更多志愿者加入進(jìn)來。我們的主要目標(biāo)是提高他們的溝通能力，我們用每分鐘的字?jǐn)?shù)來衡量他們的表現(xiàn)。一個成年人在全鍵盤上打字的平均速度是每分鐘40個單詞，最快的打字者的速度達(dá)到每分鐘80多個單詞。

Edward Chang在神經(jīng)外科實(shí)踐中遇到的病人啟發(fā)了他開發(fā)一種大腦語音系統(tǒng)。BarbaraRies

我們認(rèn)為接入語音系統(tǒng)可以提供更好的結(jié)果。人類說話比打字快得多：一個說英語的人一分鐘可以輕松說出150個單詞。我們想讓癱瘓的人以每分鐘100字的速度交流。為了實(shí)現(xiàn)這一目標(biāo)，我們還有很多工作要做，但我們認(rèn)為我們的方法使它成為一個可行的目標(biāo)。

植入手術(shù)是常規(guī)的。首先，外科醫(yī)生切除一小部分頭骨；接下來，靈活的ECoG陣列被輕輕地放置在皮質(zhì)表面。然后將一個小端口固定在頭骨上，并通過頭皮上的一個單獨(dú)的開口出口。我們目前需要這個連接到外部電線的端口來傳輸來自電極的數(shù)據(jù)，但我們希望在未來使該系統(tǒng)成為無線的。

我們也考慮過使用穿透微電極，因為它們可以記錄更小的神經(jīng)群體，因此可能提供更多關(guān)于神經(jīng)活動的細(xì)節(jié)。但在臨床應(yīng)用方面，目前的硬件并不像ECoG那樣健壯和安全，特別是多年來。

另一個需要考慮的問題是，穿透電極通常需要每天重新校準(zhǔn)，才能將神經(jīng)信號轉(zhuǎn)化為清晰的指令。對神經(jīng)設(shè)備的研究表明，設(shè)置速度和性能可靠性是讓人們使用該技術(shù)的關(guān)鍵。這就是為什么我們在創(chuàng)建長期使用的“即插即用”系統(tǒng)時優(yōu)先考慮穩(wěn)定性。我們進(jìn)行了一項研究，觀察志愿者的神經(jīng)信號隨時間的變化，發(fā)現(xiàn)解碼器在使用多個會話和多個天的數(shù)據(jù)模式時表現(xiàn)更好。用機(jī)器學(xué)習(xí)的術(shù)語來說，我們說解碼器的“權(quán)重”被保留下來，形成了統(tǒng)一的神經(jīng)信號。

因為當(dāng)我們觀察癱瘓的志愿者的大腦模式時，他們不能說話，我們讓第一位志愿者嘗試兩種不同的方法。他首先列出了50個日常生活中很方便的單詞，比如“餓了”、“渴了”、“請”、“幫助”和“電腦”。在幾個月的48個療程中，我們有時讓他想象說出清單上的每一個單詞，有時讓他明顯地試著說出來。我們發(fā)現(xiàn)，嘗試說話會產(chǎn)生更清晰的大腦信號，足以訓(xùn)練解碼算法。然后，志愿者可以使用列表中的這些單詞生成他自己選擇的句子，比如“不，我不渴。”

我們現(xiàn)在正在努力擴(kuò)大詞匯量。要做到這一點(diǎn)，我們需要繼續(xù)改進(jìn)當(dāng)前的算法和接口，但我相信這些改進(jìn)將在未來幾個月或幾年發(fā)生。既然已經(jīng)建立了原理證明，那么目標(biāo)就是優(yōu)化。我們可以專注于使我們的系統(tǒng)更快、更準(zhǔn)確，最重要的是更安全、更可靠。現(xiàn)在事情應(yīng)該進(jìn)展得很快。

如果我們能更好地理解我們試圖解碼的大腦系統(tǒng)，以及癱瘓如何改變它們的活動，可能最大的突破就會到來。我們已經(jīng)意識到，無法向聲道肌肉發(fā)送指令的癱瘓患者的神經(jīng)活動模式與能夠向聲道肌肉發(fā)送指令的癲癇患者的神經(jīng)活動模式是非常不同的。我們正在嘗試BMI工程的一項雄心勃勃的壯舉，而對于潛在的神經(jīng)科學(xué)，我們還有很多需要了解的地方。我們相信我們所在的一切都會讓我們的病人恢復(fù)他們的聲音。

審核編輯 ：李倩