《Nature》雜志同時(shí)發(fā)表了兩篇新論文,幫助那些因腦損傷和疾病而失去語(yǔ)言能力的人恢復(fù)語(yǔ)言能力,向前邁出了重要一步。兩個(gè)多學(xué)科團(tuán)隊(duì)展示了最先進(jìn)的人工智能輔助腦機(jī)接口(BCI)系統(tǒng)的速度和準(zhǔn)確性的新記錄,帶來(lái)了前所未有的將大腦信號(hào)翻譯成句子的能力——速度接近正常語(yǔ)音,詞匯量超過(guò)1000個(gè)單詞。這些進(jìn)步為那些不能說(shuō)話的人提供了以接近對(duì)話水平的速度進(jìn)行交流的能力,甚至展示了如何使用模仿患者聲音的計(jì)算機(jī)程序?qū)⑽谋局匦路g成語(yǔ)音。 背景
各種神經(jīng)系統(tǒng)疾病會(huì)麻痹對(duì)言語(yǔ)和肢體功能至關(guān)重要的肌肉,同時(shí)影響認(rèn)知功能,可能導(dǎo)致鎖定綜合癥——個(gè)體無(wú)法再發(fā)起交流,只能通過(guò)眨眼或最小的動(dòng)作來(lái)回應(yīng)詢問(wèn)。有多種系統(tǒng)(稱為替代和增強(qiáng)通信技術(shù))可幫助患有閉鎖綜合癥的人進(jìn)行交流,但這些系統(tǒng)需要付出努力,并且比正常語(yǔ)音慢得多(通常每分鐘僅幾個(gè)單詞)。腦機(jī)接口有潛力解決這些問(wèn)題。
1969年,Macaca mulatta發(fā)表了第一個(gè)證明,可以訓(xùn)練受試者增加單個(gè)神經(jīng)元的活動(dòng),從而做出有意的行為。人體實(shí)驗(yàn)開始于20世紀(jì)90年代末,當(dāng)時(shí)將一個(gè)電極連接到患有運(yùn)動(dòng)神經(jīng)元疾病(肌萎縮側(cè)索硬化癥,ALS引起的閉鎖綜合征患者的神經(jīng)元。隨后在2006年進(jìn)行了一項(xiàng)研究,其中將毫米級(jí)電極陣列(稱為微電極)植入脊髓損傷患者的大腦中。這種微電極陣列(MEA)記錄了運(yùn)動(dòng)皮層(負(fù)責(zé)控制隨意運(yùn)動(dòng)的大腦區(qū)域)中數(shù)百個(gè)神經(jīng)元的活動(dòng),從而控制機(jī)械臂。MEA此后已被用于實(shí)現(xiàn)通信,例如通過(guò)解碼手寫嘗試。
腦電圖(EEG)的補(bǔ)充技術(shù)(將電極沿著頭皮放置以記錄大腦中的電活動(dòng))自1999年以來(lái)一直被使用,通過(guò)控制自定義拼寫軟件來(lái)幫助癱瘓患者進(jìn)行交流。大約在同一時(shí)間,人們發(fā)現(xiàn)放置在大腦表面的小盤形電極(直徑2 ~ 3毫米)可以獲得比使用頭皮電極獲得的質(zhì)量更高的信號(hào)。這種記錄大腦活動(dòng)的方法稱為皮質(zhì)電圖(ECoG)。
2000年代初,ECoG電極被用于接受耐藥性癲癇手術(shù)的患者,以記錄與言語(yǔ)和身體運(yùn)動(dòng)相關(guān)的大腦信號(hào)。這最終導(dǎo)致了第一個(gè)完全嵌入式ECoG設(shè)備的開發(fā),該設(shè)備使患有閉鎖綜合癥的人能夠在家使用打字程序。迄今為止,已有約50名不同程度癱瘓的人植入了腦機(jī)接口以進(jìn)行交流,其中大多數(shù)人使用MEA。
突破技術(shù)
圖1 將思想轉(zhuǎn)化為言語(yǔ)的先進(jìn)技術(shù) ?
加州大學(xué)舊金山分校華裔科學(xué)家張復(fù)倫報(bào)告了一位癱瘓參與者的研究結(jié)果,該患者在參加這項(xiàng)研究17年前經(jīng)歷了腦干中風(fēng),導(dǎo)致她的講話難以理解。張復(fù)倫的BCI系統(tǒng)采用了嵌入253個(gè)ECoG電極的硅片,每個(gè)電極都記錄了數(shù)千個(gè)神經(jīng)元的平均活動(dòng)(圖1a)。該設(shè)備通過(guò)手術(shù)植入感覺(jué)運(yùn)動(dòng)皮層的左側(cè)“面部區(qū)域”——大腦中服務(wù)于口腔和面部肌肉(包括聲道)的部分。該研究以之前的ECoG記錄報(bào)告為基礎(chǔ),其中包括植入另一個(gè)腦干中風(fēng)患者體內(nèi)的類似BCI。
大腦到文本的解碼是通過(guò)兩個(gè)系統(tǒng)的組合實(shí)現(xiàn)的:循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,一種人工神經(jīng)網(wǎng)絡(luò)),它運(yùn)行的算法可以破譯與發(fā)音器官(聲道的一部分)運(yùn)動(dòng)相關(guān)的大腦活動(dòng);其次是語(yǔ)言模型,該模型以每分鐘78個(gè)單詞的速度從1024個(gè)單詞組成句子(盡管單詞錯(cuò)誤率為25.5%)。或者,將大腦信號(hào)直接翻譯成合成語(yǔ)音,對(duì)于1024個(gè)單詞的詞匯,單詞錯(cuò)誤率為54.4%;較小詞匯量的錯(cuò)誤率有所下降(119個(gè)單詞的詞匯量為8.2%)。BCI還解碼嘗試的面部表情,并使用數(shù)字化身再現(xiàn),從而為文本或語(yǔ)音提供視覺(jué)反饋,極大地豐富了參與者的溝通能力。總體而言,與之前報(bào)道的ECoG BCI相比,該設(shè)備在詞匯量、通信速度和語(yǔ)音解碼的多功能性方面都有顯著改進(jìn)。
與此同時(shí),斯坦福大學(xué)Francis R. Willett一作兼通訊,報(bào)道了通過(guò)使用兩個(gè)MEA(總共包含128個(gè)電極)從一名因ALS而無(wú)法清晰說(shuō)話的參與者的左側(cè)感覺(jué)運(yùn)動(dòng)面部區(qū)域的小斑塊進(jìn)行記錄(圖1b)。與張復(fù)倫教授及其同事的設(shè)備一樣,RNN和語(yǔ)言模型被用來(lái)將大腦信號(hào)翻譯成文本,并針對(duì)不同大小的詞匯進(jìn)行訓(xùn)練和測(cè)試。使用該設(shè)備,參與者能夠以平均每分鐘62個(gè)單詞的速度進(jìn)行交流,125000個(gè)單詞的詞匯錯(cuò)誤率為23.8%,50個(gè)單詞的詞匯錯(cuò)誤率為9.1%。
RNN使用參與者嘗試說(shuō)出顯示器上顯示的260 ~ 480個(gè)句子時(shí)收集的神經(jīng)活動(dòng)記錄進(jìn)行訓(xùn)練——整個(gè)過(guò)程平均每天需要140分鐘,持續(xù)8天。分析表明,這種日常訓(xùn)練可以大大減少,而不會(huì)造成很大的表現(xiàn)損失。重要的是,作者觀察到,從被廣泛認(rèn)為對(duì)語(yǔ)音產(chǎn)生至關(guān)重要的大腦區(qū)域(稱為布羅卡區(qū))記錄的神經(jīng)活動(dòng)無(wú)法被解碼,這引發(fā)了關(guān)于該區(qū)域是否包含對(duì)語(yǔ)音解碼有用的信息的疑問(wèn)。
圖2 口面部運(yùn)動(dòng)和嘗試言語(yǔ)的神經(jīng)表征 ?
意義與影響
這兩份報(bào)告構(gòu)成了重要的概念證明,即可以使用植入式腦機(jī)接口恢復(fù)通信,這兩個(gè)腦機(jī)接口代表了神經(jīng)科學(xué)和神經(jīng)工程研究的巨大進(jìn)步,并在提高因癱瘓神經(jīng)損傷和疾病而失聲的人的生活質(zhì)量方面顯示出巨大的希望。即使是允許用戶在輔助技術(shù)軟件中選擇字母或圖標(biāo)的基本BCI植入程序,也能為他們的日常生活帶來(lái)巨大的好處和滿意度??梢詫?shí)現(xiàn)通信的先進(jìn)BCI系統(tǒng)(例如這里討論的系統(tǒng))預(yù)計(jì)將產(chǎn)生更大的影響。
但有幾個(gè)問(wèn)題需要進(jìn)一步調(diào)查才能得到更廣泛的使用。首先,這兩項(xiàng)研究中使用的語(yǔ)音模型都使用具有殘余(盡管微弱)發(fā)音運(yùn)動(dòng)的參與者的模仿語(yǔ)音進(jìn)行訓(xùn)練和測(cè)試。現(xiàn)在需要更多的研究來(lái)證明對(duì)于缺乏殘余運(yùn)動(dòng)的參與者(如鎖定綜合征(包括晚期ALS))的療效。另一個(gè)問(wèn)題是,對(duì)于這兩種設(shè)備,高帶寬記錄是從數(shù)百個(gè)電極中獲取的,這些電極必須通過(guò)穿透皮膚的“基座”連接到外部放大器,這在美觀上沒(méi)有吸引力。需要開發(fā)完全植入式無(wú)線腦機(jī)接口,以復(fù)制或超越這些研究中報(bào)告的性能。
此外,高技能的研究人員積極參與了所報(bào)告的腦機(jī)接口的操作,但對(duì)于護(hù)理人員來(lái)說(shuō),如果沒(méi)有大量的培訓(xùn)和維護(hù),這些腦機(jī)接口仍然太復(fù)雜,無(wú)法在家庭環(huán)境中操作。未來(lái)將需要類似的、在最少或無(wú)需研究人員干預(yù)的情況下運(yùn)行的有效BCI系統(tǒng)。這需要使用以用戶為中心的設(shè)計(jì)原則,在臨床人群中進(jìn)行廣泛的開發(fā)和測(cè)試。目前還不清楚用戶對(duì)其他人語(yǔ)音的感知是否會(huì)導(dǎo)致大腦到文本解碼的錯(cuò)誤,因?yàn)樵絹?lái)越多的證據(jù)表明,除了語(yǔ)音產(chǎn)生之外,語(yǔ)音感知還會(huì)激活感覺(jué)運(yùn)動(dòng)皮層。
最后,哪種BCI方法(MEA或ECoG)最能滿足用戶在現(xiàn)實(shí)應(yīng)用中的安全性和長(zhǎng)期有效性方面的需求,還有待觀察。MEA從較小的皮質(zhì)區(qū)域捕獲豐富的功能信息,但信號(hào)往往不穩(wěn)定,需要頻繁更新語(yǔ)音解碼模型。此外,MEA的壽命可能會(huì)受到電極材料的降解和裝置的組織封裝的限制。ECoG電極需要植入的面積比MEA更大,但ECoG電極位于皮質(zhì)組織外部,通??梢远嗄晏峁┏錾男盘?hào)質(zhì)量,盡管它們會(huì)引起淺表組織反應(yīng)。
審核編輯:彭菁
-
計(jì)算機(jī)
+關(guān)注
關(guān)注
19文章
7663瀏覽量
90815 -
人工智能
+關(guān)注
關(guān)注
1807文章
49029瀏覽量
249562 -
程序
+關(guān)注
關(guān)注
117文章
3826瀏覽量
82996 -
腦機(jī)接口
+關(guān)注
關(guān)注
10文章
401瀏覽量
22016
原文標(biāo)題:腦機(jī)接口研究獲重大突破,幫助失聲患者實(shí)現(xiàn)接近對(duì)話水平速度的交流能力
文章出處:【微信號(hào):Micro-Fluidics,微信公眾號(hào):微流控】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
自然語(yǔ)言處理包括哪些內(nèi)容 自然語(yǔ)言處理技術(shù)包括哪些
計(jì)算機(jī)語(yǔ)言概述
Fortran的程序,要翻譯成matlab
cold crank, warm crank 具體翻譯成中文是什么
請(qǐng)問(wèn)spartan3an支持mcs程序翻譯成位?
怎么將符號(hào)翻譯成節(jié)拍?
什么是程序?什么是計(jì)算機(jī)
SignAloud手套將美語(yǔ)手語(yǔ)翻譯成英語(yǔ)
計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)到底是怎么樣的
為什么國(guó)內(nèi)將silicon翻譯成硅而不是矽
計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)詳細(xì)說(shuō)明
借助手部動(dòng)作控制機(jī)械臂的手語(yǔ)翻譯成文本和語(yǔ)音手套

Python-環(huán)境與第一個(gè)程序

人工智能計(jì)算范式和理論總結(jié)趨勢(shì)

評(píng)論