2019 年 4 月 24 日，來(lái)自加州大學(xué)舊金山分校（UCSF）神經(jīng)外科學(xué)系 Gopala K. Anumanchipalli，Josh Chartier，Edward F. Chang 團(tuán)隊(duì)在 Nature 雜志上發(fā)表了題為 “Speech synthesis from neural decoding of spoken sentences” 的論文，引起了不少人士的關(guān)注。

據(jù)悉，研究人員設(shè)計(jì)一種神經(jīng)解碼器，采用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的方式將記錄的皮質(zhì)神經(jīng)信號(hào)，然后編碼咬合關(guān)節(jié)運(yùn)動(dòng)的表征，以合成可聽(tīng)語(yǔ)音。

也就是說(shuō)，嚴(yán)重癱瘓的病患可以使用基于該技術(shù)的產(chǎn)品通過(guò)大腦皮層活動(dòng)更有效地向任何人發(fā)送文字信息?？梢韵胂螅翊饲笆芗∥s側(cè)索硬化ALS病癥多年折磨的著名物理學(xué)家史蒂芬 · 霍金（Stephen Hawking）一定也非常樂(lè)意看到深度學(xué)習(xí)技術(shù)能夠應(yīng)用于臨床醫(yī)學(xué)上的突破。

隨后，谷歌大腦 Jeff Dean 通過(guò) Twitter 轉(zhuǎn)發(fā)了這條消息，并贊嘆該項(xiàng)研究成果，“非?？幔】梢灾苯訌纳窠?jīng)活動(dòng)中快速產(chǎn)生語(yǔ)音。”

實(shí)際上，他們?cè)?2018 年 11 月 29 日以名為 “Intelligible speech synthesis from neural decoding of spoken sentences” 的論文就已經(jīng)得到了公開(kāi)。只不過(guò)，那時(shí)還是預(yù)印本，還未經(jīng)過(guò)同級(jí)評(píng)審。

我們先來(lái)回顧下最新論文的主要內(nèi)容。

摘要：將大腦神經(jīng)活動(dòng)轉(zhuǎn)換成語(yǔ)音的技術(shù)，對(duì)于因神經(jīng)損傷而無(wú)法正常溝通的人類(lèi)來(lái)說(shuō)將具有變革意義。從技術(shù)上來(lái)講，從神經(jīng)活動(dòng)中解碼語(yǔ)音是非常具有挑戰(zhàn)性的，因?yàn)檎f(shuō)話(huà)需要對(duì)聲道的咬合結(jié)構(gòu)進(jìn)行非常精確和快速的多維控制。通過(guò)設(shè)計(jì)一種神經(jīng)解碼器，明確地利用人類(lèi)皮層活動(dòng)中編碼的運(yùn)動(dòng)和聲音表征來(lái)合成可聽(tīng)語(yǔ)音。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）將記錄的皮質(zhì)神經(jīng)信號(hào)直接解碼為咬合關(guān)節(jié)運(yùn)動(dòng)的表征，然后將這些表征再轉(zhuǎn)換為語(yǔ)音。在封閉的詞匯測(cè)試中，聽(tīng)眾可以很容易地識(shí)別和轉(zhuǎn)錄皮層活動(dòng)從而合成語(yǔ)音。即便數(shù)據(jù)有限，中間關(guān)節(jié)運(yùn)動(dòng)（Intermediate articulatory dynamics ）也能提高性能。

經(jīng)過(guò)解碼的語(yǔ)音表征非常保守，使得解碼器的一個(gè)組件可跨不同受試者進(jìn)行轉(zhuǎn)換。此外，當(dāng)受試者靜默地模仿句子時(shí)，解碼器可以合成語(yǔ)音。

以上這些發(fā)現(xiàn)提高了使用語(yǔ)音神經(jīng)假體技術(shù)以恢復(fù)人類(lèi)口語(yǔ)交流的臨床可行性。

▌研究過(guò)程

許多患者是依靠通信設(shè)備來(lái)轉(zhuǎn)錄頭部、眼睛或者直接的大腦皮層活動(dòng)中的信息，然后再控制光標(biāo)逐個(gè)選擇字幕來(lái)拼寫(xiě)單詞。例如，患者此前使用的語(yǔ)音合成系統(tǒng)基本就是這樣的原理。雖然該系統(tǒng)顯著提高了患者的生活質(zhì)量，但多數(shù)用戶(hù)很難在一分鐘內(nèi)傳遞超過(guò) 10 個(gè)單詞，這一速度遠(yuǎn)低于自然語(yǔ)言中 150 詞 / 分鐘的平均速度。一個(gè)主要障礙就是如何克服當(dāng)前基于拼寫(xiě)的方法限制，以實(shí)現(xiàn)更高效的溝通效率。

基于拼寫(xiě)的方法最好的替代方式就直接進(jìn)行語(yǔ)音合成。因?yàn)槠磳?xiě)是離散字母的連續(xù)串聯(lián)，而語(yǔ)音是由重疊的、多發(fā)聲器的聲道運(yùn)動(dòng)的流體產(chǎn)生的。為此，基于聲道運(yùn)動(dòng)及其產(chǎn)生的聲音模仿方法可能是實(shí)現(xiàn)自然語(yǔ)言的唯一高效溝通手段，并且還是可以保證用戶(hù)學(xué)習(xí)的最直觀手段。例如，患有麻痹癥（ALS 或腦干中風(fēng)）的患者，高保真語(yǔ)音控制信號(hào)可僅通過(guò)使用大腦 - 計(jì)算機(jī)接口直接記錄完整皮質(zhì)網(wǎng)絡(luò)進(jìn)行訪問(wèn)。

為了證明神經(jīng)語(yǔ)言假體的可行性，研究人員試圖將大腦信號(hào)轉(zhuǎn)換成可理解的正常說(shuō)話(huà)人語(yǔ)速的合成語(yǔ)音。研究人員采用了一種叫做高密度腦皮層電圖（ECoG）的技術(shù)，讓 5 名患有癲癇病的患者大聲說(shuō)出幾百個(gè)句子，直接記錄下受試者大腦皮層的神經(jīng)活動(dòng)，并跟蹤控制語(yǔ)音和發(fā)生部位運(yùn)動(dòng)的大腦區(qū)域活動(dòng)。

如圖所示，研究人員采用的解碼器方法可分為兩個(gè)階段：第一階段，雙向長(zhǎng)期短期記憶（bLSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)解碼來(lái)自聯(lián)系神經(jīng)活動(dòng)的關(guān)節(jié)運(yùn)動(dòng)特征；第二階段，單獨(dú)的 bLSTM 解碼來(lái)自第一階段解碼出的關(guān)節(jié)特征的聲音特征，然后從解碼的聲音特征合成音頻信號(hào)。

訓(xùn)練解碼器有三種數(shù)據(jù)來(lái)源：ECoG 記錄、聲音以及關(guān)節(jié)運(yùn)動(dòng)。

ECoG，從每個(gè)電級(jí)的原始信號(hào)中提取高伽馬振幅包絡(luò)（70-200Hz）和低頻分量（1-30Hz）。如果它們位于關(guān)鍵皮質(zhì)區(qū)域，則選擇電極：腹側(cè)感覺(jué)運(yùn)動(dòng)皮層（ventral sensorimotor cortex，vSMC）、顳上回（superiortemporal gyrus，STG）或下額回（inferior frontal gyrus，IFG）。

聲音，由于不是典型的頻譜圖，研究人員使用了 25 個(gè)梅爾頻率倒頻譜系數(shù)（MFCC），5 個(gè)子帶聲音強(qiáng)度用于聲門(mén)激勵(lì)建模、音調(diào)和發(fā)聲（總共 32 個(gè)特征）。這些聲學(xué)參數(shù)是用于感知電管的聲音特征，同時(shí)最大化音頻重建的質(zhì)量。

關(guān)節(jié)運(yùn)動(dòng)表征，即存在于神經(jīng)活動(dòng)和聲音之間的解碼器的一個(gè)關(guān)鍵組成部分。由于無(wú)法同步記錄神經(jīng)活動(dòng)，研究人員采用了一種基于說(shuō)話(huà)人的聲音 - 發(fā)聲（Acoustic-to-Articulatory）轉(zhuǎn)換統(tǒng)計(jì)方法，來(lái)測(cè)出受試者產(chǎn)生的語(yǔ)音信號(hào)對(duì)應(yīng)的聲道運(yùn)動(dòng)軌跡。研究人員還添加了額外的生理特征（如關(guān)節(jié)運(yùn)動(dòng)），并在語(yǔ)音自動(dòng)解碼器中對(duì)值進(jìn)行了優(yōu)化，進(jìn)而推斷在語(yǔ)音產(chǎn)生期間聲道生理的完整中間關(guān)節(jié)運(yùn)動(dòng)表征。

根據(jù)這些特征，可以精確地重建語(yǔ)音頻譜圖。

▌張復(fù)倫本人

值得一提的是，該項(xiàng)研究成果之一的 Edward Chang（中文名：張復(fù)倫）還是名華裔神經(jīng)外科醫(yī)生，擅長(zhǎng)治療成人癲癇、腦腫瘤等疾病，研究主要集中于語(yǔ)言、運(yùn)動(dòng)和情感的大腦機(jī)制。

最早在 2017 年，張復(fù)倫等人在 Science 雜志發(fā)表論文，闡述大腦皮層顳上回神經(jīng)元在語(yǔ)言中的重要性。

在 2011 年 5 月的美國(guó)新聞與世界報(bào)導(dǎo)對(duì)他的采訪中，張復(fù)倫就表示：“醫(yī)學(xué)界長(zhǎng)期忽視神經(jīng)修復(fù)學(xué)，直到最近科技發(fā)展迅速才獲得重視。相信在未來(lái)的 5 到 10 年間，電腦科技對(duì)神經(jīng)性疾病患者，如柏金森氏癥和阿茲海默癥、癲癇等，將會(huì)有更多治療方式?！?/p>

據(jù)了解，張復(fù)倫來(lái)自典型的中國(guó)***移民家庭。他曾表示：“生命中有很多選擇的機(jī)會(huì)，成為神經(jīng)外科醫(yī)師是一連串的機(jī)遇，但父母的支持，讓他可以全神貫注鉆研神經(jīng)科學(xué)，達(dá)到今天的成就。”