一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何使用模仿患者聲音的計(jì)算機(jī)程序?qū)⑽谋局匦路g成語(yǔ)音

微流控 ? 來(lái)源:微流控 ? 2023-09-04 11:33 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

《Nature》雜志同時(shí)發(fā)表了兩篇新論文,幫助那些因腦損傷和疾病而失去語(yǔ)言能力的人恢復(fù)語(yǔ)言能力,向前邁出了重要一步。兩個(gè)多學(xué)科團(tuán)隊(duì)展示了最先進(jìn)的人工智能輔助腦機(jī)接口(BCI)系統(tǒng)的速度和準(zhǔn)確性的新記錄,帶來(lái)了前所未有的將大腦信號(hào)翻譯成句子的能力——速度接近正常語(yǔ)音,詞匯量超過(guò)1000個(gè)單詞。這些進(jìn)步為那些不能說(shuō)話的人提供了以接近對(duì)話水平的速度進(jìn)行交流的能力,甚至展示了如何使用模仿患者聲音的計(jì)算機(jī)程序?qū)⑽谋局匦路g成語(yǔ)音。 背景

各種神經(jīng)系統(tǒng)疾病會(huì)麻痹對(duì)言語(yǔ)和肢體功能至關(guān)重要的肌肉,同時(shí)影響認(rèn)知功能,可能導(dǎo)致鎖定綜合癥——個(gè)體無(wú)法再發(fā)起交流,只能通過(guò)眨眼或最小的動(dòng)作來(lái)回應(yīng)詢問(wèn)。有多種系統(tǒng)(稱為替代和增強(qiáng)通信技術(shù))可幫助患有閉鎖綜合癥的人進(jìn)行交流,但這些系統(tǒng)需要付出努力,并且比正常語(yǔ)音慢得多(通常每分鐘僅幾個(gè)單詞)。腦機(jī)接口有潛力解決這些問(wèn)題。

1969年,Macaca mulatta發(fā)表了第一個(gè)證明,可以訓(xùn)練受試者增加單個(gè)神經(jīng)元的活動(dòng),從而做出有意的行為。人體實(shí)驗(yàn)開始于20世紀(jì)90年代末,當(dāng)時(shí)將一個(gè)電極連接到患有運(yùn)動(dòng)神經(jīng)元疾病(肌萎縮側(cè)索硬化癥,ALS引起的閉鎖綜合征患者的神經(jīng)元。隨后在2006年進(jìn)行了一項(xiàng)研究,其中將毫米級(jí)電極陣列(稱為微電極)植入脊髓損傷患者的大腦中。這種微電極陣列(MEA)記錄了運(yùn)動(dòng)皮層(負(fù)責(zé)控制隨意運(yùn)動(dòng)的大腦區(qū)域)中數(shù)百個(gè)神經(jīng)元的活動(dòng),從而控制機(jī)械臂。MEA此后已被用于實(shí)現(xiàn)通信,例如通過(guò)解碼手寫嘗試。

腦電圖(EEG)的補(bǔ)充技術(shù)(將電極沿著頭皮放置以記錄大腦中的電活動(dòng))自1999年以來(lái)一直被使用,通過(guò)控制自定義拼寫軟件來(lái)幫助癱瘓患者進(jìn)行交流。大約在同一時(shí)間,人們發(fā)現(xiàn)放置在大腦表面的小盤形電極(直徑2 ~ 3毫米)可以獲得比使用頭皮電極獲得的質(zhì)量更高的信號(hào)。這種記錄大腦活動(dòng)的方法稱為皮質(zhì)電圖(ECoG)。

2000年代初,ECoG電極被用于接受耐藥性癲癇手術(shù)的患者,以記錄與言語(yǔ)和身體運(yùn)動(dòng)相關(guān)的大腦信號(hào)。這最終導(dǎo)致了第一個(gè)完全嵌入式ECoG設(shè)備的開發(fā),該設(shè)備使患有閉鎖綜合癥的人能夠在家使用打字程序。迄今為止,已有約50名不同程度癱瘓的人植入了腦機(jī)接口以進(jìn)行交流,其中大多數(shù)人使用MEA。

突破技術(shù)

a64f5462-43ac-11ee-a2ef-92fbcf53809c.png 圖1 將思想轉(zhuǎn)化為言語(yǔ)的先進(jìn)技術(shù) ?

加州大學(xué)舊金山分校華裔科學(xué)家張復(fù)倫報(bào)告了一位癱瘓參與者的研究結(jié)果,該患者在參加這項(xiàng)研究17年前經(jīng)歷了腦干中風(fēng),導(dǎo)致她的講話難以理解。張復(fù)倫的BCI系統(tǒng)采用了嵌入253個(gè)ECoG電極的硅片,每個(gè)電極都記錄了數(shù)千個(gè)神經(jīng)元的平均活動(dòng)(圖1a)。該設(shè)備通過(guò)手術(shù)植入感覺(jué)運(yùn)動(dòng)皮層的左側(cè)“面部區(qū)域”——大腦中服務(wù)于口腔和面部肌肉(包括聲道)的部分。該研究以之前的ECoG記錄報(bào)告為基礎(chǔ),其中包括植入另一個(gè)腦干中風(fēng)患者體內(nèi)的類似BCI。

大腦到文本的解碼是通過(guò)兩個(gè)系統(tǒng)的組合實(shí)現(xiàn)的:循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN,一種人工神經(jīng)網(wǎng)絡(luò)),它運(yùn)行的算法可以破譯與發(fā)音器官(聲道的一部分)運(yùn)動(dòng)相關(guān)的大腦活動(dòng);其次是語(yǔ)言模型,該模型以每分鐘78個(gè)單詞的速度從1024個(gè)單詞組成句子(盡管單詞錯(cuò)誤率為25.5%)。或者,將大腦信號(hào)直接翻譯成合成語(yǔ)音,對(duì)于1024個(gè)單詞的詞匯,單詞錯(cuò)誤率為54.4%;較小詞匯量的錯(cuò)誤率有所下降(119個(gè)單詞的詞匯量為8.2%)。BCI還解碼嘗試的面部表情,并使用數(shù)字化身再現(xiàn),從而為文本或語(yǔ)音提供視覺(jué)反饋,極大地豐富了參與者的溝通能力。總體而言,與之前報(bào)道的ECoG BCI相比,該設(shè)備在詞匯量、通信速度和語(yǔ)音解碼的多功能性方面都有顯著改進(jìn)。

與此同時(shí),斯坦福大學(xué)Francis R. Willett一作兼通訊,報(bào)道了通過(guò)使用兩個(gè)MEA(總共包含128個(gè)電極)從一名因ALS而無(wú)法清晰說(shuō)話的參與者的左側(cè)感覺(jué)運(yùn)動(dòng)面部區(qū)域的小斑塊進(jìn)行記錄(圖1b)。與張復(fù)倫教授及其同事的設(shè)備一樣,RNN和語(yǔ)言模型被用來(lái)將大腦信號(hào)翻譯成文本,并針對(duì)不同大小的詞匯進(jìn)行訓(xùn)練和測(cè)試。使用該設(shè)備,參與者能夠以平均每分鐘62個(gè)單詞的速度進(jìn)行交流,125000個(gè)單詞的詞匯錯(cuò)誤率為23.8%,50個(gè)單詞的詞匯錯(cuò)誤率為9.1%。

RNN使用參與者嘗試說(shuō)出顯示器上顯示的260 ~ 480個(gè)句子時(shí)收集的神經(jīng)活動(dòng)記錄進(jìn)行訓(xùn)練——整個(gè)過(guò)程平均每天需要140分鐘,持續(xù)8天。分析表明,這種日常訓(xùn)練可以大大減少,而不會(huì)造成很大的表現(xiàn)損失。重要的是,作者觀察到,從被廣泛認(rèn)為對(duì)語(yǔ)音產(chǎn)生至關(guān)重要的大腦區(qū)域(稱為布羅卡區(qū))記錄的神經(jīng)活動(dòng)無(wú)法被解碼,這引發(fā)了關(guān)于該區(qū)域是否包含對(duì)語(yǔ)音解碼有用的信息的疑問(wèn)。

a695d568-43ac-11ee-a2ef-92fbcf53809c.png 圖2 口面部運(yùn)動(dòng)和嘗試言語(yǔ)的神經(jīng)表征 ?

意義與影響

這兩份報(bào)告構(gòu)成了重要的概念證明,即可以使用植入式腦機(jī)接口恢復(fù)通信,這兩個(gè)腦機(jī)接口代表了神經(jīng)科學(xué)和神經(jīng)工程研究的巨大進(jìn)步,并在提高因癱瘓神經(jīng)損傷和疾病而失聲的人的生活質(zhì)量方面顯示出巨大的希望。即使是允許用戶在輔助技術(shù)軟件中選擇字母或圖標(biāo)的基本BCI植入程序,也能為他們的日常生活帶來(lái)巨大的好處和滿意度??梢詫?shí)現(xiàn)通信的先進(jìn)BCI系統(tǒng)(例如這里討論的系統(tǒng))預(yù)計(jì)將產(chǎn)生更大的影響。

但有幾個(gè)問(wèn)題需要進(jìn)一步調(diào)查才能得到更廣泛的使用。首先,這兩項(xiàng)研究中使用的語(yǔ)音模型都使用具有殘余(盡管微弱)發(fā)音運(yùn)動(dòng)的參與者的模仿語(yǔ)音進(jìn)行訓(xùn)練和測(cè)試。現(xiàn)在需要更多的研究來(lái)證明對(duì)于缺乏殘余運(yùn)動(dòng)的參與者(如鎖定綜合征(包括晚期ALS))的療效。另一個(gè)問(wèn)題是,對(duì)于這兩種設(shè)備,高帶寬記錄是從數(shù)百個(gè)電極中獲取的,這些電極必須通過(guò)穿透皮膚的“基座”連接到外部放大器,這在美觀上沒(méi)有吸引力。需要開發(fā)完全植入式無(wú)線腦機(jī)接口,以復(fù)制或超越這些研究中報(bào)告的性能。

此外,高技能的研究人員積極參與了所報(bào)告的腦機(jī)接口的操作,但對(duì)于護(hù)理人員來(lái)說(shuō),如果沒(méi)有大量的培訓(xùn)和維護(hù),這些腦機(jī)接口仍然太復(fù)雜,無(wú)法在家庭環(huán)境中操作。未來(lái)將需要類似的、在最少或無(wú)需研究人員干預(yù)的情況下運(yùn)行的有效BCI系統(tǒng)。這需要使用以用戶為中心的設(shè)計(jì)原則,在臨床人群中進(jìn)行廣泛的開發(fā)和測(cè)試。目前還不清楚用戶對(duì)其他人語(yǔ)音的感知是否會(huì)導(dǎo)致大腦到文本解碼的錯(cuò)誤,因?yàn)樵絹?lái)越多的證據(jù)表明,除了語(yǔ)音產(chǎn)生之外,語(yǔ)音感知還會(huì)激活感覺(jué)運(yùn)動(dòng)皮層。

最后,哪種BCI方法(MEA或ECoG)最能滿足用戶在現(xiàn)實(shí)應(yīng)用中的安全性和長(zhǎng)期有效性方面的需求,還有待觀察。MEA從較小的皮質(zhì)區(qū)域捕獲豐富的功能信息,但信號(hào)往往不穩(wěn)定,需要頻繁更新語(yǔ)音解碼模型。此外,MEA的壽命可能會(huì)受到電極材料的降解和裝置的組織封裝的限制。ECoG電極需要植入的面積比MEA更大,但ECoG電極位于皮質(zhì)組織外部,通??梢远嗄晏峁┏錾男盘?hào)質(zhì)量,盡管它們會(huì)引起淺表組織反應(yīng)。

審核編輯:彭菁

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 計(jì)算機(jī)
    +關(guān)注

    關(guān)注

    19

    文章

    7663

    瀏覽量

    90815
  • 人工智能
    +關(guān)注

    關(guān)注

    1807

    文章

    49029

    瀏覽量

    249562
  • 程序
    +關(guān)注

    關(guān)注

    117

    文章

    3826

    瀏覽量

    82996
  • 腦機(jī)接口
    +關(guān)注

    關(guān)注

    10

    文章

    401

    瀏覽量

    22016

原文標(biāo)題:腦機(jī)接口研究獲重大突破,幫助失聲患者實(shí)現(xiàn)接近對(duì)話水平速度的交流能力

文章出處:【微信號(hào):Micro-Fluidics,微信公眾號(hào):微流控】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    自然語(yǔ)言處理包括哪些內(nèi)容 自然語(yǔ)言處理技術(shù)包括哪些

    (Speech Synthesis):將計(jì)算機(jī)生成的文本轉(zhuǎn)換為人類語(yǔ)言。 機(jī)器翻譯(Machine Translation):一種語(yǔ)言翻譯成
    的頭像 發(fā)表于 08-03 16:22 ?8824次閱讀

    計(jì)算機(jī)語(yǔ)言概述

    。Basic語(yǔ)言是典型的解釋型語(yǔ)言。編譯型翻譯程序也叫編譯程序,它在翻譯語(yǔ)言程序時(shí),加工整個(gè)源程序,最終
    發(fā)表于 12-06 00:17

    Fortran的程序,要翻譯成matlab

    不知有哪位大神,能幫一下忙,有一段Fortran的程序,要翻譯成matlab,翻譯了一些但數(shù)據(jù)不對(duì)
    發(fā)表于 02-18 20:58

    cold crank, warm crank 具體翻譯成中文是什么

    cold crank, warm crank 翻譯成中文具體是什么場(chǎng)景, 越詳細(xì)越好!想入門汽車電子的小白現(xiàn)行謝過(guò)!
    發(fā)表于 05-23 14:26

    請(qǐng)問(wèn)snap翻譯成中文是什么?

    snap翻譯成中文是什么 我查沒(méi)有對(duì)應(yīng)的翻譯
    發(fā)表于 05-07 07:35

    請(qǐng)問(wèn)spartan3an支持mcs程序翻譯成位?

    我的合作伙伴項(xiàng)目交給我。它由pcb布局,sch,F(xiàn)PGA Mcs組成。主設(shè)備是spartan3an。在影響中,Ididnot發(fā)現(xiàn)它支持mcs文件。mcs可以翻譯成位嗎?以上來(lái)自于谷歌翻譯以下為原文
    發(fā)表于 07-18 09:43

    怎么符號(hào)翻譯成節(jié)拍?

    你好,我想了解一下符號(hào)翻譯成節(jié)拍的方法,反之亦然。在MLA中,在文件..h中寫入://Time單元,它是根據(jù)IEEE 802.15.4規(guī)范定義的。/一個(gè)刻度等于一個(gè)符號(hào)時(shí)間,或16Us。Tick
    發(fā)表于 09-11 11:38

    什么是程序?什么是計(jì)算機(jī)

    什么是程序程序(Program)流程、議程、行程、…為了完成某項(xiàng)任務(wù),解決某個(gè)問(wèn)題需要執(zhí)行的一系列步驟計(jì)算機(jī)程序為了完成某項(xiàng)任務(wù),解決某個(gè)問(wèn)題由計(jì)
    發(fā)表于 11-23 09:02

    SignAloud手套美語(yǔ)手語(yǔ)翻譯成英語(yǔ)

    )翻譯成英語(yǔ),然后將之說(shuō)出來(lái)。它叫做SignAloud手套。 這兩名學(xué)生也因此獲得了10000美元的勒梅森-麻省理工學(xué)生獎(jiǎng)金(Lemelson-MIT Student Prize)。這款手套內(nèi)置有傳感器,能夠通過(guò)測(cè)量坐標(biāo)和手指的彎曲,來(lái)捕捉美語(yǔ)手語(yǔ)信息。隨后,傳感器數(shù)據(jù)通過(guò)藍(lán)牙傳輸?shù)揭慌缘囊慌_(tái)
    的頭像 發(fā)表于 04-24 02:44 ?4477次閱讀

    計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)到底是怎么樣的

    通常由用戶用高級(jí)語(yǔ)言編寫程序,然后講它和數(shù)據(jù)一起送入計(jì)算機(jī)內(nèi),再由計(jì)算機(jī)將其翻譯成機(jī)器能識(shí)別的機(jī)器語(yǔ)言程序,機(jī)器自動(dòng)運(yùn)行該機(jī)器語(yǔ)言
    的頭像 發(fā)表于 12-21 11:21 ?4643次閱讀

    為什么國(guó)內(nèi)silicon翻譯成硅而不是矽

    提到半導(dǎo)體,大家都知道各種處理器、閃存、內(nèi)存等芯片都是基于半導(dǎo)體技術(shù)的,而我們現(xiàn)在常用的半導(dǎo)體實(shí)質(zhì)上是硅基半導(dǎo)體,硅是這個(gè)行業(yè)最重要的材料。說(shuō)到硅,很多人也見(jiàn)過(guò)另一個(gè)詞矽,為什么國(guó)內(nèi)現(xiàn)在翻譯成硅而不是矽了呢?
    的頭像 發(fā)表于 12-21 11:25 ?6195次閱讀

    計(jì)算機(jī)系統(tǒng)的層次結(jié)構(gòu)詳細(xì)說(shuō)明

    通常由用戶用高級(jí)語(yǔ)言編寫程序,然后講它和數(shù)據(jù)一起送入計(jì)算機(jī)內(nèi),再由計(jì)算機(jī)將其翻譯成機(jī)器能識(shí)別的機(jī)器語(yǔ)言程序,機(jī)器自動(dòng)運(yùn)行該機(jī)器語(yǔ)言
    的頭像 發(fā)表于 02-22 16:44 ?7241次閱讀

    借助手部動(dòng)作控制機(jī)械臂的手語(yǔ)翻譯成文本語(yǔ)音手套

    電子發(fā)燒友網(wǎng)站提供《借助手部動(dòng)作控制機(jī)械臂的手語(yǔ)翻譯成文本語(yǔ)音手套.zip》資料免費(fèi)下載
    發(fā)表于 10-21 11:57 ?0次下載
    借助手部動(dòng)作控制機(jī)械臂的手語(yǔ)<b class='flag-5'>翻譯成文本</b>和<b class='flag-5'>語(yǔ)音</b>手套

    Python-環(huán)境與第一個(gè)程序

    計(jì)算機(jī)不能直接理解除機(jī)器語(yǔ)言外的語(yǔ)言,所以必須把程序員編寫的語(yǔ)言最終翻譯成機(jī)器語(yǔ)言,而翻譯成機(jī)器語(yǔ)言的工具
    的頭像 發(fā)表于 02-16 14:46 ?839次閱讀
    Python-環(huán)境與第一個(gè)<b class='flag-5'>程序</b>

    人工智能計(jì)算范式和理論總結(jié)趨勢(shì)

    傳統(tǒng)的語(yǔ)音文本翻譯是通過(guò)語(yǔ)音識(shí)別和文本機(jī)器翻譯的串聯(lián)實(shí)現(xiàn)。這個(gè)方法的缺點(diǎn)是推理過(guò)程中的錯(cuò)誤會(huì)累加。ConST 可以直接
    發(fā)表于 06-07 11:35 ?975次閱讀
    人工智能<b class='flag-5'>計(jì)算</b>范式和理論總結(jié)趨勢(shì)