一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Neurotech重建聽(tīng)到的聲音 并探究人們是如何感知音樂(lè)的

IEEE電氣電子工程師 ? 來(lái)源:IEEE電氣電子工程師 ? 2023-08-25 16:39 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

你腦子里有沒(méi)有一首歌?加州大學(xué)伯克利分校神經(jīng)科學(xué)家團(tuán)隊(duì)的一項(xiàng)新研究在了解音樂(lè)感知和認(rèn)知的神經(jīng)基礎(chǔ)方面取得了重大進(jìn)展,真正推動(dòng)了與音樂(lè)相關(guān)的神經(jīng)科學(xué)的發(fā)展。

最近發(fā)表在PLOS Biology雜志上的這項(xiàng)研究結(jié)果(journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3002176)顯示了人類(lèi)大腦對(duì)音樂(lè)表演的反應(yīng)。當(dāng)我們的耳朵聽(tīng)到一段歌曲片段后,它會(huì)被我們的耳蝸(內(nèi)耳的螺旋腔)轉(zhuǎn)化為神經(jīng)元活動(dòng)。Ludovic Bellier是加州大學(xué)伯克利分校Helen Wills神經(jīng)科學(xué)研究所的博士后,他研究大腦中的神經(jīng)網(wǎng)絡(luò)最終是如何“聽(tīng)到”這些聲音的。

在他的團(tuán)隊(duì)的實(shí)驗(yàn)中,Bellier和同事分析了聽(tīng)迷幻搖滾樂(lè)隊(duì)Pink Floyd歌曲的人的大腦活動(dòng)。29名參與者是紐約州奧爾巴尼市奧爾巴尼醫(yī)療中心的癲癇患者。作為治療的一部分,這些患者的大腦表面植入了電子傳感器,他們被要求專(zhuān)心聽(tīng)Pink Floyd的歌曲“Another Brick in the Wall”。研究人員記錄了每個(gè)腦電極的振蕩電位,這些測(cè)量被稱(chēng)為皮層電圖記錄(ECoG),是反映每個(gè)電極周?chē)竽X小區(qū)域神經(jīng)活動(dòng)的寬帶信號(hào)。

研究人員假設(shè),每位患者記錄的ECoG信號(hào)反映了他們的大腦是如何感知為他們播放的音樂(lè)的。為了驗(yàn)證他們的假設(shè),并了解患者大腦中哪些區(qū)域最參與音樂(lè)感知,該團(tuán)隊(duì)擬合模型,以重建歌曲的音頻頻譜圖,當(dāng)以ECoG特征作為輸入時(shí),音頻頻譜圖顯示了聲能在頻率上隨時(shí)間的分布。如果模型能夠在正則化訓(xùn)練后準(zhǔn)確地重建聲譜圖,那么ECoG特征必須反映關(guān)于向患者播放的音樂(lè)的一些信息。

根據(jù)Bellier的說(shuō)法,研究小組能夠驗(yàn)證他們的假設(shè)。通過(guò)使用多種類(lèi)型的模型來(lái)重建聽(tīng)覺(jué)信號(hào),科學(xué)家們可以解碼出歌曲輸出音頻的至少部分可聽(tīng)見(jiàn)的相似性。研究人員表示,據(jù)他們所知,他們的研究結(jié)果是第一份從ECoG數(shù)據(jù)中回歸的音樂(lè)音頻出版物。盡管原始音頻和重建音頻之間的相關(guān)性仍遠(yuǎn)未達(dá)到1比1——統(tǒng)計(jì)r平方值為0.325——但當(dāng)將一些模型的輸出轉(zhuǎn)換回音頻波形時(shí),如果距離較遠(yuǎn),則可以將其識(shí)別為經(jīng)典歌曲。一種更復(fù)雜、更非線性的重建算法——所謂的多層感知器,或簡(jiǎn)單的雙層人工神經(jīng)網(wǎng)絡(luò)——會(huì)產(chǎn)生0.429的更高r平方擬合值和更清晰的音頻重建。

為了測(cè)試大腦中哪些區(qū)域最參與音樂(lè)處理,研究人員在去除電極輸入的同時(shí),對(duì)模型進(jìn)行了相同的音頻重建任務(wù)訓(xùn)練??傊瑏?lái)自所有患者的ECoG數(shù)據(jù)覆蓋了大腦的大部分總表面積,因此科學(xué)家們能夠?qū)⒋竽X的許多潛在區(qū)域視為產(chǎn)生聽(tīng)音樂(lè)體驗(yàn)的關(guān)鍵參與者。

通過(guò)比較涉及所有大腦區(qū)域的模型和沒(méi)有涉及的模型之間的性能變化——有時(shí)稱(chēng)為消融研究——研究人員能夠說(shuō)出每個(gè)大腦區(qū)域提供了多少信息。換言之,如果當(dāng)特定區(qū)域的電極被移除時(shí),重建精度沒(méi)有大的變化,那么該區(qū)域就不會(huì)像音樂(lè)感知那樣參與其中。

從這個(gè)過(guò)程中,研究人員發(fā)現(xiàn),去除從大腦左右兩側(cè)一個(gè)稱(chēng)為顳上回(STG)的區(qū)域收集的腦電波數(shù)據(jù)會(huì)導(dǎo)致重建精度的最大下降。這個(gè)區(qū)域恰好位于耳朵附近,也被認(rèn)為在語(yǔ)音處理中發(fā)揮著重要作用,因此它實(shí)際上可能在大腦處理復(fù)雜結(jié)構(gòu)化聲音的能力中發(fā)揮更大的作用。

該團(tuán)隊(duì)還發(fā)現(xiàn),從左右STG中單獨(dú)去除數(shù)據(jù)特征對(duì)重建精度的影響顯著不同。這表明,參與者大腦右側(cè)STG的活動(dòng)比左側(cè)STG有更多關(guān)于歌曲的信息。奇怪的是,該領(lǐng)域先前的研究表明,語(yǔ)音處理的情況似乎恰恰相反,左側(cè)STG通常比右側(cè)STG做更多的工作。Bellier說(shuō):“在95%的右撇子中,言語(yǔ)主要位于左半球。我們?cè)谡撐闹斜砻?,音?lè)(在左右STG之間)分布更廣,但具有右側(cè)優(yōu)勢(shì)”——這意味著右側(cè)STG處理的音樂(lè)信息比左側(cè)多?!?/p>

“我們可以做一個(gè)非常簡(jiǎn)單的后續(xù)跟進(jìn),”Bellier說(shuō)。也就是說(shuō),本研究只考慮了70到150赫茲的高頻腦電波信息。然而,Bellier表示,根據(jù)ECoG信號(hào)的較低頻率范圍計(jì)算的音頻特征也可以對(duì)重要信息進(jìn)行編碼。這就是為什么他說(shuō),該團(tuán)隊(duì)計(jì)劃在當(dāng)前論文中對(duì)不同頻率范圍的神經(jīng)活動(dòng)重復(fù)相同的分析。正如論文所總結(jié)的那樣,該小組目前和未來(lái)的工作將增加“我們對(duì)人腦音樂(lè)處理理解的又一塊磚”。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4814

    瀏覽量

    103616
  • 電極
    +關(guān)注

    關(guān)注

    5

    文章

    843

    瀏覽量

    27876
  • 神經(jīng)元
    +關(guān)注

    關(guān)注

    1

    文章

    368

    瀏覽量

    18840

原文標(biāo)題:Neurotech重建聽(tīng)到的聲音 并探究人們是如何感知音樂(lè)的

文章出處:【微信號(hào):IEEE_China,微信公眾號(hào):IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    CD4051/CD4052的頻響特性怎么樣?能做聲音通道的選擇嗎?

    放大的話,可以聽(tīng)到很悅耳的音樂(lè),但是假如通過(guò)CD4052選擇后,再到功放放大的話,只能聽(tīng)到背景音樂(lè),而唱歌的聲音不在了。從而懷疑是CD405
    發(fā)表于 01-23 07:07

    DM6446+TLV320AIC33錄音功能不好,表現(xiàn)為能聽(tīng)到錄制的聲音,但聲音小,是哪里出了問(wèn)題?

    我現(xiàn)在平臺(tái)是DM6446+TLV320AIC33,用來(lái)實(shí)現(xiàn)錄音和播放功能,輸入為麥克風(fēng),輸出為耳機(jī)?,F(xiàn)在播放功能是正常額,在耳機(jī)里能清楚地聽(tīng)到播放的wav文件,問(wèn)題是錄音功能不好,表現(xiàn)為能聽(tīng)到錄制的聲音,但
    發(fā)表于 11-08 07:38

    CS控制AIC3254時(shí)聽(tīng)不到聲音是怎么回事?

    1、為什么通過(guò)CS軟件,板子聽(tīng)不到聲音 2、通過(guò)purepath軟件 download code后可以聽(tīng)到電腦放的音樂(lè),但只要操作CS軟件又不能聽(tīng)見(jiàn)聲音
    發(fā)表于 11-07 07:24

    tpa6135a2聲音小了能聽(tīng)到噪聲,為什么?

    tpa6135a2聲音小了能聽(tīng)到噪聲像是反饋?zhàn)约さ?b class='flag-5'>聲音問(wèn)下ti工程師 它是哪種放大PCB需要注意些什么的嗎
    發(fā)表于 11-07 07:07

    TLV320aic3104怎么設(shè)置使耳機(jī)能聽(tīng)到人講話的聲音

    我公司有項(xiàng)目正在使用TLV320AIC3104 這顆TI codec IC,已拿到這顆IC的開(kāi)發(fā)套件,但是現(xiàn)在用TLV320aic3104評(píng)估板有些問(wèn)題請(qǐng)教。從電腦里面輸出聲音,耳機(jī)能正常收聽(tīng)。但是還不知道怎么設(shè)置使耳機(jī)能聽(tīng)到人講話的
    發(fā)表于 11-07 06:44

    模擬功放聽(tīng)到有撲撲的聲音,怎么處理?

    模擬功放的收入端是一個(gè)射頻芯片出來(lái)的數(shù)字信號(hào)進(jìn)入DAC,然后輸出到模擬功放中,聽(tīng)到有撲撲的聲音,應(yīng)該是地環(huán)路不好,想問(wèn)一下,這樣的情況下需要把 哪些地盡量連到一起,還有這種情況DAC輸出的音頻信號(hào)的電流是怎么流向?多謝!
    發(fā)表于 11-06 07:57

    使用PPS打通AIC3254播放電腦音樂(lè),有4秒左右延時(shí)才有聲音,為什么?

    使用PPS打通AIC3254播放電腦音樂(lè) 為何會(huì)有4秒左右延時(shí)才有聲音?
    發(fā)表于 10-25 06:21

    tas5548接上usb在電腦上放音樂(lè),放著放著就有爆破音了,為什么?

    剛買(mǎi)回來(lái)接上usb在電腦上放音樂(lè)3個(gè)小時(shí)左右沒(méi)有異常,后來(lái)放著放著就有爆破音了,聲音稍微大聲一點(diǎn)都能聽(tīng)到。后來(lái)越來(lái) 越嚴(yán)重有嚎叫聲了!tpa6138有可能壞了嗎?
    發(fā)表于 10-25 06:07

    使用TLV320AIC3256時(shí)候,當(dāng)音樂(lè)暫停時(shí)候,耳機(jī)可以聽(tīng)到“滋滋”的聲音,為什么?

    使用TLV320AIC3256時(shí)候,當(dāng)音樂(lè)暫停時(shí)候,耳機(jī)可以聽(tīng)到“滋滋”的聲音。
    發(fā)表于 10-24 07:15

    TLV3254能不能收聽(tīng)到半徑8到10米的人說(shuō)話的聲音?

    能不能收聽(tīng)到半徑8到10米的人說(shuō)話的聲音,信噪比實(shí)在太低了,遠(yuǎn)處的聽(tīng)不清,增益縮小了又聽(tīng)不到的遠(yuǎn)處的聲音?
    發(fā)表于 10-24 06:34

    TDA3116D2 D類(lèi)功放后接的電感發(fā)聲問(wèn)題怎么解決?

    電感處能聽(tīng)到電感發(fā)出的音樂(lè)聲音聲音比較小但是能聽(tīng)到,就像喇叭一樣。我想問(wèn)一下這到底是什么問(wèn)題,是電感質(zhì)量/選型有問(wèn)題還是電路設(shè)計(jì)有問(wèn)題?另外由于空間關(guān)系,電感都是緊挨在一起,會(huì)有影響
    發(fā)表于 10-22 08:08

    TPA3118在播放的時(shí)候如果小音量就沒(méi)問(wèn)題,但是音量一加大,就聽(tīng)到啪的聲音,為什么?

    TPA3118在播放的時(shí)候如果小音量就沒(méi)問(wèn)題,但是音量一加大,就聽(tīng)到啪的聲音,喇叭沒(méi)問(wèn)題,因?yàn)榻釉趧e的地方聽(tīng)沒(méi)這個(gè)現(xiàn)象。
    發(fā)表于 10-14 06:00

    PCM2707C輸出同軸時(shí),經(jīng)常聽(tīng)到聲音卡頓一下,為什么?

    做好的板子,在輸出同軸時(shí),經(jīng)常聽(tīng)到聲音卡頓一下。時(shí)間間隔不固定,有時(shí)候三五分鐘,有時(shí)候七八分鐘。后來(lái)測(cè)量同軸輸出的波形,感覺(jué)有點(diǎn)不對(duì),麻煩TI的專(zhuān)家?guī)兔纯?,原理圖參考的也是官方原理圖,沒(méi)有變化。附圖是原理圖和在輸出20Hz(前端調(diào)到20KHz波形也是這樣)音頻的情況下
    發(fā)表于 10-12 07:29

    TLV320aic3104 DAC在默認(rèn)不參與的情況下,就可以從輸出端聽(tīng)到聲音嗎?

    ,HPROUT 僅僅power on,DAC不做任何配置,或者mute或者 powerdown,都能從HPROUT 聽(tīng)到一個(gè)大約輸入音樂(lè)十分之一音量的音樂(lè),帶有很大的雜音,HPROUTmuted都不能消除
    發(fā)表于 10-11 08:00

    TAS5825m在未接喇叭的情況下,輸出音量加大后能聽(tīng)到聲音播放出來(lái),怎么解決?

    目前我們?cè)谟肨AS5825m這顆功放,發(fā)現(xiàn)在未接喇叭的情況下,輸出音量加大后能聽(tīng)到聲音播放出來(lái);請(qǐng)問(wèn)有什么辦法可以杜絕或者改善此種現(xiàn)象嗎?
    發(fā)表于 09-30 07:31