一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一個多層機器學(xué)習(xí)程序的誕生

IEEE電氣電子工程師 ? 來源:IEEE電氣電子工程師學(xué)會 ? 作者:IEEE電氣電子工程師 ? 2020-09-04 14:19 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

想象一下你正在看一部恐怖電影:女主角在一個黑暗的地下室里,高度警惕。背景中播放著懸疑的音樂,而一些看不見的,邪惡的生物在陰影中爬行……然后——砰!打到了一個物體。

如果沒有強烈但恰到好處的音效,這樣的場景很難有那么吸引人和恐怖。通常,這些音效是由工作室里的Foley藝術(shù)家錄制的,他們使用大量可供選擇的物體來產(chǎn)生聲音。錄制玻璃破碎的聲音可能涉及實際反復(fù)打碎玻璃,例如,直到聲音與視頻剪輯非常匹配。

據(jù)悉,研究人員已經(jīng)開發(fā)了一款自動化程序,可以分析視頻幀中的運動,并創(chuàng)建自己的人工聲音效果來匹配場景。在一項調(diào)查中,大多數(shù)被調(diào)查者表示他們相信這些假音效是真的。該模型名為AutoFoley,具體介紹發(fā)表在了6月25日出版的IEEE Transactions on Multimedia上面。

“自20世紀30年代以來,在后期制作中使用Foley藝術(shù)添加音效一直是電影和電視配樂的一個復(fù)雜部分,”參與創(chuàng)作AutoFoley的德克薩斯大學(xué)教授Jeff Prevost解釋道。“如果沒有一個真實的Foley配樂的控制層,,電影看起來既空洞又遙遠。然而,F(xiàn)oley聲音合成的過程也由此為電影的創(chuàng)作增加了大量的時間和成本?!?/p>

Prevost和他的博士生Sanchita Ghose被自動Foley系統(tǒng)的想法所吸引,開始創(chuàng)建了一個多層機器學(xué)習(xí)程序。他們創(chuàng)建了兩種不同的模型,可以在第一步中使用,包括識別視頻中的動作并確定合適的聲音。

第一個機器學(xué)習(xí)模型從快速移動動作片段的幀中提取圖像特征(如顏色和運動),以確定合適的聲音效果。

第二個模型來分析對象在不同幀中的時間關(guān)系。通過使用關(guān)系推理來比較不同時間段的不同幀,第二個模型可以預(yù)測視頻中發(fā)生的動作。

在最后一步,合成聲音以匹配其中一個模型預(yù)測的活動或運動。Prevost和Ghose使用AutoFoley為1000個短片創(chuàng)建聲音,這些短片捕捉了許多常見的動作,比如下雨、騎馬和滴答作響的時鐘。

分析顯示,毫不奇怪的是,AutoFoley最擅長于在不需要與視頻完全一致的情況下(例如,傾盆大雨、噼啪作響的大火)發(fā)出聲音。但是,當(dāng)視覺場景包含隨時間變化的隨機動作(例如打字、雷雨)時,程序可能與視頻不同步。

接下來,Prevost和Ghose調(diào)查了57名當(dāng)?shù)卮髮W(xué)生,他們認為哪些電影片段包括了原聲配樂。在評估第一個模型產(chǎn)生的聲音時,73%的受訪學(xué)生選擇了合成的AutoFoley剪輯作為原始片段,而不是真正的原始聲音片段。在評估第二個模型時,仍有66%的受訪者選擇了AutoFoley剪輯而不是原來的聲音剪輯。

“我們的方法的一個局限性是需要分類的主題出現(xiàn)在整個視頻幀序列中,”Prevost說,同時還指出AutoFoley目前依賴的Foley類別的數(shù)據(jù)集非常有限。不過,AutoFoley的專利仍處于早期階段,但Prevost說這些限制將在未來的研究中得到解決。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標(biāo)題:又被AI騙了?人工智能欺騙人類相信合成的聲音效果是真實的

文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    機器學(xué)習(xí)模型市場前景如何

    當(dāng)今,隨著算法的不斷優(yōu)化、數(shù)據(jù)量的爆炸式增長以及計算能力的飛速提升,機器學(xué)習(xí)模型的市場前景愈發(fā)廣闊。下面,AI部落小編將探討機器學(xué)習(xí)模型市場的未來發(fā)展。
    的頭像 發(fā)表于 02-13 09:39 ?365次閱讀

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    ),是多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法進行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、或多個隱藏層和輸出層組成,通過逐層遞減的方式調(diào)整網(wǎng)絡(luò)權(quán)重,目的是最小化網(wǎng)絡(luò)的輸出誤差。 二、深度
    的頭像 發(fā)表于 02-12 15:15 ?863次閱讀

    傳統(tǒng)機器學(xué)習(xí)方法和應(yīng)用指導(dǎo)

    用于開發(fā)生物學(xué)數(shù)據(jù)的機器學(xué)習(xí)方法。盡管深度學(xué)習(xí)般指神經(jīng)網(wǎng)絡(luò)算法)是強大的工具,目前也非常
    的頭像 發(fā)表于 12-30 09:16 ?1192次閱讀
    傳統(tǒng)<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>方法和應(yīng)用指導(dǎo)

    如何選擇云原生機器學(xué)習(xí)平臺

    當(dāng)今,云原生機器學(xué)習(xí)平臺因其彈性擴展、高效部署、低成本運營等優(yōu)勢,逐漸成為企業(yè)構(gòu)建和部署機器學(xué)習(xí)應(yīng)用的首選。然而,市場上的云原生機器
    的頭像 發(fā)表于 12-25 11:54 ?458次閱讀

    構(gòu)建云原生機器學(xué)習(xí)平臺流程

    構(gòu)建云原生機器學(xué)習(xí)平臺是復(fù)雜而系統(tǒng)的過程,涉及數(shù)據(jù)收集、處理、特征提取、模型訓(xùn)練、評估、部署和監(jiān)控等多個環(huán)節(jié)。
    的頭像 發(fā)表于 12-14 10:34 ?435次閱讀

    什么是機器學(xué)習(xí)?通過機器學(xué)習(xí)方法能解決哪些問題?

    計算機系統(tǒng)自身的性能”。事實上,由于“經(jīng)驗”在計算機系統(tǒng)中主要以數(shù)據(jù)的形式存在,因此機器學(xué)習(xí)需要設(shè)法對數(shù)據(jù)進行分析學(xué)習(xí),這就使得它逐漸成為智能數(shù)據(jù)分析技術(shù)的創(chuàng)新源之,
    的頭像 發(fā)表于 11-16 01:07 ?965次閱讀
    什么是<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>?通過<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>方法能解決哪些問題?

    NPU與機器學(xué)習(xí)算法的關(guān)系

    在人工智能領(lǐng)域,機器學(xué)習(xí)算法是實現(xiàn)智能系統(tǒng)的核心。隨著數(shù)據(jù)量的激增和算法復(fù)雜度的提升,對計算資源的需求也在不斷增長。NPU作為種專門為深度學(xué)習(xí)
    的頭像 發(fā)表于 11-15 09:19 ?1224次閱讀

    eda在機器學(xué)習(xí)中的應(yīng)用

    值和噪聲數(shù)據(jù)。通過繪制箱線圖、直方圖和散點圖,我們可以直觀地看到數(shù)據(jù)中的異常值和分布情況。例如,如果數(shù)據(jù)集中的某個特征值遠高于其他值,這可能是異常值,需要進
    的頭像 發(fā)表于 11-13 10:42 ?905次閱讀

    使用機器學(xué)習(xí)和NVIDIA Jetson邊緣AI和機器人平臺打造機器人導(dǎo)盲犬

    Selin Alara Ornek 是名富有遠見的高中生。她使用機器學(xué)習(xí)和 NVIDIA Jetson 邊緣 AI 和機器人平臺,為視障人士打造了
    的頭像 發(fā)表于 11-08 10:05 ?807次閱讀

    具身智能與機器學(xué)習(xí)的關(guān)系

    (如機器人、虛擬代理等)通過與物理世界或虛擬環(huán)境的交互來獲得、發(fā)展和應(yīng)用智能的能力。這種智能不僅包括認知和推理能力,還包括感知、運動控制和環(huán)境適應(yīng)能力。具身智能強調(diào)智能體的身體和環(huán)境在智能發(fā)展中的重要性。 2. 機器學(xué)習(xí)的定義
    的頭像 發(fā)表于 10-27 10:33 ?1050次閱讀

    人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)存在什么區(qū)別

    人工智能指的是在某種程度上顯示出類似人類智能的設(shè)備。AI有很多技術(shù),但其中很大的子集是機器學(xué)習(xí)——讓算法從數(shù)據(jù)中學(xué)習(xí)
    發(fā)表于 10-24 17:22 ?2980次閱讀
    人工智能、<b class='flag-5'>機器</b><b class='flag-5'>學(xué)習(xí)</b>和深度<b class='flag-5'>學(xué)習(xí)</b>存在什么區(qū)別

    【《時間序列與機器學(xué)習(xí)》閱讀體驗】+ 時間序列的信息提取

    本人有些機器學(xué)習(xí)的基礎(chǔ),理解起來點也不輕松,加油。 作者首先說明了時間序列的信息提取是時間序列分析的重要環(huán)節(jié),目標(biāo)是從給定的時間序列數(shù)
    發(fā)表于 08-14 18:00

    【「時間序列與機器學(xué)習(xí)」閱讀體驗】+ 簡單建議

    這本書以其系統(tǒng)性的框架和深入淺出的講解,為讀者繪制了幅時間序列分析與機器學(xué)習(xí)融合應(yīng)用的宏偉藍圖。作者不僅扎實地構(gòu)建了時間序列分析的基礎(chǔ)知識,更巧妙地展示了機器
    發(fā)表于 08-12 11:21

    【《時間序列與機器學(xué)習(xí)》閱讀體驗】+ 了解時間序列

    收到《時間序列與機器學(xué)習(xí)書,彩色印刷,公式代碼清晰,非常精美。感謝作者,感謝電子發(fā)燒友提供了讓我
    發(fā)表于 08-11 17:55

    如何構(gòu)建多層神經(jīng)網(wǎng)絡(luò)

    構(gòu)建多層神經(jīng)網(wǎng)絡(luò)(MLP, Multi-Layer Perceptron)模型是機器學(xué)習(xí)和深度學(xué)習(xí)
    的頭像 發(fā)表于 07-19 17:19 ?1569次閱讀