只需要輸入一段語音,代碼會自動生成與之相對的動畫唇形。
還是毫無違和感的那種。
這是一個在GitHub上擁有501星的開源項目,叫做Rhubarb Lip Sync。
它既可以是Windows和OS X命令行工具,也可以作為軟件的插件使用,能夠根據(jù)語音記錄自動創(chuàng)建2D嘴型動畫。
它可以用于計算機游戲、動畫卡通中的角色,或者用于其他需要基于現(xiàn)有錄音、對嘴部進行動畫處理的的影視項目。
那么,它是怎么實現(xiàn)如此效果的呢?
運作原理
首先,了解一下動畫人物說話的六種嘴型。
上述六種嘴型是由漢娜·巴貝拉(Hanna-Barbera)發(fā)明,已經(jīng)成為2D動畫嘴型的制作標準,被迪士尼和華納兄弟等影視公司在多部影視作品采用。
大多數(shù)的發(fā)音,都可以用這六種嘴型表示出來。
因此,Rhubarb Lip Sync工作的步驟如下:
輸入一段語音
Lip Sync識別這段語音
使用六個基本嘴形和最多三個擴展嘴形與語音匹配
輸出一個固定格式的文件
假如我說個奇怪的方言,它也能輸出相應的嘴型動畫嗎?
當然不是。
目前,Rhubarb Lip Sync只提供了兩個語音識別系統(tǒng):
PocketSphinx:只能識別英語,準確率更高。
Phonetic :能識別所有語言,因為它是依據(jù)個人的聲音和音節(jié)判別的,但準確率不如前者。
那么,這個小工具可以跟哪些視頻軟件融合使用呢?
可適用于多款軟件
可以在下載Rhubarb Lip Sync,并且安裝到AE上,可以直接在AE上運行這個軟件。
Moho and OpenToonz
Rhubarb Lip Sync能夠生成.dat文件,這種文件可以被Moho and OpenToonz識別,并導入使用。
Spine by Esoteric Software
Rhubarb Lip Syn for Spine是一個圖形工具,可讓導入Spine項目,執(zhí)行自動唇形同步,然后將結(jié)果重新導入Spine。
Vegas Pro by Magix
Rhubarb Lip Syn 還附帶了兩個用于Vegas Pro(以前稱為Sony Vegas)的插件腳本,可直接在Vegas中使用。
趕快把這個小工具推薦給你喜歡做視頻的朋友吧~
源代碼地址:
https://github.com/DanielSWolf/rhubarb-lip-sync
最新版本的下載地址:
https://github.com/DanielSWolf/rhubarb-lip-sync/releases
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc
https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
責編AJX
-
語音識別
+關(guān)注
關(guān)注
39文章
1782瀏覽量
114240 -
開源
+關(guān)注
關(guān)注
3文章
3689瀏覽量
43831 -
源代碼
+關(guān)注
關(guān)注
96文章
2953瀏覽量
68384
發(fā)布評論請先 登錄
RT-Thread榮獲2025優(yōu)秀開源項目 | 新聞速遞

零知開源——ESP32語音交互系統(tǒng)(AI小智)開發(fā)教程
Open Echo:一個開源的聲納項目

?Diffusion生成式動作引擎技術(shù)解析
階躍星辰開源多模態(tài)模型,天數(shù)智芯迅速適配
字節(jié)跳動發(fā)布OmniHuman 多模態(tài)框架
用DeepSeek-R1實現(xiàn)自動生成Manim動畫

開源鴻蒙榮獲開放原子“2024年度操作系統(tǒng)領域國內(nèi)活躍開源項目”
凌蒙派OpenHarmony開源項目榮獲本期Gitee官方推薦

ElfBoard開源項目|“智慧教室”開源項目技術(shù)文檔

8月全志芯片開源項目分享合集
Matepad pro12.2 已上市半個月,但是還沒有在開源網(wǎng)站看到該項目的開源信息,違背開源精神
普強信息成功中標“語音智檢項目”
關(guān)于Makefile自動生成-autotools的使用

評論