電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，阿里云宣布通義實驗室研發(fā)的視頻生成模型EMO正式上線通義App，免費對所有人開放。借助這一功能，用戶可以在歌曲、熱梗、表情包中任選一款模板，然后通過上傳一張肖像照片就能讓 EMO 合成演戲唱歌視頻。

阿里云在視頻生成領(lǐng)域的創(chuàng)新

EMO（Emote Portrait Alive）是一個由阿里巴巴集團智能計算研究院開發(fā)的框架，一個音頻驅(qū)動的 AI 肖像視頻生成系統(tǒng)，能夠通過輸入單一的參考圖像和語音音頻，生成具有表現(xiàn)力的面部表情和各種頭部姿勢的視頻。

據(jù)介紹，通義 App 首批上線了80多個 EMO 模板，包括熱門歌曲《上春山》《野狼 Disco》等，還有網(wǎng)絡(luò)熱?！袄徖忞u”“回手掏”等。EMO自2月底公布模型論文以來，在海內(nèi)外引發(fā)廣泛關(guān)注，并與OpenAI的Sora模型相提并論。

具體來看，EMO的功能包括，音頻驅(qū)動的視頻生成，通過輸入一段音頻（如語音、歌曲等）和一張參考圖片（通常是人物的肖像），就能生成一個動態(tài)的、與音頻內(nèi)容同步的視頻。

阿里EMO使用先進的音視頻擴散模型和注意力機制，能夠生成具有高度真實感和豐富表現(xiàn)力的肖像視頻。肖像的表情和動作會非常自然和流暢，與音頻內(nèi)容緊密同步。

阿里EMO的應(yīng)用場景非常廣泛。它不僅可以用于娛樂和創(chuàng)作領(lǐng)域，如讓歷史人物“復(fù)活”、為電影角色配音等，還可以用于教育、廣告、游戲等多個領(lǐng)域，為用戶提供更多樣化、個性化的視頻內(nèi)容。

另外，阿里EMO采用高效的算法和計算框架，能夠在較短的時間內(nèi)生成高質(zhì)量的肖像視頻。這為用戶節(jié)省了大量的時間成本，提高了工作效率。

阿里EMO的框架還具有良好的可擴展性和靈活性，可以根據(jù)用戶的具體需求進行定制和優(yōu)化。例如，可以通過調(diào)整參數(shù)或添加新的模型組件來優(yōu)化生成視頻的質(zhì)量和性能。

阿里在視頻生成領(lǐng)域做過非常多創(chuàng)新，此前還推出過VideoComposer，這是一個結(jié)合了空間條件和時序條件的視頻生成框架。它利用單張圖像或草圖作為空間條件，同時結(jié)合運動矢量和深度序列等時序條件，來生成具有高度視覺逼真度的視頻。

阿里云還發(fā)布了AtomoVideo模型，這是一種能夠從單一靜態(tài)圖像生成高保真視頻序列的技術(shù)。它結(jié)合了個性化文本到圖像（T2I）模型，能夠根據(jù)文字描述和靜態(tài)圖片生成符合描述的視頻內(nèi)容。

此外，阿里云視覺智能開放平臺提供了豐富的視頻生產(chǎn)能力，包括視頻摘要、視頻編輯、視頻人臉融合等功能。這些功能可以應(yīng)用于電商、影視、廣告等多個領(lǐng)域，幫助用戶快速生成高質(zhì)量的視頻內(nèi)容。

視頻生成使用到的AI技術(shù)和算法

視頻生成是一個涉及多個步驟和技術(shù)的過程，目前國內(nèi)外有多款視頻生成工具，如Pixverse、Pika、Runway Gen-2、Kaiber、Plaiday、Genmo等。其中，Pika因其高質(zhì)量和穩(wěn)定的畫面生成能力而受到用戶好評，Runway Gen-2則可以將midjourney生成的圖像轉(zhuǎn)換為高質(zhì)量動畫。另外，Sora作為一款新興的視頻生成工具，其獨特之處在于能夠生成高質(zhì)量的長視頻內(nèi)容，并理解長文本指令以生成詳盡細節(jié)的視頻內(nèi)容。

從算法的角度來看，視頻生成涉及到一些基本的算法和技術(shù)。例如，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中的GRU和LSTM可以有效避免梯度下降和衰減的問題，而encoder-decoder架構(gòu)則使得機器翻譯等任務(wù)的效果大幅提升。在視頻生成領(lǐng)域，這些算法和技術(shù)可能用于生成視頻的內(nèi)容、結(jié)構(gòu)、風(fēng)格等方面。

視頻生成采用了相當(dāng)多的技術(shù)，包括深度學(xué)習(xí)模型，這是視頻生成中最為關(guān)鍵的技術(shù)之一。深度學(xué)習(xí)模型，特別是生成對抗網(wǎng)絡(luò)（GANs）和變分自編碼器（VAEs），被廣泛應(yīng)用于視頻生成中。這些模型能夠?qū)W習(xí)并模仿視頻數(shù)據(jù)的分布，從而生成新的、與原始數(shù)據(jù)相似的視頻。

計算機圖形學(xué)，它在視頻生成中扮演著重要角色，特別是在創(chuàng)建虛擬場景、角色和特效時。通過計算機圖形學(xué)技術(shù)，可以生成逼真的虛擬場景和角色，并將其與真實視頻相結(jié)合，創(chuàng)造出獨特的視覺效果。

物理模擬，為了生成更逼真的視頻，物理模擬技術(shù)被用來模擬物體的運動和交互。這包括模擬物體的運動軌跡、碰撞效果、光影變化等，以使得生成的視頻更加真實可信。

自然語言處理，隨著技術(shù)的發(fā)展，自然語言處理（NLP）也被應(yīng)用于視頻生成中。通過解析文本描述，NLP技術(shù)可以指導(dǎo)視頻生成模型生成與文本內(nèi)容相匹配的視頻。這為視頻生成提供了更多的創(chuàng)意和可能性。

還有音頻合成技術(shù)，除了視覺元素外，音頻也是視頻的重要組成部分。音頻合成技術(shù)可以生成與視頻內(nèi)容相匹配的音效和背景音樂，從而提升視頻的觀看體驗。此外，還有一些其他的技術(shù)也被用于視頻生成中，如增強學(xué)習(xí)、遷移學(xué)習(xí)等。這些技術(shù)使得視頻生成更加靈活、高效和多樣化。

寫在最后

經(jīng)過近些年的發(fā)展，視頻生成技術(shù)也逐漸成熟，并且在新聞報道、廣告制作、教育培訓(xùn)、電影與游戲制作、醫(yī)療健康等領(lǐng)域有不少實際的應(yīng)用案例。未來，娛樂與媒體、廣告與營銷、教育培訓(xùn)、虛擬現(xiàn)實/增強現(xiàn)實、醫(yī)療健康等都將會成為視頻生成技術(shù)的主流應(yīng)用。