2 月 6 日消息，字節(jié)跳動近日發(fā)布了一項重大成果 ——OmniHuman 多模態(tài)框架，其優(yōu)勢在于其強大的視頻生成能力。用戶只需提供一張任意尺寸和人物占比的單張圖片，再結(jié)合一段輸入音頻，就能生成栩栩如生的人物視頻。

與傳統(tǒng) AI 模型不同，OmniHuman-1 能夠生成逼真的全身動畫，并且可以精準地將手勢和面部表情與語音或音樂同步，打破了以往只能生成面部或上半身動畫的局限。

基于約 19000 小時的人類運動數(shù)據(jù)訓練，OmniHuman-1 模型支持不同的體型和畫面比例，能在內(nèi)存限制內(nèi)生成任意長度的視頻，并適應不同輸入信號，在真實性和準確性方面超越其他同類動畫工具。值得一提的是，它還支持卡通角色、人工物體、動物以及復雜姿勢的輸入，確保生成的動作特征與每種風格的獨特特點相匹配。

在實際應用場景中，OmniHuman 潛力巨大。在影視制作領(lǐng)域，創(chuàng)作者能輕松為虛擬角色打造全身動作戲份；虛擬直播里，主播動作更加自然，可增強直播的趣味性與吸引力；游戲世界中，數(shù)字人 NPC 的動作和表情更豐富，能提升玩家的沉浸感。