AI 的深入發(fā)展推動人機交互領(lǐng)域的技術(shù)不斷革新，“數(shù)字人”市場快速升溫。隨著用戶對人機交互智能化提出了更高的要求，加之計算機視覺和自然語言處理等技術(shù)的迭代升級和互相融合，多模態(tài)人機交互成為新的發(fā)展趨勢。

中科深智聚焦動作和表情的實時生成引擎研發(fā)，打造了數(shù)字人多模態(tài)實時驅(qū)動引擎 Motionverse，賦能各類元宇宙和數(shù)字人業(yè)務(wù)發(fā)展。中科深智將 Motionverse 引入 NVIDIA Omniverse 平臺，借助 Omniverse 平臺的開源模塊化架構(gòu)，加速功能開發(fā)，為 Motionverse 創(chuàng)建了更多落地場景。

多模態(tài)數(shù)字人實時驅(qū)動開發(fā)：細(xì)節(jié)成為“攔路虎”

當(dāng)前多模態(tài)技術(shù)仍存在語義鴻溝、異構(gòu)鴻溝、數(shù)據(jù)缺失三大難點，后續(xù)開發(fā)仍需持續(xù)突破技術(shù)難點。多模態(tài)數(shù)字人開發(fā)覆蓋文字、語音、視覺的理解和生成，動作識別和驅(qū)動，環(huán)境感知等多方面，對視覺、語音、自然語言處理等提出了更高的算法和技術(shù)需求。

Motionverse 引擎在最初的設(shè)定中，包括了面部、上半身、聲音、DM 等多種方式，但在實際開發(fā)過程中也會遇到很多細(xì)節(jié)問題。因此，如何在引擎中實現(xiàn)技術(shù)融合、推動實現(xiàn)更為高效的多模態(tài)人機交互需要更為全面的底層技術(shù)支持。

Omniverse 模組化設(shè)計賦能數(shù)字人開發(fā)

NVIDIA Omniverse 是可實現(xiàn) 3D 設(shè)計協(xié)作和真實模擬的可擴展式多 GPU 虛擬世界平臺。中科深智依靠 Omniverse 平臺的模組化設(shè)計，借助 Omniverse 底層技術(shù)支持 AI 生成動作表情后的驅(qū)動，使驅(qū)動過程更為高效、清晰。

中科深智與 NVIDIA 開展深度合作，將其多模態(tài)數(shù)字人表情和動作生成及實時驅(qū)動平臺——Motionverse 接入 3D 模擬和協(xié)作平臺 NVIDIA Omniverse，同時結(jié)合 NVIDIA 多個 SDK 提供的強大 AI 能力（如 Avatar Cloud Engine 和 Maxine 等），為全球設(shè)計師和開發(fā)者提供完整的數(shù)字人全套即插即用的解決方案。

NVIDIA Omniverse Avatar Cloud Engine（ACE）是基于云的 AI 模型和服務(wù)的集合，建立在 NVIDIA 統(tǒng)一計算框架（UCF）之上，其豐富的軟件工具和 API 可供開發(fā)者輕松構(gòu)建、自定義和部署生動的交互式虛擬形象。

NVIDIA Maxine 是 Omniverse ACE 的一部分，是一套由 GPU 加速的 AI 軟件開發(fā)套件（SDK）和云原生微服務(wù)，用于部署經(jīng)過優(yōu)化和加速的 AI 功能。Maxine 云原生微服務(wù)允許開發(fā)者構(gòu)建實時 AI 應(yīng)用。微服務(wù)還可以獨立管理，開發(fā)者可以在云端進行無縫部署，縮短開發(fā)周期。

Omniverse 助力 Motionverse 加速落地場景構(gòu)建

Motionverse 借助 Omniverse 平臺，可助力 Omniverse 用戶以更簡便、更精準(zhǔn)的方式驅(qū)動數(shù)字人，實現(xiàn)高效率、低成本、大批量、全自動的多模態(tài)動作數(shù)據(jù)解析、生成、影像渲染及內(nèi)容輸出，讓數(shù)字人的動作和表情變得生動、靈活、真實。

中科深智借助 Omniverse 平臺加速引擎功能開發(fā)，更加高效地上線了面部驅(qū)動、上半身驅(qū)動和聲音驅(qū)動等功能，同時還將借助 Omniverse 平臺的 3D 設(shè)計協(xié)作及可擴展的多 GPU 實時逼真仿真，針對當(dāng)前互動效果進行持續(xù)更新，著力擴展更多的驅(qū)動模態(tài)。

同時中科深智還加入了 NVIDIA 初創(chuàng)加速計劃，其聯(lián)合創(chuàng)始人兼 CTO 宋健表示，“作為 NVIDIA 初創(chuàng)加速計劃會員，我們獲得了市場、技術(shù)等多方面的支持。我們還獲邀參與了 2022 NVIDIA 初創(chuàng)企業(yè)展示活動，并進入了最終展示。通過與 NVIDIA 的深度合作，中科深智將公司的多模態(tài)數(shù)字人表情和動作生成及實時驅(qū)動平臺——Motionverse 接入設(shè)計師協(xié)同設(shè)計平臺 NVIDIA Omniverse，同時結(jié)合 NVIDIA 多個 SDK 提供的強大 AI 能力，包括 Maxine 以及 ACE 數(shù)字人為全球設(shè)計師和開發(fā)者提供完整的數(shù)字人全套即插即用的解決方案。”

審核編輯：湯梓紅