實時通信應用程序（如虛擬協(xié)作和內(nèi)容創(chuàng)建應用程序）的音頻和視頻質(zhì)量是衡量用戶實時通信體驗的真正標準。他們嚴重依賴網(wǎng)絡帶寬和用戶設備質(zhì)量。

狹窄的網(wǎng)絡帶寬和低質(zhì)量的設備會產(chǎn)生不穩(wěn)定且嘈雜的音頻和視頻輸出。由于用戶同時產(chǎn)生和消費音頻和視頻，因此可損壞流的數(shù)量增加，這一問題往往變得更加復雜。用戶通過部署內(nèi)容創(chuàng)建工具進一步加劇了音頻和視頻擁塞。

為了使您能夠增強實時通信應用程序的實時音頻和視頻質(zhì)量， NVIDIA Maxine提供 GPU – 加速 SDK 來執(zhí)行以下操作：

改進標準麥克風和網(wǎng)絡攝像頭經(jīng)驗通過視頻效果、音頻效果和 AR SDK 功能。

支持將多個音頻、視頻和增強現(xiàn)實功能實時鏈接到端到端管道中使用 Maxine 構(gòu)建新的或集成到已構(gòu)建的端到端管道中。

包括轉(zhuǎn)錄和翻譯當與 NVIDIA Riva一起使用 Maxine 時，這是一個用于構(gòu)建對話 AI 應用程序的 SDK 。

簡言之， Maxine 為具有高音頻和視頻質(zhì)量的虛擬協(xié)作和內(nèi)容創(chuàng)建應用程序提供了最高的性能，無論是在 PC 機、內(nèi)部部署還是在具有 GPU 的云數(shù)據(jù)中心。

在本文中，您將了解：

用戶在使用 Maxine SDK 進行實時通信應用時體驗到的音頻和視頻增強功能。

使用 Maxine 、 NVIDIA 視頻編解碼器 SDK和 Riva 構(gòu)建端到端管道的好處。

Maxine SDK 的真實示例在視頻會議、內(nèi)容創(chuàng)建和實時流媒體應用程序中提供了集成功能。

圖 1 與 Maxine 和 Riva SDK 的端到端管道

將標準音頻和視頻設備轉(zhuǎn)換為智能設備

NVIDIA Maxine 由視頻特效 SDK 、音頻特效 SDK 和 AR SDK 組成，具有 GPU – 經(jīng)過數(shù)十萬小時培訓開發(fā)的最先進的人工智能加速功能。

使用Maxine 視頻效果 SDK，您可以將標準網(wǎng)絡攝像頭輸入轉(zhuǎn)換為高質(zhì)量視頻。視頻改進如下：

圖像更清晰，細節(jié)更豐富，通過 Maxine 超分辨率和放大功能實現(xiàn)。

顯著降低網(wǎng)絡攝像頭傳感器類型、曝光和低照度造成的視頻噪音集成了 Maxine 視頻降噪功能。

塊狀偽影、響聲和蚊子噪音消除應用 Maxine 偽影減少功能。

用戶選擇的虛擬背景，通過虛擬背景功能啟用（圖 2 ）。

有關如何使用標準網(wǎng)絡攝像頭輸入運行這些效果并將其集成到應用程序中的更多信息，請參閱將嘈雜的低分辨率視頻轉(zhuǎn)換為高質(zhì)量視頻，為最終用戶帶來迷人的體驗。

Maxine 音頻效果 SDK提供的人工智能模型可以消除幾乎任何類型的音頻噪音–阻礙窄帶、寬帶和超寬帶音頻，并提高通話質(zhì)量。使用 Maxine 解決音頻質(zhì)量差問題的好處如下：

沒有不必要的背景噪音例如交流噪音、建筑噪音、交通噪音或鍵盤敲擊聲。有關通過噪聲消除功能消除的背景噪聲類型的完整列表的更多信息，請參閱關于背景噪聲抑制效果。

沒有無法理解的聲音或聲音失真，也就是說，在具有反射表面的大空間中說話時，不會出現(xiàn)混響。通過 Maxine Room 回聲消除功能可實現(xiàn)消除。

為了獲得更好的端到端質(zhì)量，您可以組合 Maxine audio effects 功能。有關如何構(gòu)建具有卓越音質(zhì)的虛擬協(xié)作和內(nèi)容創(chuàng)建應用程序的更多信息，請參閱為虛擬協(xié)作和內(nèi)容創(chuàng)建應用程序?qū)崿F(xiàn)無噪音音頻。

Maxine 增強現(xiàn)實 SDK使您能夠從網(wǎng)絡攝像頭視頻中創(chuàng)建有趣且引人入勝的 AR 效果，并在應用程序中使用這些效果來吸引用戶、了解用戶情緒或創(chuàng)建 3D 照片逼真的化身。

Maxine AR SDK 提供人臉跟蹤、人臉地標跟蹤和人臉網(wǎng)格功能（圖 3 ）。

圖 3 。 Maxine AR 人臉相關特征示意圖

面跟蹤在面周圍創(chuàng)建邊界框，并隨時間跟蹤面位置。

人臉地標跟蹤識別鼻子、眼睛和嘴唇等面部特征，并實時跟蹤它們。

人臉網(wǎng)格用 3D 網(wǎng)格表示人臉， 3D 網(wǎng)格模擬用戶實時變化的人臉，可用于人臉身份驗證和構(gòu)建化身。

人臉跟蹤和人臉地標跟蹤可用于跟蹤駕駛員注意力，或用于面罩和眼鏡檢測應用。

使用 Maxine Body Pose Estimation 功能，您可以創(chuàng)建用于理解用戶姿勢的應用程序，并將其用于人體活動識別、運動傳輸和實時虛擬交互。

快速構(gòu)建實時的端到端管道

在構(gòu)建音頻和視頻管道時，開發(fā)人員通常自定義 AI 模型以實現(xiàn)所需的音頻和視頻效果。此外，他們的管道必須支持多種平臺，如嵌入式、 PC 和服務器，還必須滿足低延遲和高吞吐量的視頻處理要求。事實證明，這樣的管道是計算密集型的。通常在運營成本和音頻和視頻流質(zhì)量之間進行權衡。

NVIDIA Maxine 及其周圍的生態(tài)系統(tǒng)完全有能力應對這一挑戰(zhàn)。通過利用 NVIDIA GPU s 提供的加速功能和最先進的 AI 模型功能，您可以構(gòu)建提供更好用戶體驗的應用程序，同時管理相關成本。這就是它的工作原理。

Maxine AI 功能

NVIDIA Maxine 的核心是三個 SDK ，它們提供多種 AI 功能。這些功能提高了視頻分辨率，消除了音頻和視頻中的噪音，并提供了獨特的功能。

圍繞 Maxine 的 NVIDIA 生態(tài)系統(tǒng)由兩個關鍵產(chǎn)品 NVIDIA 視頻編解碼器 SDK和 NVIDIA Riva 組成。

使用視頻編解碼器 SDK ，您可以訪問提供硬件加速編碼和解碼功能的 NVNC 和 NVDEC API 。

使用 NVIDIA Riva ，您可以構(gòu)建對話 AI ，通過提供轉(zhuǎn)錄和翻譯等功能來幫助增強虛擬協(xié)作體驗。

所有這些特性都是 GPU 加速的，因此可以處理的介質(zhì)量遠遠高于基于 CPU 的管道。

例如，考慮一下德國的一個生產(chǎn)層經(jīng)理，他與美國的高管們在關鍵業(yè)務決策上進行遠程互動。工廠往往位于互聯(lián)網(wǎng)連接有限的偏遠地區(qū)，生產(chǎn)車間往往是淹沒在大量背景噪音中的大房間。

使用 Maxine 噪音消除功能，經(jīng)理可以消除生產(chǎn)車間的背景噪音。

通過消除房間回聲，他們可以消除音頻混響。

通過 Riva 翻譯，生產(chǎn)車間經(jīng)理和高管可以用他們喜歡的語言進行溝通。

通過視頻噪聲消除和超分辨率，一個嘈雜的 360p 視頻被轉(zhuǎn)換成清晰的 1440p 視頻。

經(jīng)理可以用干凈的背景掩蓋生產(chǎn)車間的雜亂。

圖 4 強調(diào)了使用和不使用 Maxine 時用戶體驗的巨大差異。

圖 4 具有 Maxine 生態(tài)系統(tǒng)的視頻會議管道：Maxine，視頻編解碼器和Riva

模塊化 Maxine 設計產(chǎn)品的優(yōu)勢在于，您可以輕松選擇和集成現(xiàn)有管道中所需的 SDK ，或者從頭開始構(gòu)建新的端到端管道。 Maxine 和圍繞 Maxine 的生態(tài)系統(tǒng)使您能夠快速構(gòu)建一個高吞吐量的端到端管道，接收嘈雜的數(shù)據(jù)流，并將其實時轉(zhuǎn)換為一種無噪音、高質(zhì)量、高實用性的體驗，可供所有設備使用。

使用 Maxine SDK 的增壓應用程序的真實示例

為了展示如何集成 Maxine 特性，我們選擇了幾個實際示例，每個主要用例一個。

阿瓦亞空間

阿瓦亞空間是一個基于 CPaaS 的現(xiàn)代會議和工作流協(xié)作平臺，提供高清晰度視頻會議、視頻合成、會議錄制、實時轉(zhuǎn)錄和云級別的持久協(xié)作。

Avaya 的目標是實現(xiàn)大規(guī)模提供實時、高質(zhì)量媒體服務的民主化，無論用戶的設備質(zhì)量如何，也不管用戶在世界各地的位置如何，以瀏覽器為第一體驗。為了實現(xiàn)這些目標并優(yōu)化媒體處理， Avaya 將底層基于云的 CPaaS 與 NVIDIA Maxine 技術相結(jié)合。

通過將一系列 GPU 連接到容器和虛擬機的云部署，可實現(xiàn) 100% 的正常運行時間。服務器根據(jù)需求進行旋轉(zhuǎn)，便于與數(shù)千名參與者進行大規(guī)模、實時、雙向視頻交互會議。

Avaya 使用 Maxine Noise Remove 功能來滿足計算成本高、延遲有限的預算，以滿足人們對干凈清晰的音頻的需求，而無背景噪音，并且由于設備質(zhì)量低和網(wǎng)絡性能差，對音頻和語音間隙的容忍度較低。與傳統(tǒng)的 DSP 方法相比， Maxine 噪聲消除功能更強大，涵蓋范圍更廣。它可以在不在端點上運行的情況下實現(xiàn)低延遲，但盡可能靠近網(wǎng)絡邊緣。此外，由于基于 AI 的算法延遲低于 40ms ，因此音頻管道中沒有緩沖。

Avaya 還使用獨特的 Maxine 虛擬背景功能，將多個揚聲器疊加在演示文稿上，以獲得更具吸引力的演示文稿。最終用戶不必擁有特殊的硬件或下載任何軟件。他們可以在任何設備上實現(xiàn)這一點，并且可以靈活地創(chuàng)建不同類型的布局。

借助 Maxine 虛擬背景功能， Avaya 為移動和處于復雜體位的揚聲器提供強大的視頻分割。有關 Maxine 如何使 Avaya 提供專業(yè)、高質(zhì)量、無處不在、可從任何平臺訪問的最終用戶體驗的更多信息，請參閱 Avaya 最近的 GTC 課程 NVIDIA 的 Maxine 如何改變我們的溝通方式。

Notch

Notch是一種用于 3D 、 VFX 和實時事件視覺效果的實時圖形工具。為舞臺表演創(chuàng)造效果通常需要一個單獨的昂貴攝像頭和跟蹤解決方案來跟蹤身體運動。在某些情況下，生成視覺效果對于處理完整的攝影機提要（包括背景）變得很棘手。

通過 Maxine 實時人臉跟蹤和身體姿勢估計功能， Notch 使藝術家能夠通過減少對定制硬件跟蹤系統(tǒng)的需求，大大簡化現(xiàn)場活動舞臺的設置。取而代之的是，凹口可以使用標準的攝像設備。用戶可以進一步使用骨骼體數(shù)據(jù)的運動捕捉裝備來控制 3D 角色動畫。

通過 Maxine AI 驅(qū)動的虛擬背景功能， Notch 用戶可以創(chuàng)建視頻處理效果，將人與背景分開，并將處理僅應用于舞臺上的人才或背景本身。這一簡單的過程具有高分辨率和精度，適用于復雜條件，如深色衣服和復雜的照明條件。有關更多信息，請參閱演示視頻切口 0 。 9 。 23 。 195 NVIDIA 貼片釋放走查。

Be.Live

另一個使用 Maxine 虛擬背景功能的例子是在實時流媒體空間。Be.Live是一個實時流媒體工作室，幫助企業(yè)、 SMB 和零售商創(chuàng)建專業(yè)的實時流媒體，而無需學習曲線。它們在云中運行與虛擬背景相關的所有進程。

無論是希望與觀眾建立聯(lián)系的小企業(yè)，還是建立雇主與雇員溝通的企業(yè)， Maxine 和 Be 。 Live 都提供了一種解決方案，使頂層背景刪除在主機后面沒有綠色屏幕。除了享受高質(zhì)量的背景，無需升級網(wǎng)絡攝像頭和工作室設置，用戶還可以節(jié)省計算能力，體驗更好的流媒體體驗。

Be 。 Live 的目標是在 Live Commerce 生態(tài)系統(tǒng)中實施 Maxine 虛擬背景創(chuàng)新，因為該技術可以幫助許多品牌在無需太多投資的情況下啟動其實時購物流。

關于作者

About Gordana Neskovic

Gordana Neskovic 是AI/DL產(chǎn)品營銷團隊的成員，負責 NVIDIA Maxine。在加入 NVIDIA 之前，Gordana曾在VMware、Wells Fargo、Pinterest、SFO-ITT和KLA Tencor擔任過各種產(chǎn)品營銷、數(shù)據(jù)科學家、AI架構(gòu)師和工程職位。她擁有博士學位。圣塔 Clara 大學，塞爾維亞貝爾格萊德大學電氣工程碩士和學士學位。

About Tanay Varshney

Tanay Varshney 是 NVIDIA 的一名深入學習的技術營銷工程師，負責廣泛的 DL 軟件產(chǎn)品。他擁有紐約大學計算機科學碩士學位，專注于計算機視覺、數(shù)據(jù)可視化和城市分析的橫斷面。

審核編輯：郭婷