2022 年 GTC 發(fā)布的下一代 NVIDIA GPU ，即 NVIDIA -GeForce RTX 40 系列、 NVIDIA RTX 6000 Ada generation 和數(shù)據(jù)中心的 NVIDIA L40 ，均采用新的 NVIDIA Ada 架構(gòu)構(gòu)建。

NVIDIA Ada 架構(gòu)具有第三代光線跟蹤核心、第四代 Tensor 核心、多視頻編碼器和新的 Optical Flow 加速器。

為了讓您能夠充分利用新的硬件升級， NVIDIA 宣布了視頻編解碼器 SDK 和 Optical FlowSDK 的隨附更新。

NVIDIA 視頻編解碼器 SDK 12.0

AV1 是最先進(jìn)的視頻編碼格式，與流行標(biāo)準(zhǔn) H.264 相比，它提供了顯著的性能提升和更高的保真度。在 NVIDIA 安培體系結(jié)構(gòu)上引入的視頻編解碼器 SDK 擴(kuò)展了對 AV1 解碼的支持?，F(xiàn)在，有了視頻編解碼器 SDK 12.0 ， NVIDIA Ada 代 GPU 支持 AV1 編碼。

圖 1.AV1 和 H.264 的 PSNR 與比特率的比較

硬件加速 AV1 編碼是 AV1 向新標(biāo)準(zhǔn)視頻格式過渡的一個巨大里程碑。圖 1 顯示了 AV1 比特率節(jié)省如何轉(zhuǎn)化為令人印象深刻的性能提升和更高保真度的圖像。

峰值信噪比（ PSNR ）是一種視頻質(zhì)量度量。為了達(dá)到 42 dB PSNR ， AV1 視頻的比特率為 7 Mbps ，而 H.264 的比特率高于 12 Mbps 。在所有分辨率中， AV1 編碼的平均效率比 H.264 高 40% 。這一基本性能差異為 AV1 打開了支持更高質(zhì)量視頻、更高吞吐量和高動態(tài)范圍（ HDR ）的大門。

圖 2.與 H.264 相比， AV1 的比特率節(jié)省

如圖 2 所示，在 1440p 和 2160p 時， NVENC AV1 的效率是 NVENC H.264 的 1.45 倍。這種新的性能余量使圖像質(zhì)量比以往任何時候都高，包括 8k 。

AV1 的優(yōu)點(diǎn)最好與 NVIDIA Ada 架構(gòu)上的多編碼器設(shè)計結(jié)合使用。視頻編解碼器 SDK 12.0 在具有多個 NVENC 的芯片上是新的，處理負(fù)載同時均勻分布在每個編碼器上。這種優(yōu)化大大減少了編碼時間。多個編碼器與 AV1 格式相結(jié)合，使 NVIDIA Ada 能夠?qū)崟r支持難以置信的 8k 、 60 fps 視頻編碼。

FRUC 庫內(nèi)部

下面簡要說明 FRUC 庫如何處理一對幀并生成插值幀。

一對連續(xù)的幀（前一幀和后一幀）被輸入 FRUC 庫。

使用 NVIDIA Optical Flow API ，生成正向和反向流矢量圖。

然后，使用前后一致性檢查驗(yàn)證圖中的流向量。未通過一致性檢查的流向量將被拒絕。此圖中的黑色部分是未通過前后一致性檢查的流向量。

圖 6.驗(yàn)證和拒絕的流向量

使用可用的流矢量和先進(jìn)的 CUDA 加速技術(shù)，生成更精確的流矢量以填充被拒絕的流矢量。圖 7 顯示了生成的填充流矢量圖。

圖 7.填充流矢量圖

圖 8.帶有灰色區(qū)域的新插值幀

使用兩個幀之間的完整流向量映射，該算法在兩個輸入幀之間生成插值幀。這樣的圖像可能包含幾個孔（沒有有效顏色的像素）。 這張圖顯示了馬頭附近和天空中的一些小灰色區(qū)域，這些區(qū)域是洞。

使用圖像域孔填充技術(shù)填充插值幀中的孔，以生成最終插值圖像。這是 FRUC 庫的輸出。

調(diào)用應(yīng)用程序可以將此插值幀與原始幀交錯，以提高視頻或游戲的幀速率。

最后，為了擴(kuò)展可以利用 NVOFA 硬件的平臺， Optical Flow SDK 4.0 還引入了對 Windows Subsystem for Linux 的支持。

跨多硬件 NVENC 的 AV1 編碼實(shí)現(xiàn)了下一代視頻性能和保真度。廣播平臺可以獲得更高的實(shí)時流分辨率，視頻編輯器可以以 2 倍的速度導(dǎo)出視頻，所有這些都是由視頻編解碼器 SDK 實(shí)現(xiàn)的。

NVIDIA Video Codec SDK 12.0 將于 2022 年 10 月從 NVIDIA 開發(fā)中心下載。

NVIDIA Optical Flow 4.0

新的 NVIDIA Optical Flow SDK 4.0 版本引入了引擎輔助幀速率提升轉(zhuǎn)換（ FRUC ）。 FRUC 通過使用光流矢量插入插值幀，從低幀速率視頻生成高幀速率的視頻。這樣的高幀速率視頻顯示了跨幀運(yùn)動的平滑連續(xù)性。其結(jié)果是提高了視頻播放的平滑度和感知的視覺質(zhì)量。

NVIDIA Ada Lovelace 架構(gòu)有一種新的 Optical Flow 加速器，即 NVOFA ，其性能比 NVIDIA-Ampere 架構(gòu) NVOFA.高 2.5 倍。它在包括 KITTI 和 MPI Sintel 在內(nèi)的流行基準(zhǔn)測試上提供了 15% 的質(zhì)量改進(jìn)。

FRUC 庫使用 NVOFA 和 CUDA 插入幀的速度明顯快于僅使用軟件的方法。它還可以與自定義 DirectX 或 CUDA 應(yīng)用程序無縫協(xié)作，使開發(fā)人員易于集成。

圖 3.幀速率上轉(zhuǎn)換

除了基本的光流示例應(yīng)用程序外，Optical Flow SDK 4.0 還包括 FRUC 庫和示例應(yīng)用程序。 FRUC 庫公開了 NVIDIA FRUC API ，這些 API 采用兩個連續(xù)的幀，并在幀之間返回一個插值幀。這些 API 可用于任何視頻的上轉(zhuǎn)換。

與其他僅使用軟件的方法相比，使用 FRUC 庫的幀插值速度非?？?。 API 易于使用，并支持 ARGB 和 NV12 輸入曲面格式。它可以直接集成到任何 DirectX 或 CUDA 應(yīng)用程序中。

SDK 中包含的示例應(yīng)用程序源代碼演示了如何將 FRUC API 用于視頻 FRUC 。此源代碼可以根據(jù)需要重用或修改，以構(gòu)建自定義應(yīng)用程序。

關(guān)于作者

Rohit Naskulwar 是 NVIDIA 多媒體驅(qū)動程序和應(yīng)用程序團(tuán)隊的高級系統(tǒng)軟件工程師。他曾在 NVIDIA GPU 上研究 VR 和光流用例。在加入 NVIDIA 之前，他曾在西門子從事 PLM TeamCenter 服務(wù)器端開發(fā)。 Rohit 擁有印度普納大學(xué)計算機(jī)工程學(xué)士學(xué)位。

Aurobinda Maharana 是 NVIDIA 多媒體驅(qū)動團(tuán)隊的高級系統(tǒng)軟件工程師。他從事 NVIDIA 光流驅(qū)動器和應(yīng)用程序編程接口設(shè)計。此前，他曾負(fù)責(zé) NVIDIA 視頻驅(qū)動程序、 NVIDIA 流媒體和深度學(xué)習(xí)解決方案。他擁有印度班加羅爾印度科學(xué)院系統(tǒng)科學(xué)與自動化碩士學(xué)位。

Hareshkumar Borse 是 NVIDIA 多媒體驅(qū)動程序和應(yīng)用程序團(tuán)隊的系統(tǒng)軟件經(jīng)理。他曾在 NVIDIA GPU 上研究視頻、音頻、 3dvision 和光流用例。在加入 NVIDIA 之前，他曾在 C-DAC 從事視頻和圖形應(yīng)用程序開發(fā)。他擁有印度孟買 IIT 通信工程碩士學(xué)位

Robert Jensen 是 NVIDIA 的產(chǎn)品營銷實(shí)習(xí)生，也是康涅狄格大學(xué)的計算機(jī)科學(xué)專業(yè)。他目前正致力于使開發(fā)人員能夠采用 NVIDIA 光線追蹤和 AI 軟件。

審核編輯：郭婷