AI就像一個(gè)加速器，正在滲透在多媒體應(yīng)用的方方面面，改進(jìn)甚至顛覆傳統(tǒng)的圖像視頻處理方法。本文整理自騰訊云高級(jí)研發(fā)工程師劉兆瑞在LiveVideoStackCon 2020北京站上的演講，將從超低碼率壓縮場(chǎng)景下AI技術(shù)在前置處理中的優(yōu)化、AI技術(shù)的畫(huà)質(zhì)修復(fù)探索以及智能編輯場(chǎng)景的落地實(shí)踐三個(gè)方面展開(kāi)。

大家好，首先非常榮幸有機(jī)會(huì)收到LiveVideoStack邀請(qǐng)來(lái)和大家分享騰訊視頻云在AI視覺(jué)上的落地實(shí)踐與應(yīng)用，以及AI視覺(jué)泛化應(yīng)用過(guò)程遇到的機(jī)遇和挑戰(zhàn)。

首先簡(jiǎn)單做個(gè)自我介紹，加入騰訊以后，就一直在騰訊視頻云工作，早先負(fù)責(zé)PSTN云通信平臺(tái)，之后進(jìn)行極速高清轉(zhuǎn)碼平臺(tái)的研發(fā)工作，與此同時(shí)也針對(duì)視頻的場(chǎng)景和特性進(jìn)行編碼器的優(yōu)化?，F(xiàn)在主要負(fù)責(zé)騰訊明眸（畫(huà)質(zhì)修復(fù)、畫(huà)質(zhì)增強(qiáng)）的研發(fā)工作，該工作與騰訊多媒體實(shí)驗(yàn)室聯(lián)合研發(fā)，已經(jīng)在騰訊視頻云上得到比較好的落地與應(yīng)用。 今天分享的內(nèi)容更多以一個(gè)工程師的角度，和大家分享我們是如何把AI視覺(jué)真正的落地，應(yīng)用在廣泛、海量的視頻處理過(guò)程中。所以在技術(shù)選型上，可能不會(huì)去選擇目前state of the art的技術(shù)，更多會(huì)考慮模型的穩(wěn)定性、泛化能力以及資源的消耗、成本。接下來(lái)的分享是我們?cè)趯?shí)際落地過(guò)程中遇到的問(wèn)題、踩過(guò)的坑，以及我們的一些trick。希望能為做類似業(yè)務(wù)落地的同學(xué)提供一定的參考。

上圖是騰訊視頻云在直播點(diǎn)播媒體處理、智能編輯等方面的產(chǎn)品矩陣，可以看到，無(wú)論是直播、點(diǎn)播中應(yīng)用的視頻壓縮和畫(huà)質(zhì)修復(fù)技術(shù)，還是智能編輯中應(yīng)用的審核、識(shí)別、標(biāo)簽等技術(shù)，都離不開(kāi)AI的支持。 01極速高清，視頻壓縮的挑戰(zhàn) 近年來(lái)，視頻編碼領(lǐng)域也是在飛速發(fā)展，從H264編碼標(biāo)準(zhǔn)到現(xiàn)在的H265再到AV1。但是從實(shí)際用戶的使用情況觀察，目前H264標(biāo)準(zhǔn)依舊是主流，甚至90%以上的用戶還在使用H264。其實(shí)，H264已經(jīng)是十幾年前的標(biāo)準(zhǔn)，有很多可以優(yōu)化的痛點(diǎn)，我們希望可以結(jié)合AI技術(shù)，使H264在當(dāng)前標(biāo)準(zhǔn)的基礎(chǔ)上，獲得新的編碼壓縮增益。 1.1 極速高清，單一視頻的極致壓縮

首先簡(jiǎn)單對(duì)騰訊云極速高清產(chǎn)品做個(gè)定義，簡(jiǎn)單而言它是一個(gè)結(jié)合了前置處理、編碼器優(yōu)化的整體視頻壓縮解決方案。給客戶提供更低碼率的同時(shí)，保證主觀感受不變差，甚至更好的主觀感受。 提到壓縮肯定離不開(kāi)編碼器，從編碼器角度來(lái)說(shuō)，目前x264其實(shí)是非常成熟、優(yōu)秀的編碼器，但它仍然存在一定優(yōu)化空間，比如x264是通用的編碼器，不會(huì)針對(duì)一些垂直領(lǐng)域去做調(diào)優(yōu)，但對(duì)于云服務(wù)的一些垂直場(chǎng)景，編碼器內(nèi)部還有很多可以調(diào)試優(yōu)化的地方。在不同垂直品類的視頻場(chǎng)景，我們?cè)诖a率控制、rdo分析、deblock濾波等等編碼器內(nèi)部都做了新的編碼工具。同時(shí)視頻源的質(zhì)量也是參差不齊的，所以針對(duì)不同質(zhì)量的視頻源會(huì)進(jìn)行銳化、去噪等輔助操作。極速高清方案整體壓縮下來(lái)，與普通轉(zhuǎn)碼相比會(huì)有額外20%-40%的碼率節(jié)省。 1.2 場(chǎng)景分類，海量視頻的分類壓縮 但是對(duì)于云上業(yè)務(wù)，每天轉(zhuǎn)碼海量的視頻，我們不可能針對(duì)每個(gè)視頻tune編碼特性和參數(shù)，而我們?cè)诰幋a器上很多優(yōu)化的編碼工具都是針對(duì)垂直場(chǎng)景，如果使用場(chǎng)景不匹配，會(huì)出現(xiàn)一定的反效果。所以針對(duì)不同場(chǎng)景、不同品類，和編碼團(tuán)隊(duì)配合，更好的使用編碼工具是非常有意義的一件事。

上圖是一個(gè)簡(jiǎn)單的直觀對(duì)比，左邊兩張圖像使用同樣的銳化強(qiáng)度處理，但游戲場(chǎng)景會(huì)有失真的情況。從編碼器的對(duì)比來(lái)看，如果你使用同樣crf35的編碼強(qiáng)度去壓縮，可以發(fā)現(xiàn)大逃殺類游戲已經(jīng)產(chǎn)生了大量模糊，但秀場(chǎng)視頻還能夠保持不錯(cuò)的質(zhì)量感官。

前面提到視頻場(chǎng)景分類的必要性，我們?cè)趫?chǎng)景分類的模型選擇上是基于CNN的，主要是考慮CNN模型已經(jīng)非常成熟、穩(wěn)定，同時(shí)資源的消耗也比較低，速度能夠達(dá)到我們實(shí)時(shí)的需求。此外，CNN在推理過(guò)程中使用CPU就可以達(dá)到我們的要求，這也是一個(gè)非常誘人的優(yōu)點(diǎn)，畢竟在很多情況下，GPU資源還是相對(duì)比較稀缺。 1.3 基于AI的輔助壓縮

我們通過(guò)場(chǎng)景分類來(lái)更好的利用編碼特性和工具，但我們也知道在編碼中沒(méi)有極限，尤其是To B服務(wù)要滿足客戶的各類需求。比如實(shí)際場(chǎng)景中的一個(gè)例子，源是非常復(fù)雜的高動(dòng)態(tài)的MV類視頻，需要輸出720P@30fps，并且壓縮到500Kbps以下，同時(shí)因?yàn)椴シ哦说纫蛩叵拗?，必須使用H264編碼。上圖是使用x264編碼器在slow復(fù)雜度下壓縮出來(lái)的效果，可以看到這個(gè)壓縮出來(lái)的結(jié)果還是比較差。

下面跟大家分享下，我們對(duì)于這個(gè)問(wèn)題的嘗試和思考過(guò)程。我們知道碼率、質(zhì)量和分辨率之間是有一個(gè)間隔交錯(cuò)的區(qū)間，也就是說(shuō)在碼率非常低的情況下，低分辨率的質(zhì)量（視覺(jué)效果）可能會(huì)優(yōu)于高分辨率。從原理上來(lái)看，低分辨率和高分辨率相比，細(xì)節(jié)信息是更少的。用低碼率來(lái)壓縮高分辨率視頻，會(huì)出現(xiàn)非常多的塊效應(yīng)。而低分率視頻對(duì)人眼的感官來(lái)說(shuō)只是模糊、不夠清晰。因此可以通過(guò)一些模糊、去噪的手段，主動(dòng)減少一些視頻細(xì)節(jié)。這樣處理后，整個(gè)視頻的塊效應(yīng)變少了，當(dāng)然也會(huì)帶來(lái)額外的模糊效應(yīng)。從客觀指標(biāo)來(lái)看（PSNR、SSIM、VMAF）,各個(gè)指標(biāo)都有比較大的降低，雖然主觀有一定提升，但從客觀指標(biāo)和整體方案來(lái)看，并不完美。

首先分析下模糊方案的缺點(diǎn)，模糊去噪的處理過(guò)程中，并不知道編碼器的傾向喜好，會(huì)按照去噪算法統(tǒng)一的磨平細(xì)節(jié)，而沒(méi)有考慮編碼過(guò)程。所以我們思考是否可以基于AI視覺(jué)的技術(shù)，做一個(gè)reduce artifact的filter。我們希望這個(gè)filter能夠主動(dòng)磨掉一些細(xì)節(jié)，使視頻和編碼器有更好的親和性，也就是說(shuō)這個(gè)視頻會(huì)更容易被編碼器壓縮，與此同時(shí)它不會(huì)把人眼關(guān)注的、明顯的邊緣磨掉，也就是在保證主體清晰度的前提下，編碼客觀指標(biāo)也不會(huì)大幅下降。我們?cè)谀Ｐ陀?xùn)練的過(guò)程中，引入了編碼過(guò)程，shuffle后還原的圖像不直接計(jì)算loss，而是進(jìn)行一次視頻壓縮，用壓縮后的圖像來(lái)計(jì)算loss。低碼率壓縮時(shí)，先經(jīng)過(guò)reduce artifact處理，再進(jìn)行轉(zhuǎn)碼，畫(huà)面的人眼感官會(huì)有一個(gè)顯著的提升。 02騰訊明眸—永恒的追求，畫(huà)質(zhì)提升 2.1 視頻超分辨率

提到畫(huà)質(zhì)修復(fù)、畫(huà)質(zhì)增強(qiáng)，肯定離不開(kāi)超分辨率。目前超分辨技術(shù)已經(jīng)取得一定的突破，可以大規(guī)模的落地使用。其中，基于ResNet的WDSR模型目前有比較好的超分效果和穩(wěn)定性?；赪DSR的視頻超分有比較好的連貫性和穩(wěn)定性，對(duì)每一個(gè)視頻幀獨(dú)立處理，連接成視頻后不會(huì)有頓挫、抖動(dòng)現(xiàn)象。 實(shí)際場(chǎng)景挑戰(zhàn) — 訓(xùn)練數(shù)據(jù)

在實(shí)際落地的過(guò)程中，還有很多新的問(wèn)題需要關(guān)注和解決。首先訓(xùn)練數(shù)據(jù)非常重要，以上圖為例，左邊的視頻已經(jīng)有非常多噪點(diǎn)和模糊的情況，如果像實(shí)驗(yàn)環(huán)境下的視頻一樣使用無(wú)損的下采樣數(shù)據(jù)進(jìn)行訓(xùn)練，效果其實(shí)是微乎其微的。針對(duì)這樣的情況，我們會(huì)把圖像進(jìn)行下采樣，然后用比較高的CRF值（比較差的編碼質(zhì)量）對(duì)這個(gè)圖像進(jìn)行編碼，這樣訓(xùn)練數(shù)據(jù)中就有很多的噪點(diǎn)、偽影信息，訓(xùn)練出來(lái)的模型也會(huì)有比較好的去偽影能力。 海量視頻的分類超分

對(duì)于云上業(yè)務(wù)來(lái)說(shuō)，每天需要處理海量的視頻數(shù)據(jù)。如果對(duì)一個(gè)高清晰的視頻進(jìn)行超分，同時(shí)超分的模型是由一個(gè)高CRF數(shù)據(jù)集訓(xùn)練提供，會(huì)發(fā)現(xiàn)超分后視頻的很多細(xì)節(jié)被磨平損失，反之亦然。所以不同訓(xùn)練數(shù)據(jù)構(gòu)造的模型與視頻源之間要有一定的匹配關(guān)系。針對(duì)這種場(chǎng)景，我們通過(guò)CRF值來(lái)構(gòu)造多種壓縮強(qiáng)度的數(shù)據(jù)源，進(jìn)而用這些數(shù)據(jù)源訓(xùn)練出不同強(qiáng)度的超分模型。當(dāng)需要進(jìn)行超分處理時(shí)，先使用基于CNN清晰度分類模型，對(duì)視頻源進(jìn)行分類，判斷視頻源的清晰程度，然后使用跟清晰程度匹配的超分模型來(lái)進(jìn)行處理。 Y or RGB？

接下來(lái)跟大家分享下落地過(guò)程中遇到的問(wèn)題。團(tuán)隊(duì)最開(kāi)始基于Y通道進(jìn)行超分，但經(jīng)過(guò)一段時(shí)間的運(yùn)營(yíng)，發(fā)現(xiàn)視頻源是清晰的情況下，如果單獨(dú)把Y通道單獨(dú)提取出來(lái)會(huì)有很多奇怪的紋理和毛刺，超分后會(huì)放大這些異常。如果基于RGB超分則不會(huì)有這樣的問(wèn)題。雖然Y通道有自身的缺點(diǎn)，但在實(shí)際的落地過(guò)程中，很多場(chǎng)景還是離不開(kāi)基于Y通道的超分。比如直播中的 4K超分，為了保證實(shí)時(shí)性，會(huì)對(duì)一路直播流進(jìn)行分布式的拆分，路由到多臺(tái)GPU節(jié)點(diǎn)進(jìn)行處理，而在分布式超分的場(chǎng)景中，使用Y通道傳輸可以節(jié)省帶寬的消耗。 老片場(chǎng)景超分辨率：細(xì)節(jié)補(bǔ)足與幀間穩(wěn)定性

對(duì)于一些老片的場(chǎng)景，基于ResNet和CNN的超分模型，雖然可以提升視頻質(zhì)量，但是其對(duì)視頻細(xì)節(jié)的捕捉能力還不夠強(qiáng)，上述模型可以把一個(gè)非常差的視頻提升到還不錯(cuò)的程度，但與目前所認(rèn)可的高清還有一段差距。這種老片的視頻場(chǎng)景，可以通過(guò)GAN網(wǎng)絡(luò)來(lái)優(yōu)化，GAN網(wǎng)絡(luò)具有比較強(qiáng)的細(xì)節(jié)補(bǔ)充能力，這種補(bǔ)齊比較符合人眼感官，帶來(lái)視覺(jué)效果的提升。當(dāng)然，GAN網(wǎng)絡(luò)在實(shí)際落地的過(guò)程中，還有很多需要解決的問(wèn)題，首要問(wèn)題就是GAN的不穩(wěn)定性和幀間一致性的優(yōu)化。 2.2 快速、可控的色彩增強(qiáng)

在色彩增強(qiáng)方面，這里將MobileNet的特征與HSV色彩直方圖相結(jié)合，作為一個(gè)融合特征去分類訓(xùn)練，通過(guò)這個(gè)模型來(lái)獲取調(diào)整對(duì)比度、亮度和色度的參數(shù)。這樣處理后的模型比較小，速度也非常快，有利于大規(guī)模落地使用；其次，它不是端到端的處理，所以整個(gè)過(guò)程是可控的，由于顏色的變換對(duì)于人眼來(lái)說(shuō)是非常敏感的，因此在落地的過(guò)程中，我們也更傾向于使用中間過(guò)程可控的方式。

從上面三張圖片的對(duì)比來(lái)看，足球和暗場(chǎng)景都會(huì)使色彩變的更加鮮艷，同時(shí)對(duì)于游戲場(chǎng)景，也能比較好地保證原始視頻顏色的本真。 2.3 視頻流暢度提升，視頻插幀

最后再介紹下我們?cè)谝曨l插幀所做的工作。相比于光流法，落地過(guò)程中更傾向于CAIN模型結(jié)構(gòu)。CAIN網(wǎng)絡(luò)的特性在于下限很高，穩(wěn)定性比較強(qiáng)，很少有大面積的模糊錯(cuò)插。當(dāng)然與光流法相比，CAIN插出來(lái)的清晰度較差。場(chǎng)景分割也是插幀中必不可少的一項(xiàng)操作，對(duì)于判斷出的場(chǎng)景分割點(diǎn)，可以跳過(guò)不進(jìn)行插幀，避免變化太大的問(wèn)題。場(chǎng)景分割的實(shí)現(xiàn)方案可以考慮移植編碼器的screencut算法，其在性能和穩(wěn)定性上都經(jīng)過(guò)了千錘百煉的優(yōu)化，適用于大規(guī)模的落地使用。

上圖是我們使用插幀效果的對(duì)比，雖然手部有一定程度的模糊，但在視頻播放過(guò)程中，由于前后兩幀都是清晰的，考慮到視覺(jué)殘留效應(yīng)，這種小的模糊是完全可以接受的。 03云端全鏈路視頻智能生產(chǎn) 最后再介紹下我們?cè)谝曨l編輯部分所支持的一些能力。 3.1 制作云 — 從生產(chǎn)、編輯到消費(fèi)的全鏈路

視頻制作云，其集成了新一代的云端遠(yuǎn)程界面制作，通過(guò)超低延時(shí)協(xié)議把各地信號(hào)流傳到云端進(jìn)行導(dǎo)播，支持了在線剪輯和AI識(shí)別等處理，同時(shí)我們也為企業(yè)也提供了從生產(chǎn)到編輯到消費(fèi)的全鏈路，支持一鍵分發(fā)到各大消息平臺(tái)。

騰訊微剪，首發(fā)獨(dú)創(chuàng)的小程序視頻編輯工具，快速集成，支持音樂(lè)、濾鏡等特效 。支持智能模板，根據(jù)輸入素材自動(dòng)視圖拼接生成視頻。

在直播制作方面，我們提供了云導(dǎo)播臺(tái)。云導(dǎo)播臺(tái)的優(yōu)勢(shì)就在于操作簡(jiǎn)單，功能上支持2s快速切換，直播內(nèi)容無(wú)縫銜接。同時(shí)，云導(dǎo)播臺(tái)是基于互聯(lián)網(wǎng)的，所以非常容易支持一些互聯(lián)網(wǎng)活動(dòng)，比如支持直播過(guò)程中的實(shí)時(shí)發(fā)放紅包和優(yōu)惠券。

責(zé)任編輯：lq