背景介紹

需求背景

屏幕共享是視頻會(huì)議場(chǎng)景使用最廣泛的功能之一，在共享一個(gè) PPT 或者文檔的情況下，人們對(duì)畫面清晰度有著極高的要求，“看不清” 是最容易被用戶吐槽的事情；而在共享一個(gè)視頻素材的情況下，大家又對(duì)流暢度有著極高的要求，“卡頓” 也是最容易被用戶吐槽的點(diǎn)。

為了更好地同時(shí)滿足用戶對(duì)清晰度和流暢度的要求，視頻會(huì)議軟件通常會(huì)設(shè)計(jì)兩種模式：

1. 清晰模式：主打清晰度，盡量保持高分辨率（如：最高 4K 原畫質(zhì)），帶寬或性能不足的時(shí)候，只降低幀率（如：從 30fps -> 5fps），不降低分辨率。
2. 流暢模式：主打流暢度，盡量提升幀率（如：最高 30fps），帶寬或性能不足的時(shí)候，優(yōu)先降低分辨率（如：從 4K -> 720p），最后才考慮降幀率。通常情況下，默認(rèn)選擇“清晰模式”，當(dāng)用戶要共享視頻的時(shí)候，需要自己 “手動(dòng)” 點(diǎn)擊勾選上 “流暢度優(yōu)先”按鈕。

一般的做法是，讓用戶在共享屏幕時(shí)手動(dòng)來勾選“清晰模式”還是“流暢模式”。但在實(shí)際的產(chǎn)品場(chǎng)景中，用戶對(duì)這兩種模式的感知并不是很強(qiáng)烈，不太可能要求用戶在共享屏幕的過程中手動(dòng)來回切換當(dāng)前的共享模式，對(duì)用戶體驗(yàn)影響比較大。

一種簡單的方案是根據(jù)用戶共享內(nèi)容的文件后綴名來決定是“清晰度優(yōu)先”還是“流暢度優(yōu)先”，比如共享 PPT 時(shí)自動(dòng)切換為“清晰模式”，共享視頻時(shí)自動(dòng)切換為“流暢模式”，但是這樣設(shè)計(jì)會(huì)遇到一些問題：比如用戶的 PPT 里嵌入了一段視頻，在播放這段視頻時(shí)理應(yīng)追求“流暢度優(yōu)先”；而如果用戶視頻其實(shí)是一段 PPT 的教學(xué)錄屏，里面有大量的時(shí)間在播放靜止的文字和畫面，這時(shí)候“流暢模式”則會(huì)導(dǎo)致這些關(guān)鍵內(nèi)容顯得模糊。

RTC 要如何幫助用戶及時(shí)調(diào)整最佳的共享模式呢？

需求分析

需求功能分析

痛點(diǎn)：

用戶分享視頻內(nèi)容需要高幀率，而文字/ppt 需要高清晰度，這兩種場(chǎng)景的需求是互相矛盾的，如果需要用戶手動(dòng)勾選相應(yīng)的共享模式，不僅操作繁瑣，也容易漏選、錯(cuò)選。

如何解決：

需要研發(fā)一個(gè)算法自動(dòng)識(shí)別共享內(nèi)容，進(jìn)而確定當(dāng)前是需要高幀率還是需要高清晰度。這樣，在用戶想要清晰畫面的時(shí)候，產(chǎn)品就提供清晰的畫面，用戶想要流暢的視頻體驗(yàn)時(shí)，產(chǎn)品就盡可能地保障屏幕畫面的流暢性，用戶在無感知的情況下就能獲得當(dāng)前場(chǎng)景的最佳體驗(yàn)。

屏幕共享場(chǎng)景定義

清晰度優(yōu)先的場(chǎng)景

以文字為主，用戶更需要看清楚畫面的邊緣特征，而較少關(guān)注其運(yùn)動(dòng)特征。

流暢度優(yōu)先的場(chǎng)景

以視頻內(nèi)容為主，用戶更需要流暢連貫的動(dòng)態(tài)畫面，而較少關(guān)注于單幀的清晰度。

技術(shù)實(shí)現(xiàn)

算法原理

學(xué)界相關(guān)成果概述

目前我們參考了以下兩篇參考文獻(xiàn)。第一篇是 Jing, Wang & Xuetao, Guan & Yang, Zhang. (2013). An Adaptive Encoding Application Sharing System Based on Remote Display. 266-269. 10.1109/ISDEA.2012.66.

該論文主要假定視頻區(qū)域的均會(huì)以 24-30FPS 的頻率發(fā)生變化，用 N*N 的 patch 的形式進(jìn)行檢測(cè)，從而發(fā)現(xiàn)視頻區(qū)域。

第二篇參考文獻(xiàn)是，侯文慧, 王俊峰. 面向云桌面協(xié)議的視頻區(qū)域偵測(cè)算法[J]. 計(jì)算機(jī)應(yīng)用, 2018, 038(005):1463-1469,1487.

這篇論文主要通過高變化區(qū)域偵測(cè)，并利用傳統(tǒng) sobel 算子+膨脹算法的邊緣檢測(cè)發(fā)現(xiàn)可能的矩形區(qū)域，通過顏色直方圖的顏色數(shù)量判定文本區(qū)域從而確定視頻內(nèi)容區(qū)域。

相關(guān)算法的介紹

1. 光流

光流(Optical flow or optic flow)是空間運(yùn)動(dòng)物體在成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度，是分析像素運(yùn)動(dòng)的一種方法。光流法在模式識(shí)別、計(jì)算機(jī)視覺以及其他圖像處理領(lǐng)域中用處廣泛，可用于運(yùn)動(dòng)檢測(cè)、圖像分割、運(yùn)動(dòng)補(bǔ)償編碼和立體視差測(cè)量等領(lǐng)域。

光流法實(shí)際是通過檢測(cè)圖像像素點(diǎn)隨時(shí)間的變化進(jìn)而推斷出物體移動(dòng)速度及方向的方法。假設(shè)該移動(dòng)很小，那么可以根據(jù)泰勒級(jí)數(shù)得出：

因此可以推出

最終可得出光流方程：

這個(gè)方程有兩個(gè)未知數(shù)，不能直接進(jìn)行求解，這被稱為光流算法的孔徑問題。為了求解光流方程，還需要另一組方程，這個(gè)方程由附加的約束給出。（以上內(nèi)容引用自 wikipedia）

孔徑問題

（孔徑問題示意，引用自：https://zhuanlan.zhihu.com/p/74460341）

假設(shè)：

• 相鄰幀之間的亮度恒定；
• 相鄰視頻幀的取幀時(shí)間連續(xù)，或者，相鄰幀之間物體的運(yùn)動(dòng)比較“微小”；

2. 決策樹

決策樹是一種邏輯簡單的機(jī)器學(xué)習(xí)算法，它是一種樹形結(jié)構(gòu)，所以叫決策樹。這是一種基于 if-then-else 規(guī)則的有監(jiān)督學(xué)習(xí)算法，決策樹的這些規(guī)則通過訓(xùn)練得到，而不是人工制定的。

• 決策樹易于理解和解釋，可以可視化分析，容易提取出規(guī)則；
• 可以同時(shí)處理標(biāo)稱型和數(shù)值型數(shù)據(jù)；
• 比較適合處理有缺失屬性的樣本；
• 能夠處理不相關(guān)的特征；
• 測(cè)試數(shù)據(jù)集時(shí)，運(yùn)行速度比較快；
• 在相對(duì)短的時(shí)間內(nèi)能夠?qū)Υ笮蛿?shù)據(jù)源做出可行且效果良好的結(jié)果。(引用自 wikipedia)

3. 顏色直方圖

顏色直方圖是許多圖像檢索系統(tǒng)中被廣泛采用的顏色特征。它所描述的是不同色彩在整幅圖像中所占的比例，而并不關(guān)心每種色彩所處的空間位置，即無法描述圖像中的對(duì)象或物體。（引用自 wikipedia）

4. 方向統(tǒng)計(jì)（Directional Statistics）

Directional statistics (also circular statistics or spherical statistics) is the subdiscipline of statistics that deals with directions (unit vectors in R(n)), axes (lines through the origin in R(n)) or rotations in R(n). More generally, directional statistics deals with observations on compact Riemannian manifolds including the Stiefel manifold. The fact that 0 degrees and 360 degrees are identical angles, so that for example 180 degrees is not a sensible mean of 2 degrees and 358 degrees, provides one illustration that special statistical methods are required for the analysis of some types of data (in this case, angular data). Other examples of data that may be regarded as directional include statistics involving temporal periods (e.g. time of day, week, month, year, etc.), compass directions, dihedral angles in molecules, orientations, rotations and so on. （引用自 wikipedia）

利用方向統(tǒng)計(jì)方法，能夠準(zhǔn)確地統(tǒng)計(jì)出向量樣本的方向均值，以及方向的離散程度，也避免了傳統(tǒng)統(tǒng)計(jì)方法在角度值統(tǒng)計(jì)計(jì)算上的誤差。

舉個(gè)簡單的例子，如下圖所示，7/4π 和 1/4π 統(tǒng)計(jì)均值，以傳統(tǒng)方法計(jì)算為 π，而利用方向統(tǒng)計(jì)就可以得到出均值為 0 的結(jié)果。

算法總流程設(shè)計(jì)

視頻的定義就是運(yùn)動(dòng)的畫面，但在屏幕共享當(dāng)中，并不能夠?qū)⑦\(yùn)動(dòng)的畫面都當(dāng)作視頻內(nèi)容來處理。實(shí)際使用中，需要將部分運(yùn)動(dòng)的畫面識(shí)別為需要高清優(yōu)先、流暢度其次的屏幕內(nèi)容，保證用戶在此時(shí)獲得清晰的觀看體驗(yàn)。

1. 探索性數(shù)據(jù)分析（EDA）

在正式進(jìn)行算法開發(fā)之前，先進(jìn)行了探索性數(shù)據(jù)分析，分析發(fā)現(xiàn)屏幕的運(yùn)動(dòng)特征具有較高的區(qū)分度，從而大致判定利用光流法來完成該任務(wù)的特征提取是可行的。

2. 算法流程圖

該檢測(cè)算法分成三個(gè)模塊，五個(gè)步驟。

三個(gè)模塊分別是：

• 運(yùn)動(dòng)幅度分析：主要進(jìn)行運(yùn)動(dòng)幅度相關(guān)特征的提取，能夠統(tǒng)計(jì)運(yùn)動(dòng)畫面比例，去除一些噪音。
• 運(yùn)動(dòng)角度分析：主要進(jìn)行運(yùn)動(dòng)角度相關(guān)特征的提取，能夠統(tǒng)計(jì)畫面運(yùn)動(dòng)的方向，以及運(yùn)動(dòng)方向的分散程度等
• 紋理特征分析：主要提取一些紋理相關(guān)的特征，判定當(dāng)前區(qū)域是否為文字區(qū)域。

具體分為五個(gè)步驟：

• 采樣：光流算法需要前后兩幀數(shù)據(jù)進(jìn)行計(jì)算，需要對(duì)視頻流進(jìn)行采樣，得到兩幀數(shù)據(jù)
• 光流計(jì)算：計(jì)算出全圖的稠密光流
• 特征提?。禾崛∵\(yùn)動(dòng)和紋理特征
• 狀態(tài)轉(zhuǎn)移：通過一系列模式和規(guī)則進(jìn)行狀態(tài)轉(zhuǎn)移
• 輸出結(jié)果：根據(jù)內(nèi)部狀態(tài)信息輸出檢測(cè)結(jié)果