5G時代是超高清的時代，然而，冰凍三尺非一日之寒，在超高清視頻直播點(diǎn)播等業(yè)務(wù)研發(fā)過程中，總會遇到很多令人抓狂的難題。本次LiveVideoStackCon 2020線上峰會我們邀請到了金山云高級技術(shù)總監(jiān)蔡媛，她將從金山云魔鏡平臺本身出發(fā)，講解平臺如何幫助使用者提升畫質(zhì)評測效率，保障評測質(zhì)量，一站式解決用戶畫質(zhì)評測的難點(diǎn)。

大家好，我是來自金山云視頻云團(tuán)隊的蔡媛，很高興可以在LiveVideoStackCon2020首屆線上峰會與大家見面，本次我分享的主題是：一切為了高清——金山云魔鏡平臺助推5G高清應(yīng)用。在5G時代，超高清視頻直播點(diǎn)播業(yè)務(wù)飛速發(fā)展，你是否也面臨這樣一些問題，比如AI超分或者美顏會不會有bad case？局部的暗場和色彩增強(qiáng)的效果如何？磨皮去噪是否丟失了細(xì)節(jié)？金山云魔鏡平臺就是為了解決以上問題而誕生的，其目的是建立符合用戶”感知愉悅度”的評價體系，深度解析算法對主觀畫質(zhì)的影響。 01 PART 金山云視頻云介紹 本次的內(nèi)容將從以下幾個方面進(jìn)行介紹：首先介紹金山云視頻云的整體情況；其次分析視頻行業(yè)的痛點(diǎn)；再次重點(diǎn)介紹金山云魔鏡平臺（https://kqoe.ksyun.com/）是如何解決視頻圖像質(zhì)量的痛點(diǎn)以及其中的核心技術(shù)難點(diǎn)；最后分享魔鏡平臺的客戶案例。 1.1金山云視頻云簡介

金山云創(chuàng)立于2012年，是中國前三的互聯(lián)網(wǎng)云服務(wù)廠商，于2020年5月在美國納斯達(dá)克成功上市，業(yè)務(wù)遍布全球及多個國家和地區(qū)。成立八年以來，金山云始終堅持以客戶為中心的服務(wù)理念，擁有120多個行業(yè)解決方案，服務(wù)于243個頭部客戶，為客戶提供安全、可靠、穩(wěn)定、高品質(zhì)的云計算服務(wù)。

金山云視頻云擁有六大核心技術(shù)，包括視頻編解碼技術(shù)、圖像處理技術(shù)、質(zhì)量評價體系、人工智能、邊緣計算、網(wǎng)絡(luò)傳輸技術(shù)。在六大技術(shù)的基礎(chǔ)上構(gòu)建了五個產(chǎn)品，分別是金山云魔鏡、AV1、KSC265、人臉修復(fù)、超分。又在五大產(chǎn)品的基礎(chǔ)上構(gòu)建八大行業(yè)解決方案，包括直播行業(yè)解決方案、點(diǎn)播解決方案、云游戲、評價體系、集智高清、KIE、智能審核以及VR，這些方案為圖中九大行業(yè)進(jìn)行服務(wù)。 1.2金山云視頻云優(yōu)勢介紹

金山云視頻云的優(yōu)勢體現(xiàn)在：一是構(gòu)建在金山云龐大的云計算和云存儲基礎(chǔ)上進(jìn)行服務(wù)，所以擁有大規(guī)模的緩存系統(tǒng)，流量調(diào)度系統(tǒng)以及各種編解碼轉(zhuǎn)碼系統(tǒng)；滿足互聯(lián)網(wǎng)各種視頻應(yīng)用業(yè)務(wù)場景的需求，為客戶提供完整的解決方案；并且有大數(shù)據(jù)平臺可以幫助客戶進(jìn)行實時的大數(shù)據(jù)分析。二是在視頻垂直細(xì)分領(lǐng)域有強(qiáng)大的經(jīng)驗技術(shù)積累的基礎(chǔ)，比如金山云視頻云在存儲、CDN、視頻編解碼和人工智能方面都有非常強(qiáng)的技術(shù)儲備；曾榮獲2018年亞太CDN年會“最佳創(chuàng)新獎”，并且多次獲得MSU編碼大賽冠軍；而且基于AI的云轉(zhuǎn)碼“集智高清”可以為客戶節(jié)省58%以上碼率，屬于行業(yè)領(lǐng)先的水平。 02 PART 視頻行業(yè)痛點(diǎn) 2.1視頻行業(yè)的痛點(diǎn)

視頻行業(yè)實際上處于一個高速發(fā)展的階段，用戶的痛點(diǎn)也在不斷發(fā)生變化。視頻行業(yè)的痛點(diǎn)主要體現(xiàn)在：首先客戶終端發(fā)生了變化，即從電視到手提電腦到Pad到手機(jī)，而且手機(jī)終端的應(yīng)用也有極大的豐富。 其次視頻的高清體驗不斷提升，分辨率從1K到4K到8K超高清、立體聲從單聲道、雙聲道到立體聲道、幀率從10fps到30fps到60fps,都有很大提升，所以隨著視頻行業(yè)的發(fā)展趨勢，在帶寬、網(wǎng)絡(luò)極大豐富的背景下，高清相比碼率的需求會增加。同時視頻內(nèi)容發(fā)生變更，PGC、UGC、云游戲的出現(xiàn)，當(dāng)手機(jī)娛樂達(dá)到一個瓶頸時，會螺旋式地向大屏方向發(fā)展，包括pad、8k超高清電視等。netflix，google stadia 就是很好的例子。 Netflix是美國最大的流媒體播放服務(wù)商和美國最受歡迎的視頻網(wǎng)站，電視會員群體發(fā)展非常良性，而google stadia則在大屏上具備了比手機(jī)端更加非凡的效果。 2.2量化主觀質(zhì)量的難點(diǎn)

在5G時代，視頻高清發(fā)展不斷提升的大背景下，如何不斷地提升高清體驗，如何衡量包括超分、修復(fù)、增強(qiáng)等這些視頻質(zhì)量效果是量化主觀質(zhì)量的難點(diǎn)。 我們從線上爬取了14萬的數(shù)據(jù)，并篩選了1000個視頻，每個視頻時長在五秒鐘左右。在1000個視頻里進(jìn)行隨機(jī)地編碼和縮放失真，生產(chǎn)了2000段噪聲數(shù)據(jù)，并對這2000段噪聲數(shù)據(jù)進(jìn)行標(biāo)注，總計有15萬次標(biāo)注。 通過VMAF、PSNR數(shù)值得出VMAF、PSNR的SROCC值并不高，這反映出雖然擁有客觀評價指標(biāo)，但客觀評價指標(biāo)實際上很難量化主觀觀看的效果。這僅是編碼失真的衡量上就體現(xiàn)出這樣的難點(diǎn)，那么AI增強(qiáng)以及修復(fù)等增強(qiáng)的效果可能更難去衡量。 2.3提升視頻高清體驗的關(guān)鍵點(diǎn)

如何不斷地提升視頻高清體驗，關(guān)鍵點(diǎn)是需要有一個明確的可量化的質(zhì)量目標(biāo)?；乜茨限@北轍的故事總結(jié)出目標(biāo)的重要性，做任何事情，在行動之前需要明確一個正確的目標(biāo)，這是做成一件事情的前提。因此提高視頻高清體驗也需要一個明確可量化的主要目標(biāo)，這樣才能支持高清路線迭代地向前發(fā)展。 2.4視頻主觀畫質(zhì)可量化指標(biāo)的難點(diǎn)

建立視頻主觀畫質(zhì)可量化指標(biāo)主要從以下四個方面進(jìn)行分析： 首先是視頻的篩選，如何從海量視頻里挑選具備代表性的視頻和內(nèi)容的覆蓋面廣度是比較關(guān)鍵的問題，因為不同的視頻測試集，最終得出的測試結(jié)果完全不一樣，那么測試序列該如何篩選呢？ 其次是評測維度的制定，哪些評測維度是有必要衡量的，用幾分制？全參考和無參考的模式也不相同。 再次是評測質(zhì)量，因為評測需要多人的評測才能得出一個平均分?jǐn)?shù)，那么多少人的評測才能既保證評測的精度又不浪費(fèi)人力成本？同時還要考慮評測的結(jié)果是否需要篩選，數(shù)據(jù)如何分析的問題。 最后是數(shù)據(jù)映射，不同時期，不同情景下的評測分?jǐn)?shù)，如何將這些不同時期的數(shù)據(jù)進(jìn)行數(shù)據(jù)映射這也是其中的難點(diǎn)。以上四點(diǎn)是我們認(rèn)為的評測中的難點(diǎn)。 03 PART 金山云魔鏡 3.1 金山云魔鏡的作用

上圖部分介紹了金山云魔鏡平臺是如何解決上述問題的。一是平臺提升了評測效率和質(zhì)量，魔鏡平臺是以在線平臺的方式提供圖像和視頻評測服務(wù)，不需要下載；評測的任務(wù)是通過流式管理，大大提升了評測的效率，并且可以通過平臺監(jiān)控主觀評測的質(zhì)量。 二是平臺提供專業(yè)的評測方式，支持全參考模式、無參考模式和OAA模式這三種評測模式；支持自定義評測維度，并為客戶提供客觀評價指標(biāo)的自動化計算。 三是平臺的背后還有評測專家的支持，幫助客戶進(jìn)行合理的視頻篩選以及評測維度的制定，而且提供專業(yè)的評測報告和數(shù)據(jù)分析。 最后所有的這些平臺功能和專家團(tuán)隊的支持，實際上都是幫助客戶提升圖像和視頻產(chǎn)品的主觀質(zhì)量，提升客戶產(chǎn)品的感知愉悅度。 3.1.1 視頻篩選

在細(xì)節(jié)解讀方面，首先是視頻篩選，傳統(tǒng)的基于內(nèi)容的篩選實際上存在比較大的缺陷，比如傳統(tǒng)的分類包括籃球、足球、綜藝等分類，但這只是篩選的其中一個維度，還需要對特征質(zhì)量包括色彩、亮度、噪聲、抖動等特征進(jìn)行篩選，但這些特征是連續(xù)的、非離散的，沒辦法通過窮舉的方式得出合適的篩選集，需要通過篩選的算法達(dá)到這樣的效果。

魔鏡平臺在數(shù)據(jù)篩選方面有以下幾個步驟：首先將海量的數(shù)據(jù)集經(jīng)過數(shù)據(jù)過濾，再通過均衡算法進(jìn)行篩選。均衡算法里包括特征均衡、質(zhì)量均衡、內(nèi)容均衡。特征均衡主要包括亮度、色彩、邊緣等特征；質(zhì)量均衡包括噪聲、模糊、抖動數(shù)據(jù)集的均衡；內(nèi)容均衡包括運(yùn)動的動態(tài)、靜態(tài)、遠(yuǎn)景、近景。綜合這些均衡算法可以得出一個綜合的考量的數(shù)據(jù)集。 下面兩張圖是篩選前后的一個對比，在篩選前的原始數(shù)據(jù)分布是極度不均勻的，其呈現(xiàn)的特點(diǎn)就是中間大兩頭小。經(jīng)過均衡篩選后的數(shù)據(jù)集，在各維度的分布上都更加的均衡。 3.1.2 測頻維度

數(shù)據(jù)集篩選之后就要開始制定評測維度，評測維度有哪些？每個維度如何設(shè)定分?jǐn)?shù)，分?jǐn)?shù)如何描述和量化以及維度之間是不是具有相關(guān)性，這些對一次評測的成敗有比較關(guān)鍵的影響。 對視頻質(zhì)量而言，存在多種多樣的場景，比如在采集和壓縮中帶來的噪聲，拍攝中的暗場和過曝，或?qū)故?zhǔn)造成的模糊，還有色彩問題、動作卡頓、磨皮造成的細(xì)節(jié)丟失，或者AI增強(qiáng)、暗場增強(qiáng)造成的違和感、過銳，美顏和超分造成的形變和異常。這些場景對于評測維度的制定有很大的相關(guān)性，和客戶的場景也有很大關(guān)聯(lián)性。

場景分析之后需要確定評測的方式，魔鏡平臺提供三種評測模式： 專家模式也是全參考的評測模式，就是full reference，指的是兩個視頻進(jìn)行對比時，其內(nèi)容一樣但質(zhì)量不同，比較適合10到15個人快速查看結(jié)果。 用戶模式也叫無參考模式，就是no reference，針對一個視頻進(jìn)行打分，比較適合真正模擬用戶的實際體驗。通過用戶實際體驗結(jié)果結(jié)合下圖分析，隨著評測人數(shù)的增加，SROCC分?jǐn)?shù)是不斷提升的，但人數(shù)到達(dá)55人之后，SROCC分?jǐn)?shù)提升的幅度會越來越小，因此鎖定用戶模式的人數(shù)是在50到100人。 細(xì)粒度模式也叫OAA模式，即挑選一類的視頻，用于小差別的PK對比，人數(shù)在20到50人之間。評測的時候客戶可以根據(jù)自己的實際情況選擇評測模式。

在評測分制之前要注意一些評測細(xì)節(jié)，包括觀看終端、分辨率的要求、觀看距離、視頻播放次數(shù)、圖片觀看時間，這些都有相應(yīng)的要求。

評測維度有兩種維度：整體維度和局部維度。 整體維度包括整體主觀效果、模糊、色彩、亮度、細(xì)節(jié)處理等。以整體主觀為例，給評測員呈現(xiàn)的不是1到5分，而是具體的描述，比如難以忍受、令人不悅、普通、令人舒適、賞心悅目，這些描述對用戶標(biāo)注的指引性作用非常強(qiáng)，比如對舞蹈的描述是無可挑剔還是賞心悅目，這兩個選擇是經(jīng)過較多的討論才確定的，認(rèn)為賞心悅目是更符合用戶的選擇習(xí)慣并且能更明確視頻質(zhì)量的一個質(zhì)量指標(biāo)。

對于局部維度關(guān)注較多的是人臉，包括模糊、膚色、明暗、細(xì)節(jié)紋理、噪聲這類維度。以模糊為例，是顯著、輕微還是沒有。局部圍度還可以是頭發(fā)、唇色等，這個可以基于用戶場景來確定。

實驗論證方面會給各個維度進(jìn)行整體打分，分析維度之間的相關(guān)性以及各維度對整體打分的影響。下表中主觀畫質(zhì)和模糊、噪聲、色彩的關(guān)聯(lián)度非常高，但與亮度的關(guān)聯(lián)性較低，那么對于這個數(shù)據(jù)集的用戶來說，其算法可以重點(diǎn)關(guān)注模糊、噪聲、色彩，可以降低對亮度的關(guān)注點(diǎn)。 分析結(jié)束后需要對標(biāo)注者情況進(jìn)行分析，如標(biāo)注者對視頻評測分?jǐn)?shù)的離散程度如何，對每一個標(biāo)注者進(jìn)行一對一的交流，并發(fā)放問卷以反饋更細(xì)粒度的問題，可以了解到影響用戶體驗的具體地方。 3.1.3 測評質(zhì)量保障

金山云魔鏡平臺從平臺上保證整個評測質(zhì)量的正確性，擁有整套的評測流程。首先會對評測者信息進(jìn)行統(tǒng)計，包括基本信息、崗位、設(shè)備、愛好等等，再對其進(jìn)行教學(xué)，以保證其操作符合平臺的引導(dǎo)。 接著進(jìn)入考試，考試的題目是專家評測提供的測試題庫，之后才能進(jìn)入評測任務(wù)。在評測過程中會隨機(jī)加入驗證的題目以監(jiān)控整個評測的有效性。 最后平臺上有一些埋點(diǎn)的分析用以分析評測者的行為，保證整個評測的有效性。 3.1.4 測評結(jié)果分析

當(dāng)整個評測完成之后會自動生成評測報告與合格性報告，評測報告里會包括評測者的分析：有效性判定、評測者信息分析；評測數(shù)據(jù)分析：評測分布、評測置信度、類型分析；評測維度分析：維度相關(guān)性、主客觀相關(guān)性；合格性分析：圖標(biāo)繪制、界面顯示。 3.1.5 數(shù)據(jù)映射

因為評測可能是在不同時期以及不同場景下評測的結(jié)果，不同時期人們對高清的定義是不一樣的，所以不同時期不同場景下的評測分?jǐn)?shù)是不同的，那么如何將數(shù)據(jù)進(jìn)行映射呢？ 上圖左側(cè)是兩個不同時期的測試集，分別是Koniq、KADID。我們在當(dāng)前的數(shù)據(jù)集上訓(xùn)練的模型，在對方的數(shù)據(jù)集上表現(xiàn)出的srocc和plcc是比較低的，但如果把兩個數(shù)據(jù)集一起進(jìn)行訓(xùn)練，在兩個數(shù)據(jù)集上srocc和plcc表現(xiàn)的都比較好。如果使用數(shù)據(jù)映射之后再一起訓(xùn)練，srocc和plcc將有四五個點(diǎn)的提升，這是更上一個臺階的提升。上圖的右邊是對進(jìn)行數(shù)據(jù)運(yùn)算的算法的分析。 3.2 魔鏡平臺功能

魔鏡平臺是一個為了方便評測人員和評測任務(wù)管理員的平臺，其提供的功能主要包括：項目及評測任務(wù)管理、支持圖片、視頻在線評測、自定義主觀評測標(biāo)準(zhǔn)、支持同時多人主觀評測、集成客觀質(zhì)量評價算法以及自動生成專業(yè)評測報告。 3.2.1 測評模式

金山云魔鏡在平臺上提供了三種評測模式： 一是專家模式（全參考模式），這種模式比較容易看出細(xì)微的差別，適合專家進(jìn)行評測。

二是用戶模式（無參考模式），符合用戶最終使用場景，直接評判主觀效果，必須有大數(shù)據(jù)保證消除誤差。

三是精細(xì)對比模式（OAA模式），用于模擬用戶場景的同時兼顧細(xì)粒度對比，且可以克服場景有略微區(qū)別的難題。 3.2.2 自動生成專業(yè)測評報告

評測平臺會自動生成專業(yè)評測報告，評測報告包括各個維度的評分、評測員的分析、Badcase的展現(xiàn)等，以及各個維度優(yōu)勢、劣勢的對比，主觀評測和客觀分?jǐn)?shù)的擬合程度也會呈現(xiàn)在整個評測報告中。 3.2.3 魔鏡平臺適用場景

魔鏡平臺主要適用于三個場景： 場景一適用于算法團(tuán)隊的內(nèi)部算法迭代。算法迭代之后如何評測評估效果？首先需要制定精準(zhǔn)的測試集和測試維度；其次生成對比評測任務(wù)，把舊版本和新版本的效果在平臺上進(jìn)行對比評測，最后產(chǎn)生評測報告。 場景二適合于用戶實際觀看體驗的評估。這需要拉取產(chǎn)品線上的視頻數(shù)據(jù)和圖片數(shù)據(jù)，并確定評測維度，再生成無參考評測任務(wù)進(jìn)行評測，最后產(chǎn)出評測報告。 場景三適用于競品對比分析。比如對比抖音和快手兩個競品的視頻質(zhì)量水平，需要先爬取競品不同類別的視頻作為測試集，再生成OAA評測方式的評測任務(wù)，對比不同競品的效果，最后產(chǎn)出測評報告。 3.2.4 測評服務(wù)

除了平臺之外，我們還提供了評測服務(wù)。評測服務(wù)有三個方案： 方案一是只使用魔鏡平臺的模型效果對比，和內(nèi)部主觀評測以及開源客觀評價指標(biāo)計算。 方案二在方案一的基礎(chǔ)上加入了第三方人工評測服務(wù)。 方案三在第三方人工評測服務(wù)的基礎(chǔ)上加入了專家咨詢，可以向客戶提供更深入的畫質(zhì)咨詢服務(wù)。

金山云魔鏡平臺的愿景是以魔鏡平臺做一個拋磚引玉的點(diǎn)，可以尋求更多的合作，以共同打造完善的畫質(zhì)評價體系。該畫質(zhì)評價體系是符合國人審美的，可以用于不同終端的評價體系。此外，我們也希望可以借助金山云魔鏡平臺連接學(xué)術(shù)界，把更精準(zhǔn)的工業(yè)界需求傳遞給學(xué)術(shù)界，推動技術(shù)的發(fā)展。最后希望可以有明確可度量的評測分?jǐn)?shù)以促進(jìn)高清技術(shù)的進(jìn)步和應(yīng)用。 04 PART 成功案例 這部分我將分享一些魔鏡平臺的成功案例，魔鏡平臺的客戶落地效果，反應(yīng)都非常得不錯，主要以兩個亮點(diǎn)突出的案例進(jìn)行分享。 4.1 案例一：小米KIE

案例一是小米，我們?yōu)樾∶譓IUI圖像增強(qiáng)的支持提供了基于AI超分技術(shù)，通過超分技術(shù)可以大幅度提升畫質(zhì)，并且可以部署在手機(jī)端。在對接小米優(yōu)化調(diào)試的整個過程，我們花了3個月時間迭代更新5個版本，確定600張圖片作為測試樣本。通過優(yōu)化，整體評分從3.78分提升到了4.21分，整個調(diào)優(yōu)過程都是在魔鏡平臺進(jìn)行。 該項目成功在小米新手機(jī)的發(fā)布會上作為功能亮點(diǎn)進(jìn)行宣傳，并且在MIUI10上正式落地。 4.2 案例二：CCTV集智高清

客戶案例二是央視，央視在世界杯和春晚上的帶寬是非常高的，其直播業(yè)務(wù)也非常重要，而央視的一個痛點(diǎn)是需要非常高的帶寬，所以其直播時存在帶寬高以及畫質(zhì)存在模糊、噪聲和色彩飽和度不足的問題。 針對這些痛點(diǎn)，我們?yōu)榭蛻籼峁┝思歉咔宓慕鉀Q方案。該方案一方面為客戶降低帶寬，另一方面提升畫質(zhì)。降低帶寬主要是應(yīng)用了圖像預(yù)處理、視頻分類、感知編碼、Per-tile等編碼技術(shù)，大幅度降低碼率；并采用云轉(zhuǎn)碼方案，提升卡頓率和首屏?xí)r間等指標(biāo)。畫質(zhì)提升主要利用AI技術(shù)進(jìn)行去噪、去模糊以及色彩增強(qiáng)；又挑選163個測試視頻，經(jīng)過兩個月的優(yōu)化，使主觀評分達(dá)到3.64分。 在整個調(diào)優(yōu)過程，魔鏡平臺整個的優(yōu)化效果確認(rèn)上都是非常重要的，并且給予整個調(diào)優(yōu)效率上高效的支持。 4.3 合作伙伴

我們合作伙伴主要在學(xué)術(shù)界和工業(yè)界兩個部分，學(xué)術(shù)界方面主要是和香港城市大學(xué)進(jìn)行學(xué)術(shù)上的交流和合作，以及對算法上的迭代進(jìn)行合作和交流。工業(yè)界方面主要是和Intel在畫質(zhì)以及編解碼上進(jìn)行比較深入的合作。此外，魔鏡平臺對SVT-AV1的主觀畫質(zhì)給予支持，共同進(jìn)行主觀畫質(zhì)的評測和評定。