本文來(lái)自Netflix的科技博客，闡述了VMAF的最新應(yīng)用進(jìn)展，以及VMAF正在做的改進(jìn)工作。感謝鄧斌的翻譯，及快手相關(guān)同學(xué)的技術(shù)審校。

Netflix會(huì)員會(huì)如何評(píng)價(jià)一段視頻的質(zhì)量—— 差、一般或非常好？ 對(duì)于同一段視頻，是用A編碼器還是B編碼器進(jìn)行編碼看起來(lái)效果更好？對(duì)于一集視頻，同樣是1000 kbps碼率，是應(yīng)該選擇具有一些塊效應(yīng)的高清版本，還是塊效應(yīng)較少的標(biāo)清版本？

這些都是我們?cè)趪L試為Netflix會(huì)員提供最佳觀看體驗(yàn)時(shí)會(huì)面臨的實(shí)際問(wèn)題。幾年前，我們意識(shí)到無(wú)法通過(guò)簡(jiǎn)單地依賴“黃金眼”來(lái)有力地解決這些問(wèn)題。專業(yè)的“黃金眼”的主觀測(cè)試并不能在海量?jī)?nèi)容，不同的編碼配置和整體編碼流程之間進(jìn)行擴(kuò)展。PSNR和SSIM等這種現(xiàn)有的客觀視頻質(zhì)量評(píng)價(jià)指標(biāo)雖然可以大規(guī)模部署，但它們無(wú)法準(zhǔn)確捕捉人類的主觀感受。因此，我們開(kāi)啟了一段尋找能夠自動(dòng)回答 “Netflix會(huì)員將如何評(píng)價(jià)這樣編碼的質(zhì)量？” 這個(gè)問(wèn)題的方法的旅程，這就是VMAF誕生的契機(jī)。

視頻多評(píng)估方法融合（Video Multi-method Assessment Fusion簡(jiǎn)稱VMAF）指標(biāo)是一種將人類視覺(jué)模型與機(jī)器學(xué)習(xí)相結(jié)合的視頻質(zhì)量評(píng)價(jià)指標(biāo)。該項(xiàng)目始于我們團(tuán)隊(duì)與來(lái)自南加州大學(xué)的C.-C Jay Kuo教授之間的研究合作。他的研究小組之前曾研究過(guò)圖像的感知質(zhì)量指標(biāo)，我們跟他們一起將這些想法擴(kuò)展到視頻。隨著時(shí)間的推移，更多的研究團(tuán)隊(duì)加入了我們，如德克薩斯大學(xué)奧斯汀分校的Alan Bovik教授和南特大學(xué)的Patrick Le Callet教授，我們共同的目標(biāo)是提高VMAF模型與人類主觀感知的相關(guān)性，并擴(kuò)大其范圍以涵蓋更多場(chǎng)景。2016年6月，我們?cè)贕ithub上開(kāi)源了VMAF，并發(fā)布了第一篇介紹VMAF 的博客文章。在本篇文章中，我們希望分享我們的VMAF旅程。

一、工業(yè)界采用

除了在Netflix公司內(nèi)部，視頻社區(qū)的一些成員也發(fā)現(xiàn)了VMAF作為質(zhì)量評(píng)估工具的價(jià)值。由于工業(yè)界的采用，該項(xiàng)目受到了研究人員，視頻相關(guān)公司的工程師和開(kāi)源社區(qū)的成員的廣泛支持。

VMAF已經(jīng)集成到第三方視頻分析工具中（例如，F(xiàn)Fmpeg，Elecard StreamEye，MSU視頻質(zhì)量測(cè)量工具和iswecompressedyet），并將其與已得到認(rèn)可的指標(biāo)（如PSNR和SSIM）一同被用作參考指標(biāo)。

在NAB，Video@Scale和Demuxed等展會(huì)中，其中的一些demo和演講使用了VMAF指標(biāo)來(lái)比較各種編碼技術(shù)的質(zhì)量和效率。

視頻質(zhì)量評(píng)價(jià)專家組成的國(guó)際機(jī)構(gòu)視頻質(zhì)量專家組（VQEG）在最近的Los Gatos，Krakow和Madrid VQEG會(huì)議上，多次對(duì)VMAF模型進(jìn)行了評(píng)估。

我們很高興看到其他研究小組已經(jīng)對(duì)VMAF的感知準(zhǔn)確性進(jìn)行了交叉驗(yàn)證。Rassool（RealNetworks）確認(rèn)了在4K內(nèi)容上，VMAF和DMOS得分之間的高度相關(guān)性。Barman等人（金斯頓大學(xué)）在游戲內(nèi)容上測(cè)試了幾個(gè)質(zhì)量評(píng)估指標(biāo)，并得出結(jié)論：VMAF在預(yù)測(cè)主觀質(zhì)量方面是最好的。Lee等人（延世大學(xué)）應(yīng)用各種視頻質(zhì)量指標(biāo)到多分辨率自適應(yīng)流傳輸方面，結(jié)果表明VMAF和EPSNR與人的感知質(zhì)量的相關(guān)性最高。Gutiérrez等人（Université de Nantes）的研究表明，在高清（HD）和超高清（UHD）內(nèi)容上，VMAF和VQM是表現(xiàn)最佳的兩個(gè)質(zhì)量指標(biāo)。此外，我們還注意到了一些研究指出VMAF并沒(méi)有達(dá)到預(yù)期效果。對(duì)于最新的VMAF模型，我們會(huì)邀請(qǐng)行業(yè)專家和研究人員對(duì)其進(jìn)行評(píng)估，并鼓勵(lì)其與我們分享其中的一些反例和極端情況，用于改進(jìn)出下一個(gè)版本的VMAF模型。我們還將在后面的部分介紹VMAF工具的使用方法，以解決一些實(shí)際使用中可能遇到的問(wèn)題。

當(dāng)然，VMAF指標(biāo)也可用作更好的編碼決策的優(yōu)化標(biāo)準(zhǔn)，我們已經(jīng)看到其他一些公司應(yīng)用VMAF進(jìn)行優(yōu)化的相關(guān)報(bào)告。

二、VMAF在Netflix產(chǎn)品中的應(yīng)用

2.1 編解碼器性能比較

傳統(tǒng)意義上比較編解碼器之間的性能，通常使用這樣的方法：首先，在一套測(cè)試條件下（固定分辨率和量化步長(zhǎng)）對(duì)每個(gè)視頻序列進(jìn)行編碼；然后，對(duì)多個(gè)視頻序列計(jì)算PSNR值；接著，構(gòu)建碼率--質(zhì)量曲線，并計(jì)算這些曲線之間的平均差異（BD-rate）。這種比較方法適用于評(píng)價(jià)不同編解碼器中的簡(jiǎn)單區(qū)別，或評(píng)估同一編解碼器中的各種工具。對(duì)于我們的應(yīng)用場(chǎng)景（視頻流）使用PSNR是不合適的，因?yàn)樗c感知質(zhì)量的相關(guān)性比較差。

而VMAF的提出填補(bǔ)了這一空白，它可以評(píng)估編解碼器之間的具有較大差異的情況，也可以評(píng)估視頻的縮放失真，且該指標(biāo)與主觀感知質(zhì)量的相關(guān)性更高。它能夠幫助我們比較出編解碼器中真正重要的部分，即在碼率與主觀質(zhì)量之間找到一個(gè)最優(yōu)平衡點(diǎn)。具體而言，比較不同編解碼器和/或不同配置之間的碼率--質(zhì)量曲線，構(gòu)建其對(duì)應(yīng)的凸包（https://en.wikipedia.org/wiki/Convex_hull）進(jìn)而可以得到相應(yīng)的最優(yōu)解帕雷托前沿（ https://blog.csdn.net/u010180815/article/details/78994486）。我們團(tuán)隊(duì)最近關(guān)于編解碼器性能比較的一些工作發(fā)表在基于場(chǎng)景編碼的技術(shù)博客上，以及Picture Coding Symposium 2018 和SPIE Applications of Digital Image Processing XLI學(xué)術(shù)論文中。

2.2 編碼決策

VMAF在我們的整個(gè)工作流程中廣泛應(yīng)用，不僅用于衡量編碼的結(jié)果，還用于指導(dǎo)編碼器編碼到最佳質(zhì)量。在編碼中使用VMAF的一個(gè)典型例子是我們的動(dòng)態(tài)優(yōu)化器，其中每個(gè)單個(gè)場(chǎng)景的編碼決策由每個(gè)編碼階段的碼率和質(zhì)量指標(biāo)來(lái)指導(dǎo)。在此優(yōu)化過(guò)程中，VMAF分?jǐn)?shù)非常重要，主要用于獲得最佳的碼率與質(zhì)量之間的平衡點(diǎn)。

2.3 A / B實(shí)驗(yàn)

不同商業(yè)領(lǐng)域的研究人員——例如電視UI團(tuán)隊(duì)和流媒體客戶團(tuán)隊(duì)——正在不斷創(chuàng)新，以提高流媒體的觀看體驗(yàn)。借助VMAF模型，我們可以在系統(tǒng)范圍內(nèi)進(jìn)行A / B測(cè)試，并可以量化不同視頻質(zhì)量對(duì)用戶的影響。例如，如果研究人員改變自適應(yīng)流傳輸算法或部署新的編碼器，可以進(jìn)行實(shí)驗(yàn)比較新舊算法或編碼器之間的VMAF分?jǐn)?shù)變化情況。VMAF指標(biāo)非常適合評(píng)估這類實(shí)驗(yàn)的效果，因?yàn)樗鼘?duì)于不同內(nèi)容的有很好的一致性，并且對(duì)于反映人類感知質(zhì)量相當(dāng)準(zhǔn)確。例如，對(duì)于不同的視頻內(nèi)容，VMAF得分為85意味著視頻主觀質(zhì)量“良好”，但是從碼率的角度卻無(wú)法反映視頻主觀質(zhì)量，因?yàn)橥粋€(gè)碼率點(diǎn)在不同內(nèi)容中可能對(duì)應(yīng)不同的主觀質(zhì)量。

三、我們所為之事

3.1 速度優(yōu)化

2016年6月我們首次在Github上開(kāi)源VMAF，它的核心特征提取庫(kù)用C編寫，控制代碼用Python編寫，主要目標(biāo)是支持算法實(shí)驗(yàn)和快速原型設(shè)計(jì)。順應(yīng)用戶的需求，我們很快添加了一個(gè)獨(dú)立的C ++可執(zhí)行文件，可以在實(shí)際環(huán)境中更輕松地部署。2016年12月，我們將AVX優(yōu)化添加到VMAF的卷積函數(shù)（VMAF中計(jì)算量最大的操作）中，使得VMAF的執(zhí)行速度提高了大約3倍。在2018年6月，我們?cè)黾恿藥?jí)多線程，還實(shí)現(xiàn)了跳幀功能，允許在每N幀里的一幀上計(jì)算VMAF。這使得VMAF指標(biāo)首次能達(dá)到實(shí)時(shí)計(jì)算，即使在4K視頻中也可以（有很小的精度損失）。

3.2 FFmpeg的libvmaf庫(kù)

在FFmpeg社區(qū)的幫助下，我們將VMAF模型打包到一個(gè)名為libvmaf的C代碼庫(kù)中。該庫(kù)提供了一個(gè)接口，可將VMAF指標(biāo)計(jì)算過(guò)程添加到自己的C / C ++代碼中。VMAF是作為一個(gè)濾波器添加到FFmpeg中。FFmpeg的libvmaf濾波器目前是一個(gè)非常便捷的計(jì)算壓縮視頻碼流的VMAF指標(biāo)的方法。

3.3 準(zhǔn)確性提高

VMAF項(xiàng)目開(kāi)源之后，我們一直在不斷提高其預(yù)測(cè)準(zhǔn)確性。隨著時(shí)間的推移，我們修復(fù)了其中許多基本度量指標(biāo)和機(jī)器學(xué)習(xí)模型中的問(wèn)題，從而在整體上能得到更準(zhǔn)確的預(yù)測(cè)。例如，修改了基本度量指標(biāo)可以改進(jìn)VMAF指標(biāo)與亮度掩蔽特性的一致性；更新場(chǎng)景邊界處的運(yùn)動(dòng)得分以避免場(chǎng)景變化帶來(lái)的影響； 現(xiàn)在，在高QP區(qū)域，VMAF的單調(diào)性能夠保持。顯然VMAF模型的準(zhǔn)確性在很大程度上取決于用于訓(xùn)練的主觀打分的覆蓋范圍和準(zhǔn)確度。我們建立了一個(gè)主觀數(shù)據(jù)集，其范圍比我們以前的數(shù)據(jù)集更廣泛，包括更多樣化的內(nèi)容和采集源失真（如膠片顆粒和相機(jī)噪音）以及更全面的編碼分辨率和壓縮參數(shù)。我們還開(kāi)發(fā)了一個(gè)新的數(shù)據(jù)清理技術(shù)來(lái)消除原始數(shù)據(jù)中人為偏見(jiàn)和不一致性，并在Github上開(kāi)源。該方法使用最大似然估計(jì)來(lái)聯(lián)合優(yōu)化其參數(shù)，消除主觀偏差。

3.4 不同觀看條件下的VMAF模型

VMAF框架支持在特定觀看條件下訓(xùn)練特定的預(yù)測(cè)模型，無(wú)論是在移動(dòng)終端上還是在超高清電視上。我們之前開(kāi)源的VMAF原始模型基于如下觀看條件：觀眾坐在1080p顯示器前面，在類似客廳的環(huán)境中，觀看距離是屏幕高度的3倍（3H）。這組觀看參數(shù)在許多場(chǎng)景中較為常用，然而，在將該模型應(yīng)用于移動(dòng)端視頻時(shí)，我們發(fā)現(xiàn)它并沒(méi)有準(zhǔn)確地反映觀看者的視覺(jué)感知。特別是在較小的屏幕和相對(duì)于屏幕高度較遠(yuǎn)（> 3H）的觀看距離時(shí)，即使是觀看高質(zhì)量視頻，觀眾也只能感知到較小的視覺(jué)差異。例如，在手機(jī)上，與其他設(shè)備相比，720p和1080p視頻之間的區(qū)別較小。考慮到這一點(diǎn)，我們訓(xùn)練并發(fā)布了VMAF手機(jī)模型。

上圖展示了VMAF的默認(rèn)模型和手機(jī)模型關(guān)于VMAF分?jǐn)?shù)與碼率之間的關(guān)系。一個(gè)可行的解釋是，在手機(jī)屏幕上觀看時(shí)，相同的失真的視頻具有比在高清電視上更高的質(zhì)量，使用手機(jī)模型時(shí)，720p和1080p視頻之間的VMAF分值差異更小。

最近，我們添加了一個(gè)新的4K VMAF模型，該模型可以預(yù)測(cè)在1.5H距離下的4K電視上顯示的視頻的主觀質(zhì)量（1.5H的觀看距離是普通觀眾能夠充分感受4K內(nèi)容清晰度的最大距離）。4K模型類似于所給的默認(rèn)模型，因?yàn)閮煞N模型所使用的主觀實(shí)驗(yàn)數(shù)據(jù)都是在1/60（度/像素）的臨界角頻率下的主觀質(zhì)量。不同之處在于，4K模型使用了更寬的視角，會(huì)影響受試者的余光和聚焦點(diǎn)的成像。

3.5 對(duì)預(yù)測(cè)的不確定性進(jìn)行定量

VMAF模型主要在一些具有代表性的視頻和不同失真類型上進(jìn)行訓(xùn)練。由于實(shí)驗(yàn)室條件下進(jìn)行主觀實(shí)驗(yàn)的一些限制，選擇的視頻序列可能無(wú)法涵蓋整個(gè)視頻感知質(zhì)量空間。因此，VMAF模型的分值預(yù)測(cè)可以與置信區(qū)間（CI）相關(guān)聯(lián)，以表征訓(xùn)練過(guò)程的內(nèi)在不確定性。因此，我們最近提出了一種可以得出VMAF預(yù)測(cè)分?jǐn)?shù)及其95％的置信區(qū)間的方法，從而定量預(yù)測(cè)的置信水平。主要通過(guò)使用完整的訓(xùn)練數(shù)據(jù)引導(dǎo)預(yù)測(cè)殘差來(lái)得到置信區(qū)間，從本質(zhì)上講，它通過(guò)對(duì)預(yù)測(cè)的殘差使用“有替換的重采樣”來(lái)得到更多模型。每個(gè)模型都會(huì)引入略有不同的預(yù)測(cè)，這些預(yù)測(cè)的可變性量化了置信水平——這些預(yù)測(cè)越接近，使用完整數(shù)據(jù)的預(yù)測(cè)就越可靠。

上面的示例圖基于NFLX公共數(shù)據(jù)集得到了與每個(gè)數(shù)據(jù)點(diǎn)相關(guān)聯(lián)的95％置信區(qū)間。值得注意的是，得分較高的一方往往比得分較低的一方具有更小的置信區(qū)間。一個(gè)可行的解釋是：在訓(xùn)練VMAF模型的數(shù)據(jù)集中，分?jǐn)?shù)較高的一端比分?jǐn)?shù)較低的一端具有更密集的數(shù)據(jù)點(diǎn)采樣。值得注意的是，引導(dǎo)技術(shù)不一定會(huì)提高訓(xùn)練模型的準(zhǔn)確性，但會(huì)為其預(yù)測(cè)提供一定統(tǒng)計(jì)意義。

四、實(shí)戰(zhàn)攻略

我們經(jīng)常會(huì)被問(wèn)到用特定方式計(jì)算VMAF分?jǐn)?shù)是否合適，或者算得的分?jǐn)?shù)應(yīng)當(dāng)如何解釋。本節(jié)將重點(diǎn)解釋一些使用VMAF的注意事項(xiàng)。

4.1 VMAF分?jǐn)?shù)的解釋

VMAF分?jǐn)?shù)取值范圍為0-100，其中0表示最低質(zhì)量，100表示最高質(zhì)量。理解VMAF分?jǐn)?shù)的一種很好的方法是，將其線性映射到用于訓(xùn)練的主觀測(cè)試時(shí)的分?jǐn)?shù)域。例如，默認(rèn)模型v0.6.1使用絕對(duì)類別評(píng)級(jí)（ACR）方法收集的分?jǐn)?shù)進(jìn)行訓(xùn)練，使用1080p顯示器，觀看距離為3H。觀眾在“很差”，“較差”，“一般”，“良好”和“優(yōu)秀”這5個(gè)范圍對(duì)視頻質(zhì)量進(jìn)行打分。粗略地說(shuō)，“很差”映射到VMAF分?jǐn)?shù)的20，“優(yōu)秀”映射到100分。因此，在1080p和3H條件下，普通觀眾可以將VMAF得分70解釋為“良好”和“一般”之間的質(zhì)量。另一個(gè)需要注意的是測(cè)試者給出的最好和最差分?jǐn)?shù)往往是整套視頻中質(zhì)量最高和最低的視頻（在進(jìn)行實(shí)際測(cè)試開(kāi)始之前，受試者通常習(xí)慣于實(shí)驗(yàn)條件下的視頻質(zhì)量范圍）。在默認(rèn)模型v0.6.1的條件下，最佳和最差視頻分別對(duì)應(yīng)的是通過(guò)低量化參數(shù)（QP）的1080p壓縮視頻和通過(guò)高QP的240p壓縮視頻。

4.2 以正確的分辨率計(jì)算VMAF

典型的用于自適應(yīng)流傳輸?shù)木幋a過(guò)程一般引入了兩種類型的失真——壓縮失真（編碼器有損壓縮）和縮放失真（對(duì)于低碼率，源視頻在壓縮之前被下采樣，并且稍后在顯示設(shè)備上上采樣）。使用VMAF評(píng)估感知質(zhì)量時(shí)，必須考慮這兩種類型的失真。例如，當(dāng)源視頻為1080p但被編碼為480p時(shí)，計(jì)算VMAF的正確方法是將編碼后的視頻上采樣至1080p以匹配源視頻的分辨率。反之，如果將源視頻下采樣到480p以匹配編碼后的視頻，則獲得的VMAF分?jǐn)?shù)將無(wú)法體現(xiàn)縮放失真。在對(duì)不同視頻進(jìn)行編碼時(shí)顯得尤為重要，因?yàn)槠渲型拱臉?gòu)造對(duì)于選擇最佳編碼參數(shù)是至關(guān)重要的。

上面的例子說(shuō)明了正確計(jì)算（左）和錯(cuò)誤計(jì)算（右）VMAF時(shí)形成的凸包的結(jié)果。當(dāng)對(duì)編碼后視頻進(jìn)行上采樣后計(jì)算VMAF，可以很容易地發(fā)現(xiàn)不同分辨率的曲線會(huì)交叉而過(guò)。另一方面，如果對(duì)源視頻進(jìn)行下采樣，則低分辨率編碼將偏向于高分，并且會(huì)發(fā)現(xiàn)曲線之間沒(méi)有交叉。

4.3上采樣算法的選取

當(dāng)對(duì)編碼進(jìn)行上采樣以匹配源視頻的分辨率時(shí)，可以使用許多上采樣算法，包括雙線性，雙三次，lanczos，甚至更高級(jí)的基于神經(jīng)網(wǎng)絡(luò)的方法?！吧喜蓸铀惴ǖ馁|(zhì)量越高對(duì)應(yīng)的結(jié)果越好”這個(gè)觀點(diǎn)是不正確的。原則上，應(yīng)該選擇能夠最好地匹配顯示設(shè)備的算法。在許多情況下，顯示器中對(duì)視頻進(jìn)行上采樣的硬件是未知的，因此，我們建議使用雙三次上采樣方法的結(jié)果作為一個(gè)通用的方法。

4.4 解讀非1080p視頻的VMAF分?jǐn)?shù)

常常有人會(huì)問(wèn)：如果源視頻和編碼后視頻的分辨率都低于1080p，那么1080p模型（例如默認(rèn)的v0.6.1模型）是否仍然適用？默認(rèn)模型反映的是 “1/60（度/像素）”（意味著它假設(shè)在一度的視角內(nèi)具有60個(gè)像素）的臨界角頻率對(duì)應(yīng)的視頻質(zhì)量的模型。根據(jù)幾何學(xué)知識(shí)，可以發(fā)現(xiàn)觀看距離為3H的1080p視頻，與距離為4.5H的720p視頻和距離為6.75H的480p視頻效果基本相同。換句話說(shuō)，如果將1080p模型應(yīng)用于720p或 480p視頻，則得到的分?jǐn)?shù)可以解釋為分別以4.5H或 6.75H的觀看距離下觀看而得的分?jǐn)?shù)。在這樣遠(yuǎn)的觀看距離下，許多失真人眼無(wú)法察覺(jué)，因此反而會(huì)得到更高的分?jǐn)?shù)。值得注意的是，這種解釋并沒(méi)有校準(zhǔn)其他因素，如眼睛焦距，中央凹視力和觀眾對(duì)標(biāo)清視頻與高清視頻的心理預(yù)期。

4.5 時(shí)域池化操作

VMAF模型會(huì)為每幀打出一個(gè)分?jǐn)?shù)，在實(shí)際應(yīng)用中，通常一個(gè)較長(zhǎng)持續(xù)時(shí)間內(nèi)的綜合分?jǐn)?shù)比較有用，譬如對(duì)于幾秒鐘的視頻片段，或者甚至是兩小時(shí)的電影。盡管有許多復(fù)雜的在時(shí)域池化的技術(shù)，我們的實(shí)踐結(jié)果表明，簡(jiǎn)單的算術(shù)平均值（AM）是取平均操作的最佳方式，因?yàn)樗慕Y(jié)果與主觀分?jǐn)?shù)的相關(guān)性最高。另一種實(shí)用的取平均技術(shù)是調(diào)和平均值（HM）。通常情況它的結(jié)果與AM非常相似，除了在存在異常值的情況下，HM更加突出小值的影響。

上面的例子證明了在有無(wú)小的異常值情況下AM 和 HM之間的差異。當(dāng)人們想要基于VMAF優(yōu)化質(zhì)量同時(shí)避免偶爾的低質(zhì)量視頻編碼時(shí)，基于HM的時(shí)域池化是有用的。

4.6 A / B測(cè)試的度量準(zhǔn)則

為了理解不同操作在A / B測(cè)試中的影響，我們需要將幀級(jí)VMAF分?jǐn)?shù)綜合為每次測(cè)試的結(jié)果（即每次測(cè)試一個(gè)分?jǐn)?shù)）。自適應(yīng)流傳輸中選擇的最佳碼率受各種因素（例如吞吐量）影響，每次測(cè)試將基于每個(gè)流播放的時(shí)長(zhǎng)以及在何時(shí)播放對(duì)每幀VMAF分值進(jìn)行不同的“結(jié)合”。要對(duì)每次測(cè)試的單個(gè)VMAF分值進(jìn)行綜合，我們必須注意：1）確定適當(dāng)?shù)木酆铣潭龋?）使用反映不同方面的感知質(zhì)量指標(biāo)進(jìn)行聚合。

如果我們將每個(gè)流的每幀的VMAF分?jǐn)?shù)進(jìn)行平均，我們將漏掉在此間發(fā)生的質(zhì)量下降。如果我們不平均，就使用每幀的值，則對(duì)于每次測(cè)試，最終在綜合每幀分值時(shí)的計(jì)算復(fù)雜度將會(huì)很高。因此，我們建議使用秒為粒度的時(shí)間間隔，以在準(zhǔn)確性和易實(shí)施性之間達(dá)到一個(gè)較好的平衡。

為了理解不同處理方法在A / B測(cè)試中的影響，我們建議采用能反映三個(gè)方面質(zhì)量的關(guān)鍵指標(biāo)：總體質(zhì)量，開(kāi)播質(zhì)量和可變性。這三個(gè)量可以分別是整個(gè)測(cè)試中的平均VMAF分值，前N秒的平均VMAF分值，以及VMAF值相對(duì)于先前一個(gè)值下降到某個(gè)閾值以下的次數(shù)。

五、旅程繼續(xù)

從一個(gè)公司內(nèi)部項(xiàng)目到成為一個(gè)為Netflix的所有會(huì)員提供最佳視頻觀看體驗(yàn)的有效工具，以及到現(xiàn)在的一個(gè)開(kāi)始吸引用戶和社區(qū)貢獻(xiàn)者維護(hù)的開(kāi)源項(xiàng)目，VMAF一直在不斷發(fā)展，不斷尋找新的應(yīng)用領(lǐng)域。我們很高興看到除了在Netflix公司內(nèi)部，VMAF已應(yīng)用于編解碼器的比較、編碼優(yōu)化、A / B實(shí)驗(yàn)、視頻分析和后處理優(yōu)化等諸多方面。此外，我們還看到了獨(dú)立的研究人員交叉驗(yàn)證了VMAF的感知準(zhǔn)確性、開(kāi)源社區(qū)對(duì)VMAF的計(jì)算進(jìn)行了加速、創(chuàng)建了易于使用的界面等，它正在不斷的被優(yōu)化著。

但我們的旅途才剛剛開(kāi)始～

通過(guò)與一些研究人員和VMAF使用者進(jìn)行交流，我們意識(shí)到目前的VMAF模型在很多方面可以改進(jìn)。舉幾個(gè)例子：

VMAF模型只使用了簡(jiǎn)單的時(shí)域特征，即相鄰幀之間的平均低通濾波差異。進(jìn)一步，VMAF模型還可以借鑒學(xué)習(xí)更復(fù)雜的時(shí)域模型來(lái)更好地度量時(shí)域感知特征來(lái)提升性能；

VMAF模型并沒(méi)有完全體現(xiàn)許多編解碼器中的感知優(yōu)化帶來(lái)的效果，盡管與PSNR相比，它正朝著正確的方向更進(jìn)了一步；

目前VMAF尚未使用色度特征，且并不能充分表達(dá)HDR 或 WCG視頻的感知方面的特點(diǎn)；

VMAF模型在時(shí)長(zhǎng)為幾秒鐘的短視頻中表現(xiàn)最佳，但是它對(duì)反映卡頓造成的QoE影響無(wú)能為力，同時(shí)也無(wú)法捕捉(用戶)在長(zhǎng)時(shí)間觀看后的一些主觀感知特性，比如首因效應(yīng)（primacy effect）和近因效應(yīng)（recency effect）

在未來(lái)幾年，我們將繼續(xù)努力改進(jìn)VMAF模型，并邀請(qǐng)行業(yè)、學(xué)術(shù)界和開(kāi)源社區(qū)與我們進(jìn)行合作。

六、致謝

我們要感謝以下個(gè)人對(duì)VMAF項(xiàng)目的幫助：C.-C Jay Kuo教授（南加州大學(xué)），Joe Yuchieh Lin，Eddy Chi-Hao Wu，Haiqiang Wang，Patrick Le Callet教授（ UniversitédeNantes），Jing Li，Yoann Baveye，Lukas Krasula，Alan Bovik教授（德克薩斯大學(xué)奧斯汀分校），Todd Goodall，Ioannis Katsavounidis，視頻算法團(tuán)隊(duì)成員，Martin Tingley和Lavanya Sharan of Streaming S＆A，以及VMAF項(xiàng)目的開(kāi)源貢獻(xiàn)者。