手淘的產(chǎn)品目前已經(jīng)拓展到直播、短視頻等領(lǐng)域，業(yè)務(wù)中存在著大量的圖片和視頻；自2015年起，圖片和視頻的數(shù)量呈指數(shù)級別高速增長；并且隨著網(wǎng)絡(luò)技術(shù)的發(fā)展與消費(fèi)升級，用戶對圖片和視頻清晰度的要求也不斷提升，從最早的360P到現(xiàn)在的4k甚至8k，這些都帶來了寬帶成本與存儲(chǔ)成本的大規(guī)模提升，這也就是為什么我們希望借助H265技術(shù)支持音視頻業(yè)務(wù)的良性發(fā)展。

2、H.265介紹

2.1 成本效益

借助H265技術(shù)我們可以實(shí)現(xiàn)大規(guī)模并發(fā)場景下音視頻業(yè)務(wù)的有效成本控制。帶寬與存儲(chǔ)成本不容小覷，與H264相比，以典型4K場景中使用H265技術(shù)為例，可在保持畫質(zhì)不變的同時(shí)節(jié)省達(dá)50%的帶寬，而以720P直播為例使用H265則可節(jié)省30%流量。現(xiàn)在的流量有90%以上都來自移動(dòng)端（手機(jī)）而非傳統(tǒng)意義的PC、服務(wù)器、Pad等；而對手機(jī)端尤其是Android設(shè)備而言，碎片化帶來的計(jì)算能力受限、性能層次不齊等問題使得H265上的很多優(yōu)化與功能受到限制。如果我們直接將H265應(yīng)用于手機(jī)端則會(huì)在解碼時(shí)出現(xiàn)發(fā)熱大、能耗高、實(shí)時(shí)編碼無法正常進(jìn)行等現(xiàn)象；與此同時(shí)，也缺少快速、高效且成熟的端上編碼方案，這些都是亟待我們解決的問題。

2.2 編碼框架

接下來介紹下H265的編碼框架。H265編碼框架由四個(gè)模塊組成：輸入一段視頻的連續(xù)多幀，首先需要經(jīng)過的是包含幀內(nèi)預(yù)測、幀間預(yù)測兩個(gè)操作的預(yù)測模塊；隨后進(jìn)行變換量化模塊也就是針對原始圖像塊與預(yù)測圖像塊的差值進(jìn)行DCT和量化；接下來解碼模塊會(huì)將圖像解碼以便用于下一幀的預(yù)測；最后的熵編碼模塊將針對預(yù)測信息和殘差系數(shù)進(jìn)行算數(shù)編碼從而進(jìn)一步消除編碼冗余。

2.3 技術(shù)亮點(diǎn)

H265主要有哪些技術(shù)亮點(diǎn)？首先H265具有靈活的編碼結(jié)構(gòu)，擁有CUPUN、CTUN等多個(gè)細(xì)分編碼單元；其次H265的塊大小也非常靈活，包括4×4、8×8等更多塊劃分方式；除此之外，H265的Sample Adaptive Offset（SAO）技術(shù)相對于Deblock和ALF具有更高性價(jià)比；最后在整個(gè)H265中包含了并行化設(shè)計(jì)，使得H265的優(yōu)勢更加明顯。

除了以上技術(shù)亮點(diǎn)，H265相比于H264 在插值、MV預(yù)測、幀內(nèi)預(yù)測、變換、去塊濾波等方面進(jìn)行了大量改進(jìn)與優(yōu)化。上圖右側(cè)表展示的是H.265相對于H.264在多方面帶來提升的量化數(shù)據(jù)。

2.4 改進(jìn)代價(jià)

H.265為音視頻帶來了技術(shù)提升，與此同時(shí)也帶來了不容忽視的改進(jìn)代價(jià)。碼流的節(jié)省意味著計(jì)算復(fù)雜度的提升，從上圖右側(cè)的統(tǒng)計(jì)表中我們可以看出，相對于H264，H265的編碼復(fù)雜程度增加了約3到4倍，解碼復(fù)雜程度也增加了近50%。這就意味著傳統(tǒng)的針對H.264的軟硬件解決方案處理H.265會(huì)明顯感到力不從心，我們需要妥善解決因方案升級帶來的諸多技術(shù)挑戰(zhàn)。

3、H.265高效編解碼器的實(shí)現(xiàn)

即便如此，H.265的優(yōu)勢也不容忽視。上圖展示的是我們在2017年開展的一項(xiàng)調(diào)研，以當(dāng)時(shí)比較成熟的金山HEVC解碼器為例，對比標(biāo)準(zhǔn)H.265解碼器，無論是在解碼速度還是解碼質(zhì)量上金山的HEVC解碼器都有很大優(yōu)勢，這項(xiàng)調(diào)研結(jié)果也讓我們對H.265的未來發(fā)展更加充滿信心。

3.1 RDO優(yōu)化

手淘在H.265編解碼領(lǐng)域作出了哪些探索？我們的優(yōu)化探索主要分為兩部分：算法優(yōu)化與工程優(yōu)化，而算法優(yōu)化主要集中在RDO方向。由于HEVC支持不同的CTU/CU/PU/TU組合模式，可選編碼模式激增；搜尋最優(yōu)編碼模式時(shí)，隨著編碼模式數(shù)量的增加，率失真計(jì)算會(huì)成為編碼過程的計(jì)算瓶頸，這主要是由于傳統(tǒng)H.264中基于SATD的率失真優(yōu)化不可在H.265中使用，需要精度更高的失真代價(jià)計(jì)算。為了優(yōu)化RDO以實(shí)現(xiàn)更高效的處理效果，我們進(jìn)行了以下7項(xiàng)改進(jìn)：

高效預(yù)判CU層次。

采用基于紋理信息等內(nèi)容的CU遍歷提前終止策略。

基于卷積神經(jīng)網(wǎng)絡(luò)解決圖像分塊的非線性問題。

提前預(yù)判殘差A(yù)ZB塊，從而減少D與R的計(jì)算。

使用量化誤差D和殘差比特?cái)?shù)R的快速計(jì)算模型。

采用基于單調(diào)性的ME快速計(jì)算模型。

在35中模式中快速選擇合適的幀內(nèi)預(yù)測模式。

1）模式劃分CTU/CU/PU/TU

以PU為例，H.264有7種劃分模式，而H.265則有24種劃分模式。

如果統(tǒng)計(jì)H.265中一個(gè)圖像可以選擇的所有劃分模式，一個(gè)塊有高達(dá)384種可選擇的劃分模式。只有計(jì)算完成所有選擇后才能確定最佳劃分方案，如何縮短計(jì)算如此多選擇所需要的時(shí)間？

2）RDO優(yōu)化

快速模式?jīng)Q策——深度預(yù)估

首先，由于每塊的劃分層級與劃分深度和當(dāng)前塊的參考幀塊之間有很強(qiáng)的相關(guān)性，利用時(shí)間和空間的相關(guān)性，我們可從參考塊的深度預(yù)估本塊的深度范圍并得到Min-depth與Max-depth；其次，即使本塊與上一塊或參考塊有相關(guān)關(guān)系，本塊也有一些自己獨(dú)有的信息可被利用，我們可通過結(jié)合本塊的運(yùn)動(dòng)與紋理信息界定深度的精度范圍，確定具體劃分深度的精度范圍。

快速模式?jīng)Q策——紋理Corner檢測

通過對圖像紋理的檢測我們可快速選擇最優(yōu)的劃分模式。迅速識別平坦或?qū)Ρ榷容^強(qiáng)的紋理，提升劃分效率。

快速模式?jīng)Q策——CNN分類

應(yīng)對帶Corner的紋理時(shí)，可通過按照強(qiáng)度判決是否繼續(xù)劃分來實(shí)現(xiàn)快速選擇，這對線性變化的處理效果較好，而在實(shí)際應(yīng)用中我們需要面對很多非線性變化的應(yīng)用場景，此時(shí)就需要CNN卷積神經(jīng)網(wǎng)絡(luò)+深度學(xué)習(xí)的模型對非線性變化進(jìn)行紋理分類與快速模式選擇，這里的線性分析與非線性分析是分開進(jìn)行的。

快速模式?jīng)Q策——AZB決策

AZB（All Zero Block）是量化后系數(shù)為全0的塊，通過AZB提前判別決策可對塊進(jìn)行快速歸類，從而減少D與R的計(jì)算。

Distortion&Bits估計(jì)

縱覽整個(gè)劣勢幀的計(jì)算過程 ，計(jì)算Dp需原圖到重建圖像間的SSE，也就是完成編碼模式P的預(yù)測、變換、量化、反量化、反變換、重建等。為避免這樣冗長而復(fù)雜的計(jì)算過程，我們可以在變換與量化后在頻域計(jì)算殘差能量；而碼率統(tǒng)計(jì) 則是通過一次熵編碼實(shí)現(xiàn)，為了提高計(jì)算效率我們可以對殘差數(shù)據(jù)的碼率統(tǒng)計(jì)建立線性估計(jì)模型并根據(jù)NxN變換矩陣量化后的特征估計(jì)其碼率，可減少近50%的計(jì)算量。

FME最優(yōu)搜索位置估計(jì)

這里我們主要進(jìn)行的優(yōu)化是，通過整像素點(diǎn)及1/2像素點(diǎn)的SAD值和其坐標(biāo)來估算出最優(yōu)1/4像素點(diǎn)，從而加速整個(gè)搜索過程。

快速幀率預(yù)測方法

我們采用了基于貝葉斯模型開發(fā)的一套幀內(nèi)預(yù)測快速?zèng)Q策方法，可為幀內(nèi)預(yù)測速度帶來一倍的提升并將損失降低到0.01dB。

3）碼率控制優(yōu)化

我們使用以下策略對碼率控制與Lookahead進(jìn)行優(yōu)化，首先是基于CuTree的信息傳遞來調(diào)整CUQP，其次是基于rates和復(fù)雜度的IBP FrameQP，最后是·基于參考強(qiáng)度的Slice Type Decision，這一部分內(nèi)容我會(huì)在LiveVideoStackCon 2018上作出更加詳細(xì)描述 。

4）參考幀優(yōu)化——長期參考幀

我們知道，參考幀大都在一個(gè)GOP范圍內(nèi)，往往有更好的編碼質(zhì)量，參考幀有助于提高被參考幀的質(zhì)量，而長期參考幀可能源于多個(gè)GOP。這就使得對于背景很少發(fā)生變化的直播場景，長期參考幀可有效減少信息經(jīng)過多幀傳遞帶來的損失，引用長期參考幀可將平均EV提高大概0.25dB，

上圖展示的是各模塊計(jì)算量占比，以上就是我們圍繞RDO領(lǐng)域進(jìn)行的多項(xiàng)探索。

3.2 工程化優(yōu)化方法

基于工程方面我們也進(jìn)行了多項(xiàng)優(yōu)化，首先是針對一些特殊函數(shù)的匯編計(jì)算優(yōu)化，我們通過采用NEON指令集優(yōu)化，為典型計(jì)算性能帶來2～4倍的提升，如RDO（SSE、SAD）模塊、運(yùn)動(dòng)搜索模塊、幀內(nèi)預(yù)測模塊等均提升兩倍以上；其次，針對現(xiàn)在移動(dòng)端廣泛使用的多核處理器，我們優(yōu)化多核并行計(jì)算并適應(yīng)現(xiàn)代處理器的架構(gòu)；除此之外，我們也優(yōu)化bottleneck的指令和訪存，從而進(jìn)一步提升整體性能。

3.3 優(yōu)化成果

1）軟件編碼

經(jīng)過算法與工程兩個(gè)層次上的優(yōu)化，我們?yōu)镠EVC編解碼帶來了明顯的性能提升。就編碼速度而言，手淘比X.265 17年初的版本提升3倍以上并可在iPhone6上實(shí)現(xiàn)720P&30幀的實(shí)時(shí)編碼；若想實(shí)現(xiàn)相同的編碼質(zhì)量，手淘的編碼碼率相對于X.265降低了至少15%，上圖展示的便是具體的測試結(jié)果。

2）軟件解碼

軟解優(yōu)化更多集中在工程方面也就是NEON指令集部分，較少在算法層面進(jìn)行調(diào)整。通過對NEON指令集的優(yōu)化與一些邏輯上的改寫，手淘可實(shí)現(xiàn)相對于FFmpeg提升150%以上的視頻解碼速度，例如將1Mbps 720P H.265的測試用例用于小米5手機(jī)進(jìn)行解碼測試，其解碼速度可達(dá)兩百幀以上，而CPU的占用率也控制在20%以下；在處理圖片方面，例如對H.265的標(biāo)準(zhǔn)I幀處理上我們也做出了不少優(yōu)化和改進(jìn)，APG的圖片解碼速度相對于FFmpeg提升70%以上。

4、總結(jié)與未來展望

這里我們對視頻編碼標(biāo)準(zhǔn)的未來進(jìn)行簡單的展望。過去10年大家都是按照H.264、H.265的標(biāo)準(zhǔn)；而在流媒體漸成趨勢的未來，Google提出的VP8、VP9、VP10，還有H.266、AV1等標(biāo)準(zhǔn)將推動(dòng)音視頻行業(yè)向更光明的未來發(fā)展。技術(shù)的進(jìn)步為我們實(shí)現(xiàn)更多更新潮的效果打下基礎(chǔ)，助力消費(fèi)升級與用戶體驗(yàn)的日漸完善。

如果簡單對比H.266與AV1我們可以看到，因?yàn)镠.266引入了更多的四叉樹二叉樹結(jié)構(gòu)（QTBT），整體的BD-Rate提升近4%；但H.266對比H.265，在保持畫質(zhì)不變的情況下碼流降低了近1倍而整體編碼時(shí)間卻增加了2倍左右，整體解碼時(shí)間則增加近1倍?；谥暗恼{(diào)研我們發(fā)現(xiàn)，AV1的時(shí)間復(fù)雜度是X.265的2000～3000倍，這說明AV1未來的改進(jìn)與優(yōu)化任重而道遠(yuǎn)。

Q&A

Q：VP9在將來會(huì)大面積普及嗎？

A：我認(rèn)為VP9當(dāng)前存在最大的妨礙其普遍推行的問題是兼容性，因?yàn)楝F(xiàn)在很多設(shè)備都采用向下兼容的策略，而VP9在諸多設(shè)備上的普及率不高；如果大家在直播等領(lǐng)域使用VP9進(jìn)行編碼則必須經(jīng)過轉(zhuǎn)碼之后才能通過CDN分享，隨后重新轉(zhuǎn)成H.264或H.265再播放，這樣勢必會(huì)帶來很多麻煩。

Q：能否在客戶端實(shí)現(xiàn)硬編？

A：現(xiàn)在的一些高端手機(jī)已經(jīng)可以實(shí)現(xiàn)性能穩(wěn)定的硬編H.265，例如對iOS而言，iPhone7以上的機(jī)型都可穩(wěn)定實(shí)現(xiàn)。但在較為碎片化的安卓機(jī)型上，由于安卓機(jī)型解碼時(shí)對多種協(xié)議的支持力度不統(tǒng)一，加上不同檔次的手機(jī)性能差距過大，編碼性能受到很大影響。手淘上主播的機(jī)型主要是ios，所以在淘寶上我們主要采用硬編方案；而對于直播環(huán)境，因?yàn)樾枰狢DN進(jìn)行內(nèi)容分發(fā)，而CDN重點(diǎn)支持的鏈路基本屬于H.264，編碼方式受限于整個(gè)直播的鏈路環(huán)境。