智能化編碼面臨的算力瓶頸

圖中是一個視頻轉(zhuǎn)碼推流的一般性流程圖。主播將視頻上傳到上行CDN，然后再由視頻處理中心進行各種前處理，包括內(nèi)容理解，審核，編輯，增強和超分，然后進行編碼，再推送到下行CDN，供觀眾觀看。

紅色框部分都是和AI相關(guān)的部分。智能化編碼中，AI所需算力已經(jīng)超過編碼本身。1080p的數(shù)據(jù)超成4K，編碼只需要20幾個物理核，但是如果要超分，就需要一張GPU卡。一張GPU卡5000塊一個月，對比下來成本優(yōu)勢一目了然。

根據(jù)相關(guān)視頻企業(yè)公開的財報，視頻轉(zhuǎn)碼和帶寬的成本占到公司全年收入的10%左右。隨著AIGC的發(fā)展，未來肯定不局限于10%，因此成本問題是我們的痛點之一。

CPU全鏈路智能化編碼的優(yōu)勢就在于成本節(jié)約，運維簡單。下面舉一個更具體的例子：

我們都知道轉(zhuǎn)碼方式有很多種，但CPU有兩個不可替代的優(yōu)勢：1.高靈活性；2.高復(fù)用性。CPU的升級幾乎沒有成本，只需升級一下軟件部分即可，以云為基礎(chǔ)，申請一個虛擬主機，無論是docker還是container都可以隨用隨放，十分自由靈活，成本很低。

由于超分部分對算力的要求非常高，需要通過GPU來輔助，但同時也會引發(fā)一些問題：客戶將高要求的AI負載遷移到GPU上，將編碼和前處理完全分離。這就像在一間屋子里解碼——發(fā)送到另一間屋子進行前處理——再轉(zhuǎn)回來編碼。這不僅讓流程變得冗長，也對運維造成了極大負擔(dān)，數(shù)據(jù)的反復(fù)調(diào)度也造成了一定時延的增加。

CPU全鏈路智能化編碼正是解決了這一痛點。

英特爾第四代至強可擴展處理器及AMX賦能智能化編碼

接下來會介紹英特爾第四代至強可擴展處理器及其內(nèi)置的AI加速器AMX，以及如何利用AMX和英特爾成熟的軟件棧和工具鏈幫助視頻編解碼工作者，打造全鏈路智能化編碼。

據(jù)最新的統(tǒng)計數(shù)據(jù)，英特爾至強服務(wù)器在中國市場的數(shù)據(jù)中心的占有率保持在80%以上，可以說至強服務(wù)器是數(shù)據(jù)中心的基石。第四代至強一個重要的革新就是內(nèi)置了數(shù)個硬件加速器，用于不同應(yīng)用場景的性能加速，例如之前需要外置的PCIE插卡就已經(jīng)內(nèi)置在CPU內(nèi)部。

從左往右第一個AMX適用于AI；QAT負責(zé)壓縮、解壓和加解密；DLB負責(zé)Load Balance，CDN負責(zé)負載均衡，自動dispatch到閑散的資源上；DSA負責(zé)內(nèi)存拷貝，不需要CPU參與，異步拷貝不僅速度快，而且不占用CPU內(nèi)存；IAA負責(zé)存內(nèi)分析，更多和數(shù)據(jù)庫相關(guān)，IAA可以在不解壓數(shù)據(jù)的情況下分析數(shù)據(jù)。

AMX的全稱是Advanced Matrix eXensions，高級矩陣擴展指令集。它在AVX512的基礎(chǔ)之上做了進一步的擴展。AMX有兩個核心思想，一個是Tiles，一個是Timo。Tiles是物理上兩地寄存器的疊加，16個AVX512疊加在一塊。Timo是針對兩地Tiles的矩陣運算。最新的至強每一顆物力核上都有一個內(nèi)置的AMX，充當(dāng)AI 的加速卡。

和大多數(shù)加速卡一樣，AMX加速的是量化精度。目前第四代至強支持的是BF16和INT8，未來也會很快支持FP8和FP16。BF16的表達范圍和FP32一模一樣，只是精度比FP32小一點。目前絕大多數(shù)的場景，BF16已經(jīng)足夠。對于訓(xùn)練來說FP16足矣，而推理則只需要INT8。

AMX是如何加速矩陣乘的呢？我們在做大的矩陣時可以把矩陣拆成16*64，然后一次性計算。如果算力不夠，可以用oneDNN和MLKDNN處理，而AMX加速矩陣乘計算，算力是前一代產(chǎn)品的8倍。

這張圖是至強服務(wù)器峰值計算能力的演進過程。從2019年開始的第二代至強可擴展處理器支持VNNI，最新發(fā)布的第四代至強可擴展處理器支持AMX，可以看到每個指令周期的計算能力得到8倍的提升。

硬件性能只是一方面，軟件生態(tài)某種意義上說對開發(fā)者來說更為關(guān)鍵。這是一張英特爾 AMX的軟件生態(tài)圖，從下往上，從最底層的操作系統(tǒng)到虛擬化KVM、HyperV，再到核心AI計算庫都是英特爾開發(fā)的。在框架層面，主流的TF和PyTorch也都包含在內(nèi)，除此之外英特爾還提供了豐富的推理工具。這些成熟的軟件生態(tài)使得我們的開發(fā)者可以專注于算法創(chuàng)新，而不用考慮如何部署等細節(jié)，開箱即用。

BF16和INT8的高算力對將AI從GPU遷到CPU之上確實有很大的幫助，但如何保證精度呢？英特爾有一個工具叫做INC，內(nèi)置了很多專門用于精度的校正算法。作為開發(fā)者，只需要做三件事：輸入模型、輸入數(shù)據(jù)集和輸入精度要求即可。INC會根據(jù)客戶的輸入進行tuning，直到有一個用戶滿意的算法。如果最終達不到設(shè)定的精度要求，還可以對某些層進行回滾，從而保證設(shè)定的精度可以達到要求。

回到視頻編解碼領(lǐng)域，我們知道視頻前處理是在FFmpeg解碼之后，對YUV或者RGB數(shù)據(jù)進行處理，處理結(jié)束后再送到編碼器x264或者x265編碼。由于整個pipeline中，數(shù)據(jù)的處理速度并不一致，因此為了讓整個過程的數(shù)據(jù)順滑地流動起來，就需要做一部分的改造，比如解碼后的raw data放入一個buffer隊列中，AI推理異步從這個隊列中取數(shù)據(jù)做推理，并把推理后的結(jié)果送到編碼器中，這需要一定量針對FFmpeg的開發(fā)工作。

幸運的是，英特爾已經(jīng)幫用戶做好了。FFmpeg中有一個英特爾的OpenVINO后端，用戶直接使用就行。FFmpeg的DNN AI推理后端，目前只支持2個后端，一個是Tensorflow，另外一個就是英特爾的OpenVINO。

總結(jié)：FFmpeg已經(jīng)集成了OpenVINO作為AI 的后端推理引擎且英特爾有專門的團隊去維護，大家可以放心使用。

這是一個和合作伙伴的實際案例。在視頻增強和目標檢測這兩個場景下，使用了英特爾第四代至強可擴展處理器AMX優(yōu)化的AI推理性能相對上一代平臺分別提升了1.86倍和1.95倍。與此同時，精度損失被控制在可接受的范圍，這也使得英特爾的客戶在CPU上實現(xiàn)了全鏈路智能化編碼，大幅降低了部署成本和運維成本。

審核編輯：劉清