ARM的NEON技術(shù)，其基本原理是讓處理器在每個時鐘周期內(nèi)完成更多工作。dav1d 0.3.1中，在解碼1080p視頻時，基于NEON開發(fā)的dav1d可以毫不費力地達到30 fps的流暢度。

多媒體解碼是一項數(shù)據(jù)規(guī)模的挑戰(zhàn)。解碼幾個像素對現(xiàn)代處理器來說小菜一碟，但當多媒體文件升級至每秒6200萬像素的數(shù)據(jù)規(guī)模時，一般的處理器就會不堪重負。

因此，ARM的NEON技術(shù)應運而生。這項基于ARMv7與ARMv8指令集的擴展技術(shù)，其基本原理是讓處理器在每個時鐘周期內(nèi)完成更多工作；同時，支持單指令多數(shù)據(jù)（SIMD）操作也令其在單個指令中不會一次性處理一個龐大或精確的數(shù)據(jù)，而是處理多個較小的數(shù)據(jù)。

NEON允許在單個指令中處理128位數(shù)據(jù)。幾乎在所有情況下，128位都是精確有用的方法。如果我們有一個128位精度的坐標系，我們甚至可以在仙女座星系指定每個點且精確度可達0.00006皮米，這是什么概念呢？要知道最小的原子氫原子的直徑也才32pm，而仙女座星系距離地球有250萬光年！

很明顯，如果是為了清晰且流暢呈現(xiàn)用戶上傳的視頻，我們并不需要如此夸張的精確度，這也就是為什么在大多數(shù)情況下每個像素的色彩深度為8位，而若想實現(xiàn)HDR則需要10或12位的色彩深度。使用NEON則可通過將128位的數(shù)據(jù)精度擬合成每像素8或16位色彩深度，以防止出現(xiàn)路由錯誤。

總而言之，NEON可在單個操作中適應多個數(shù)據(jù)精度，且當視頻解碼器需要對大量數(shù)據(jù)進行處理時，使用NEON是一個不錯的主意。

dav1d中的NEON

dav1d是由VideoLAN維護的AV1解碼器，VideoLAN則是VLC媒體播放器、x264與x265視頻編碼器的主要推動者。很多開發(fā)人員為將此項目打造成可在幾乎任何CPU上運行且處理速度最快的AV1視頻編碼器做出了不可磨滅的貢獻。

回顧2018年12月的dav1d 0.1.0，我在不同規(guī)格的ARMv8處理器上比較基于C語言開發(fā)的dav1d與基于NEON匯編的dav1d（感謝Janne Grunau和MartinStorsj?提供的這些數(shù)據(jù)），盡管當時只有少數(shù)功能通過NEON加速，但性能仍相對于平均提高了80％。

有無NEON 代碼對dav1d 0.1.0的影響

幾個月后，更多基于NEON的應用逐漸出現(xiàn)。在得到最終結(jié)果之前，讓我們先來探究一下哪些讓NEON的性能如此出色。

功能及其加速

解碼視頻需要多個步驟，每個步驟由一項單獨的函數(shù)執(zhí)行，多個函數(shù)組合成視頻解碼處理流程；這些步驟也會根據(jù)編碼器、參數(shù)與視頻內(nèi)容酌情增減修改。dav1d的開發(fā)人員嚴重依賴一個名為checkasm的工具以測試特定功能所需的時間。他們使用匯編語言編寫代碼并用checkasm測試，如果一些步驟的處理速度足夠快那么它們就會被合并。

在MartinStorsj?的測試中，他使用了兩個編譯器（Clang 9和GCC 7）與三個不同的內(nèi)核：Arm Cortex-A53、Arm Cortex-A72和Arm Cortex-A73。第一個是一般性能的有序核心，后兩個是高性能的無序核心。

下表顯示了當前基于NEON加速所有功能所得到的測試結(jié)果。其中的數(shù)字表示速度——基于C語言開發(fā)的dav1d帶來了5秒鐘的加速而基于NEON開發(fā)的dav1d則帶來了2.5秒加速。

這張表的信息量遠不止這些。首先，我們可以看到加速結(jié)果的分布區(qū)間非常廣泛，從幾個百分點到20+都涵蓋在里面；其次我們還看到在大多數(shù)情況下，Clang編譯器可以更好地優(yōu)化基于C代碼的dav1d（可以看到NEON的加速成績更小）；除此之外我們還可以發(fā)現(xiàn)，一般性能且有序的A53內(nèi)核，其加速成績比高性能且無序的A73內(nèi)核高，而A73的效率又高于A72，其原因可能是前者的解碼帶寬降低。

需要明確的是，由于NEON的多項功能并非全部滿負荷運行，這里的平均加速成績并不能完全代表其整體性能。對于當前的NEON來說，其性能取決于核心和編譯器。盡管計算加權(quán)平均值可以在一定程度上從側(cè)面反映出大致性能水平，但每個視頻（編碼器、編碼器設置、內(nèi)容都不同）卻存在很大差異。

但一般來說，基于NEON匯編語言形成的大多數(shù)函數(shù)，在性能優(yōu)化方面會比基于編譯器優(yōu)化的C語言所形成的函數(shù)快4到5倍，在某些特殊情況之下可能會超過20倍。

dav1d 0.3.1性能

我將會從以下圖表開始介紹：

測試此1080p視頻我們可以觀察到結(jié)果存在巨大差異：基于編譯器優(yōu)化的C語言（使用Clang）開發(fā)的dav1d，其在Apple A7與Snapdragon 835平臺甚至無法達到24 fps的幀率，而基于NEON開發(fā)的dav1d可以毫不費力地達到30 fps的流暢度，而Apple A10則從45 fps躍升至100 fps以上。如此性能提升對于移動設備來說意味著更低的功耗與更高效的資源利用。

如果將結(jié)果標準化，我們可以仔細查看確切的加速成果：

Snapdragon 835中的Cortex-A73所獲得的加速最為明顯，幾乎是基準的3倍。其他核心平均值略低，為基準的2.5倍。這意味著從基于優(yōu)化后的C語言開發(fā)的dav1d所實現(xiàn)的1倍性能提升到基于NEON開發(fā)的dav1d 0.1.0所實現(xiàn)的1.8倍性能提升，再到dav1d 0.3.1高達2.5倍的性能提升，NEON的優(yōu)化成果十分顯著。

展望未來

dav1d的Arm64開發(fā)還遠未完成，現(xiàn)在需要實現(xiàn)的最重要功能是提高移動端的NEON整合速度（同時推廣用于PC的AVX2和SSSE3），發(fā)展空間巨大。我們希望可實現(xiàn)比平均基準三倍以上的性能優(yōu)化，同時更好的自動矢量化也可提供很多幫助，但主要的驅(qū)動程序仍然需要開發(fā)者的智慧和勤奮。