在CPU核的設(shè)計中，SIMD（single instruction multiple data，單指令多數(shù)據(jù)）是一種常用的數(shù)據(jù)并行處理方式，通過一條指令同時對多個數(shù)據(jù)元素進行操作以提升處理器的計算效率和運行速度。SIMD具有廣泛的應(yīng)用場景，例如圖像處理、科學(xué)計算、加解密、機器學(xué)習(xí)和人工智能等。隨著應(yīng)用對算力需求的不斷提高，處理器的數(shù)據(jù)并行能力也隨之增長（例如intel的SIMD ISA進化，寄存器從MMX的64-bit進化到如今AVX的512-bit）。但這種傳統(tǒng)SIMD指令的編程模型決定了其寄存器長度（即并行度）是嵌入在指令中的，軟硬件的耦合度很高，每次硬件的并行度升級都需要軟件進行相應(yīng)的適配，帶來額外的軟件工作量。

相較于傳統(tǒng)SIMD指令，RISC-V指令集向量擴展RISC-V Vector采用了更加靈活的編程模型，在提供單指令多數(shù)據(jù)并行處理的同時，為開發(fā)者提供了更高層次的抽象，使得軟硬件更加解耦，軟件無需感知硬件并行度的變化，直接適配于不同的硬件配置。

我們以RISC-V Vector1.0指令集為例。從圖中可以看到，對于向量寄存器寬度（VLEN）不同的硬件，同一套程序可以直接運行，唯一區(qū)別是VLEN越大的處理器每輪迭代所能夠處理的元素個數(shù)越多，因此所需要的循環(huán)次數(shù)越少。此外，由于指令集所定義的element mask功能，在最后一輪迭代時，超出的元素將被無效掉，而無需類似SIMD指令那樣對循環(huán)末梢的元素進行額外的特殊處理。

進迭時空RISC-V Vector技術(shù)實踐

進迭時空第一代RISC-V CPU核X60和RISC-V AI核A60已完整支持RISC-V Vector 1.0擴展，并應(yīng)用于RISC-V AI CPU芯片K1中。該系列核支持VLEN=256-bit的向量寄存器寬度，提供最大2x128-bit的數(shù)據(jù)并行處理能力，支持INT/FP等多種計算精度。同時，A60還基于向量寄存器擴展了符合IME標(biāo)準(zhǔn)的AI指令，提供2Tops INT8融合AI算力。

我們基于SWAN測試集對K1的向量能力進行了測試和優(yōu)化。SWAN是一套用于測試向量指令在多媒體、圖像處理等數(shù)據(jù)密集型應(yīng)用中性能表現(xiàn)的基準(zhǔn)測試集，其針對chromium、WebRTC、PDFium 等應(yīng)用的軟件庫進行性能分析，測試涵蓋了圖像編解碼、卷積計算、色彩空間轉(zhuǎn)換等典型算法。

在SWAN的所有37個測試中，向量指令相較于標(biāo)量指令均獲得了明顯的加速比，尤其是在低精度高并行度的測試上，向量的加速效果可達數(shù)十倍。

此外，相較于Cortex-A55的SIMD指令, 在相同頻率下，K1芯片的Vector指令測試表現(xiàn)：

51%的測試項性能達到 Cortex-A55 的 1.5 倍以上（最高 2.5 倍）；

21%的測試項性能達到 Cortex-A55 的 1~1.5 倍；

由于配置了更寬的向量寄存器和數(shù)據(jù)處理寬度，K1在數(shù)據(jù)并行度高的程序上獲得了更大的收益，例如ibjpeg、skia等典型的圖像測試程序的性能上甚至可達50%~100%的提升。此外，軟件優(yōu)化也是向量化非常重要的一個環(huán)節(jié)。程序的算法及指令調(diào)度優(yōu)化會對測試結(jié)果有影響，在針對性進行優(yōu)化調(diào)整之后，向量化的程度和整體性能都有明顯提升，這也是RISC-V Vector指令集軟件生態(tài)在實際應(yīng)用場景中需要不斷積累優(yōu)化的地方。