2025年伊始，后摩智能在三大國際頂會（AAAI、ICLR、DAC）中斬獲佳績，共有5篇論文被收錄，覆蓋大語言模型（LLM）推理優(yōu)化、模型量化、硬件加速等前沿方向。

AAAI作為人工智能領(lǐng)域的綜合性頂級會議，聚焦AI基礎(chǔ)理論與應(yīng)用創(chuàng)新；ICLR作為深度學(xué)習(xí)領(lǐng)域的權(quán)威會議，專注于表示學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)架構(gòu)和優(yōu)化方法等基礎(chǔ)技術(shù)；DAC則是電子設(shè)計自動化（EDA）領(lǐng)域最重要的國際學(xué)術(shù)會議之一，涵蓋半導(dǎo)體設(shè)計、計算機體系結(jié)構(gòu)、硬件加速、芯片設(shè)計自動化、低功耗計算、可重構(gòu)計算以及AI在芯片設(shè)計中的應(yīng)用等方向。以下為后摩智能本年度入選論文概述：

01【AAAI-2025】Pushing the Limits of BFP on Narrow Precision LLM Inference

?論文鏈接：https://arxiv.org/abs/2502.00026

大語言模型（LLMs）在計算和內(nèi)存方面的巨大需求阻礙了它們的部署。塊浮點（BFP）已被證明在加速線性運算（LLM 工作負(fù)載的核心）方面非常有效。然而，隨著序列長度的增長，非線性運算（如注意力機制）由于其二次計算復(fù)雜度，逐漸成為性能瓶頸。這些非線性運算主要依賴低效的浮點格式，導(dǎo)致軟件優(yōu)化困難和硬件開銷較高。

在本論文中，我們深入研究了BFP在非線性運算中的局限性和潛力?；谘芯拷Y(jié)果，我們提出了一種軟硬件協(xié)同設(shè)計框架（DB-Attn），其中包括：

DBFP：一種先進(jìn)的 BFP 變體，采用樞軸聚焦策略（pivot-focus strategy）以適應(yīng)不同數(shù)據(jù)分布，并采用自適應(yīng)分組策略（adaptive grouping strategy）以實現(xiàn)靈活的指數(shù)共享，從而克服非線性運算的挑戰(zhàn)。

DH-LUT：一種創(chuàng)新的查找表（LUT）算法，專門用于基于 DBFP 格式加速非線性運算。

基于DBFP的硬件引擎：我們實現(xiàn)了一個RTL級的DBFP 計算引擎，支持FPGA和ASIC部署。

實驗結(jié)果表明，DB-Attn在LLaMA的Softmax運算上實現(xiàn)了 74%的GPU加速，并在與SOTA設(shè)計相比，計算開銷降低10 倍，同時保持了可忽略的精度損失。

02【ICLR-2025】OSTQuant: Refining Large Language Model Quantization with Orthogonal and Scaling Transformations for Better Distribution Fitting

?論文鏈接：https://arxiv.org/abs/2501.13987

后訓(xùn)練量化（Post-Training Quantization, PTQ）已成為廣泛采用的技術(shù)，用于壓縮和加速大語言模型（LLMs）。LLM量化的主要挑戰(zhàn)在于，數(shù)據(jù)分布的不均衡性和重尾特性會擴(kuò)大量化范圍，從而減少大多數(shù)值的比特精度。近年來，一些方法嘗試通過線性變換來消異常值并平衡通道間差異，但這些方法仍然具有啟發(fā)性，往往忽略了對整個量化空間內(nèi)數(shù)據(jù)分布的優(yōu)化。

在本文中，我們引入了一種新的量化評估指標(biāo)——量化空間利用率（QSUR, Quantization Space Utilization Rate），該指標(biāo)通過衡量數(shù)據(jù)在量化空間中的利用情況，有效評估數(shù)據(jù)的量化能力。同時，我們通過數(shù)學(xué)推導(dǎo)分析了各種變換的影響及其局限性，為優(yōu)化量化方法提供了理論指導(dǎo)，并提出了基于正交和縮放變換的量化方法（OSTQuant）。

OSTQuant 采用 可學(xué)習(xí)的等效變換，包括正交變換和縮放變換，以優(yōu)化權(quán)重和激活值在整個量化空間中的分布。此外，我們提出了KL-Top損失函數(shù)，該方法在優(yōu)化過程中減少噪聲，同時在 PTQ 限制的校準(zhǔn)數(shù)據(jù)下保留更多語義信息。

實驗結(jié)果表明，OSTQuant在各種 LLM 和基準(zhǔn)測試上均優(yōu)于現(xiàn)有方法。在W4-only 量化設(shè)置下，它保留了99.5%的浮點精度。在更具挑戰(zhàn)性的W4A4KV4量化配置中，OSTQuant在 LLaMA-3-8B 模型上的性能差距相比SOTA方法減少了32%。

03【ICLR-2025】MambaQuant：Quantizing the Mamba Family with Variance Aligned Rotation Methods

?論文鏈接：https://arxiv.org/abs/2501.13484

Mamba是一種高效的序列模型，其性能可與Transformer相媲美，并在各種任務(wù)中展現(xiàn)出作為基礎(chǔ)架構(gòu)的巨大潛力。量化（Quantization）通常用于神經(jīng)網(wǎng)絡(luò)，以減少模型大小并降低計算延遲。然而，對于Mamba進(jìn)行量化的研究仍然較少，而現(xiàn)有的量化方法——盡管在CNN和Transformer模型上表現(xiàn)良好——在Mamba模型上的效果卻不理想（例如，即使在W8A8 設(shè)置下，Quarot 在Vim-T?上的準(zhǔn)確率仍下降了 21%）。

我們率先對這一問題進(jìn)行了深入研究，并識別出了幾個關(guān)鍵挑戰(zhàn)。首先，在門控投影（gate projections）、輸出投影（output projections）和矩陣乘法（matrix multiplications）中存在顯著的異常值（outliers）。其次，Mamba 獨特的并行掃描（Parallel Scan, PScan）進(jìn)一步放大了這些異常值，導(dǎo)致數(shù)據(jù)分布不均衡且具有重尾特性（heavy-tailed distributions）。第三，即便應(yīng)用 Hadamard 變換，不同通道中的權(quán)重和激活值的方差仍然不一致。

為了解決這些問題，我們提出了MambaQuant，一個后訓(xùn)練量化（PTQ）框架，其中包括：

KLT 增強旋轉(zhuǎn)（Karhunen-Loeve Transformation, KLT-Enhanced Rotation）：將 Hadamard 變換與 KLT 結(jié)合，使得旋轉(zhuǎn)矩陣能夠適應(yīng)不同通道分布。

平滑融合旋轉(zhuǎn)（Smooth-Fused Rotation）：均衡通道方差，并可將額外參數(shù)合并到模型權(quán)重中。

實驗表明，MambaQuant 能夠在Mamba視覺和語言任務(wù)中將權(quán)重和激活量化至8-bit，且準(zhǔn)確率損失低于1%。據(jù)我們所知，MambaQuant是首個專門針對 Mamba家族的全面PTQ方案，為其未來的應(yīng)用和優(yōu)化奠定了基礎(chǔ)。

04【DAC-2025】BBAL: A Bidirectional Block Floating Point-Based Quantisation Accelerator for Large Language Models

大語言模型（LLMs）由于其包含數(shù)十億參數(shù)，在部署于邊緣設(shè)備時面臨內(nèi)存容量和計算資源的巨大挑戰(zhàn)。塊浮點（BFP）量化通過將高開銷的浮點運算轉(zhuǎn)換為低比特的定點運算，從而減少內(nèi)存和計算開銷。然而，BFP需要將所有數(shù)據(jù)對齊到最大指數(shù)（max exponent），這會導(dǎo)致小值和中等值的丟失，從而引入量化誤差，導(dǎo)致LLMs 的精度下降。

為了解決這一問題，我們提出了一種雙向塊浮點（BBFP, Bidirectional Block Floating-Point）數(shù)據(jù)格式，該格式降低了選擇最大指數(shù)作為共享指數(shù)的概率，從而減少量化誤差。利用 BBFP 的特性，我們進(jìn)一步提出了一種基于雙向塊浮點的量化加速器（BBAL），它主要包括一個基于BBFP 的處理單元（PE）陣列，并配備我們提出的高效非線性計算單元。

實驗結(jié)果表明，與基于異常值感知（outlier-aware）的加速器相比，BBAL在相似計算效率下，精度提升22%；同時，與傳統(tǒng)BFP量化加速器相比，BBAL在相似精度下計算效率提升 40%。

05【DAC-2025】NVR: Vector Runahead on NPUs for Sparse Memory Access

深度神經(jīng)網(wǎng)絡(luò)（DNNs）越來越多地利用稀疏性來減少模型參數(shù)規(guī)模的擴(kuò)展。然而，通過稀疏性和剪枝來減少實際運行時間仍然面臨挑戰(zhàn)，因為不規(guī)則的內(nèi)存訪問模式會導(dǎo)致頻繁的緩存未命中（cache misses）。在本文中，我們提出了一種專門針對NPU（神經(jīng)處理單元）設(shè)計的預(yù)取機制——NPU向量超前執(zhí)行（NVR, NPU Vector Runahead），用于解決稀疏DNN任務(wù)中的緩存未命中問題。與那些通過高開銷優(yōu)化內(nèi)存訪問模式但可移植性較差的方法不同，NVR 采用超前執(zhí)行（runahead execution），并針對NPU 架構(gòu)的特點進(jìn)行適配。

NVR 提供了一種通用的微架構(gòu)級解決方案，能夠無需編譯器或算法支持地優(yōu)化稀疏DNN任務(wù)。它以分離、推測性（speculative）、輕量級的硬件子線程的形式運行，并行于 NPU，且額外的硬件開銷低于5%。

實驗結(jié)果表明，NVR 將L2緩存未命中率降低了90%（相比最先進(jìn)的通用處理器預(yù)取機制），并在稀疏任務(wù)上使NPU計算速度提升4倍（與無預(yù)取 NPU 相比）。此外，我們還研究了在NPU 中結(jié)合小型緩存（16KB）與NVR預(yù)取的優(yōu)勢。我們的評估表明，增加這一小型緩存的性能提升效果比等量擴(kuò)展L2緩存高5倍。

這5篇論文聚焦于大語言模型的優(yōu)化、量化和硬件加速等關(guān)鍵技術(shù)，從算法創(chuàng)新到硬件適配，系統(tǒng)性地展現(xiàn)了后摩智能在AI軟硬件協(xié)同領(lǐng)域的深厚積累。研究成果從計算效率、能效優(yōu)化和部署靈活性等多個維度，突破了大模型高效部署的技術(shù)瓶頸，為邊緣計算場景下的大模型壓縮與加速提供了創(chuàng)新性解決方案。期待這些工作能夠為大模型在端邊側(cè)的高效部署提供新范式，推動通用智能向更普惠、更可持續(xù)的方向演進(jìn)。

接下來，我們將對5篇論文展開深度解析，詳細(xì)探討每篇論文的技術(shù)細(xì)節(jié)、創(chuàng)新點等，敬請關(guān)注。