在人工智能領(lǐng)域，目前有很多工作采用自回歸方法來模擬或是替代擴散模型，其中視覺自回歸建模（Visual AutoRegressive modeling，簡稱 VAR）就是其中的典型代表，該工作利用自回歸取得了比傳統(tǒng)基于噪聲的擴散模型更好的生成效果，并且獲得了人工智能頂級會議 NeurIPS 2024 的 best paper。

然而在時間序列預測領(lǐng)域，當前主流的擴散方法還是傳統(tǒng)的基于噪聲的方法，未能充分利用自回歸技術(shù)實現(xiàn)時間序列建模。

近期，來自上海交通大學和東方理工的研究團隊推出了自回歸移動擴散（Auto-Regressive Moving Diffusion，簡稱 ARMD）模型。ARMD 模型受經(jīng)典的自回歸移動平均（ARMA）理論啟發(fā)，重新定義了時間序列的擴散過程：如圖一所示，與傳統(tǒng)的基于噪聲的擴散方法不同，

ARMD 將時間序列的演進看成是一個擴散過程，并采用了基于鏈式擴散的方式。它的前向過程由未來序列擴散到歷史序列，并根據(jù)擴散步數(shù)通過滑動序列的操作生成中間狀態(tài)；反向過程則通過歷史序列‘采樣’生成未來序列，實現(xiàn)了采樣和預測目標的統(tǒng)一。

▲ 圖1. 已有的基于噪聲的時序擴散方法和ARMD的時序擴散方法對比

相比于傳統(tǒng)基于擴散的時序模型，ARMD 并沒有將時間序列預測視為從噪聲起步的條件生成任務(wù)，而是充分利用時間序列數(shù)據(jù)的連續(xù)演化特性，實現(xiàn)了擴散機制與時間序列連續(xù)性之間的對齊，從而提升了模型性能。

該項研究以《Auto-Regressive Moving Diffusion Models for Time Series Forecasting》為題，被 AAAI 2025 接收。

論文題目：

Auto-Regressive Moving Diffusion Models for Time Series Forecasting

論文鏈接：

https://arxiv.org/abs/2412.09328

代碼鏈接：

https://github.com/daxin007/ARMD

方法介紹 針對時序預測任務(wù)，該研究用歷史序列去預測未來序列，其中 L 為歷史序列的長度，T 為未來序列的長度。在該任務(wù)中，研究人員將歷史序列的長度設(shè)置為與未來序列相同，即。 在 ARMD 中，時間序列的演進被概念化為一個擴散過程，時間序列的每一步都可以看成是擴散模型的一個狀態(tài)，如圖二所示。 未來序列（下標表示在序列中的位置，上標表示在擴散模型中的狀態(tài)）作為前向擴散（演進）過程的初始狀態(tài)，而歷史序列則是最終狀態(tài)。 不同于傳統(tǒng)方法逐漸添加噪聲生成中間狀態(tài)，ARMD 通過對進行滑動操作來生成中間狀態(tài)（序列），使其逐漸接近歷史序列。 這一過程不僅保持了時間序列的連續(xù)性，還確保每個中間狀態(tài)反映了時間序列演進的特定階段。由初始狀態(tài)到中間狀態(tài)添加的內(nèi)容可以定義為演進趨勢，類似于傳統(tǒng)擴散模型中的噪聲。 反向去噪（逆演進）過程則利用歷史序列來迭代生成（預測）未來序列。ARMD 采用了一個基于距離的去噪（逆演進）網(wǎng)絡(luò)，根據(jù)中間狀態(tài)和時間步 t 得到時間序列的演進趨勢。

▲ 圖2. ARMD 擴散模型示意圖。在前向擴散（演進）過程中，未來序列逐漸被轉(zhuǎn)化為歷史序列。相反，反向去噪（反演進）過程則利用歷史序列迭代地生成 / 預測未來序列。

在最終的采樣（預測階段），ARMD 從歷史序列開始，迭代生成對未來序列的預測，使采樣過程和最終的時間序列預測目標對齊，從而使 ARMD 成為無條件的時序擴散模型。采樣過程遵循 DDIM（Denoising Diffusion Implicit Models）的方法，用預測的演進趨勢替代傳統(tǒng)擴散模型中預測的噪聲，并通過逐步去噪（反演進）得到對模型的最終預測。

模型結(jié)果 經(jīng)過在七個廣泛使用的時序預測數(shù)據(jù)集上的大量實驗，ARMD 模型的表現(xiàn)超越了現(xiàn)有的基于擴散的時間序列預測模型，并且和最先進的端到端時間序列預測模型取得了相當?shù)男Ч?。模型的預測結(jié)果如表一和表二所示：

▲ 表1. 時間序列預測實驗之與基于擴散的時間序列預測基準模型的結(jié)果比較。最佳結(jié)果以粗體突出顯示?！白罴汛螖?shù)” 列表明模型取得最佳結(jié)果的次數(shù)。

▲ 表2. 時間序列預測實驗之與端對端時間序列預測基準模型的結(jié)果比較。最佳結(jié)果以粗體突出顯示?！白罴汛螖?shù)” 列表明模型取得最佳結(jié)果的次數(shù)。 另外，由于擴散過程的優(yōu)化，ARMD 模型在訓練推理時間和預測的穩(wěn)定性方面相對于之前的時序擴散模型也有明顯的優(yōu)勢。ARMD 模型的預測效果示例如圖三所示：ARMD 在具有明顯周期性或趨勢特征的時間序列上展現(xiàn)了卓越的預測性能，能夠有效地捕捉這些時間序列中的相關(guān)特征，且相對于其他擴散模型預測更加穩(wěn)定。

總結(jié)綜上所述，Auto-Regressive Moving Diffusion (ARMD) 模型通過重新詮釋時間序列的擴散過程，結(jié)合時間序列的自回歸特性，成功彌合了擴散機制與時間序列預測目標之間的差距。 不同于傳統(tǒng)方法從白噪聲開始逐步添加噪聲，ARMD 采用鏈式擴散策略，通過滑動操作將未來序列逐漸轉(zhuǎn)化為歷史序列，更準確地模擬時間序列的演化路徑。該模型還引入了獨特的反向去噪（逆演化）過程，利用歷史序列迭代生成（預測）未來序列，有效捕捉時間序列的特征。實驗結(jié)果和理論分析共同證明了 ARMD 作為一種穩(wěn)健且有效的時間序列預測方案的巨大潛力。

▲ 圖3. ARMD 和 Diffusion-TS 在給定相同歷史序列的情況下，分別做出的 10 次不同預測的分布情況。ARMD 實現(xiàn)了更穩(wěn)定且準確的預測。