【導(dǎo)讀】最近，香港科技大學(xué)、上海AI Lab等多個(gè)組織聯(lián)合發(fā)布了一篇時(shí)間序列無(wú)監(jiān)督預(yù)訓(xùn)練的文章，相比原來(lái)的TS2Vec等時(shí)間序列表示學(xué)習(xí)工作，核心在于提出了將空間信息融入到預(yù)訓(xùn)練階段，即在預(yù)訓(xùn)練階段考慮各個(gè)序列之間的關(guān)系。因此，本文提出的方法更適合作為時(shí)空預(yù)測(cè)領(lǐng)域的預(yù)訓(xùn)練模型。下面為大家詳細(xì)介紹一下這篇文章。

摘要

相關(guān)時(shí)間序列分析在許多現(xiàn)實(shí)行業(yè)中扮演著重要的角色。為進(jìn)一步的下游任務(wù)學(xué)習(xí)這個(gè)大規(guī)模數(shù)據(jù)的有效表示是必要的，但也具有挑戰(zhàn)性。在本文中，我們提出了一個(gè)通過(guò)時(shí)空引導(dǎo)表示預(yù)測(cè)的單個(gè)實(shí)例的時(shí)間步長(zhǎng)級(jí)表示學(xué)習(xí)框架。我們?cè)u(píng)估了我們的表示學(xué)習(xí)框架在相關(guān)時(shí)間序列預(yù)測(cè)和將預(yù)測(cè)模型轉(zhuǎn)移到有限數(shù)據(jù)的新實(shí)例。在學(xué)習(xí)到的表示之上訓(xùn)練的線性回歸模型表明，我們的模型在大多數(shù)情況下表現(xiàn)最好。特別是與表示學(xué)習(xí)模型相比，我們?cè)赑eMS-BAY數(shù)據(jù)集上將RMSE、MAE和MAPE分別減少了37%、49%和48%。此外，在真實(shí)世界的地鐵客流數(shù)據(jù)中，我們的框架展示了傳輸以推斷新的冷啟動(dòng)實(shí)例的未來(lái)信息的能力，收益分別為15%、19%和18%。

1 背景

近年來(lái)，許多關(guān)于時(shí)間序列自監(jiān)督學(xué)習(xí)方法的研究仍存在幾個(gè)顯著的缺點(diǎn)：

最近的研究[13, 14]只學(xué)實(shí)例級(jí)表示，不適合點(diǎn)級(jí)任務(wù)，如預(yù)測(cè)和異常檢測(cè)。盡管它們?cè)谠S多時(shí)間序列下游任務(wù)（如分類和聚類）上成功。

當(dāng)前研究忽視不同實(shí)例間的相關(guān)性，學(xué)習(xí)相關(guān)時(shí)間序列的集成表示，難以轉(zhuǎn)移到現(xiàn)實(shí)世界的下游任務(wù)，例如子實(shí)例預(yù)測(cè)。

所有基于對(duì)比的方法（如TS2Vec）都對(duì)數(shù)據(jù)分布或?qū)嵗嚓P(guān)性做出假設(shè)，可能失去多樣性，并可能出現(xiàn)假陰性樣本。

(a)空間相關(guān)性：一個(gè)車站的客流通常受到其圖形鄰居的影響。

(b)每周周期模式的時(shí)間相關(guān)性與缺失數(shù)據(jù)問(wèn)題

圖1：相關(guān)時(shí)間序列的時(shí)空相關(guān)性的一個(gè)例子：[1]、[2]地鐵站的乘客流入。(a)空間相關(guān)性：相鄰車站的客流通常都很相似。(b)時(shí)間相關(guān)性：一個(gè)車站的客流通常具有歷史時(shí)期的模式。此外，還觀察到缺失的數(shù)據(jù)。

為了解決這些挑戰(zhàn)，我們提出了一個(gè)通過(guò)時(shí)空引導(dǎo)的相關(guān)時(shí)間序列表示學(xué)習(xí)框架。本文的主要貢獻(xiàn)總結(jié)如下：

我們構(gòu)建了一個(gè)學(xué)習(xí)框架，用于學(xué)習(xí)任意實(shí)例在任何時(shí)間步長(zhǎng)內(nèi)的點(diǎn)級(jí)表示。這具有靈活性，所學(xué)習(xí)到的表示法可以被微調(diào)用于1) 相關(guān)的時(shí)間序列預(yù)測(cè)，以及2) 用于新實(shí)例的轉(zhuǎn)移任務(wù)，而無(wú)需重新訓(xùn)練預(yù)測(cè)模型。為了捕捉空間和時(shí)間上的相關(guān)性，我們?cè)谧员O(jiān)督學(xué)習(xí)框架中利用了來(lái)自預(yù)定義相鄰矩陣的歷史數(shù)據(jù)和相鄰信息。

為了避免在時(shí)間序列數(shù)據(jù)的對(duì)比學(xué)習(xí)范式中經(jīng)常出現(xiàn)的假陰性，我們?cè)谀Ｐ椭屑尤肓艘粋€(gè)沒有負(fù)樣本的自監(jiān)督學(xué)習(xí)框架。我們定義了空間和時(shí)間目標(biāo)，并使用蒙版視圖來(lái)預(yù)測(cè)目標(biāo)的表示，以學(xué)習(xí)相關(guān)性。

我們根據(jù)實(shí)際數(shù)據(jù)不同下游任務(wù)的結(jié)果和分析，展示了表示學(xué)習(xí)框架的有效性和靈活性。我們對(duì)預(yù)測(cè)任務(wù)的評(píng)估顯示了具有可比性能的端到端解決方案，但我們的方法更靈活，可以轉(zhuǎn)移到進(jìn)入數(shù)據(jù)集的新實(shí)例，而無(wú)需重新訓(xùn)練模型。

2 相關(guān)工作

2.1預(yù)文本任務(wù)時(shí)間序列學(xué)習(xí)

通過(guò)設(shè)計(jì)各種預(yù)文本任務(wù)來(lái)提取有用的信息，以幫助模型在下游任務(wù)中表現(xiàn)良好。這些預(yù)文本任務(wù)包括遮蓋序列的重構(gòu)、相對(duì)定位、時(shí)間洗牌和對(duì)比預(yù)測(cè)編碼任務(wù)等。這些任務(wù)的目的是學(xué)習(xí)時(shí)間序列的有效表示，以便在下游任務(wù)中獲得更好的性能。此外，還有其他的預(yù)文本任務(wù)，如引導(dǎo)空間時(shí)間表示預(yù)測(cè)等。

2.2基于對(duì)比的時(shí)間序列學(xué)習(xí)

基于對(duì)比的時(shí)間序列學(xué)習(xí)是一種時(shí)間序列表示學(xué)習(xí)的方法，其中大多數(shù)方法都采用對(duì)比學(xué)習(xí)框架。這些方法通過(guò)構(gòu)建正負(fù)樣本對(duì)來(lái)進(jìn)行自監(jiān)督學(xué)習(xí)，其中對(duì)比損失試圖最大化正樣本對(duì)之間的相似性，同時(shí)最小化負(fù)樣本對(duì)之間的相似性。先前的研究提出了許多方法來(lái)選擇正負(fù)樣本對(duì)，以提高所學(xué)習(xí)表示的質(zhì)量。這些方法包括使用三元組損失隨機(jī)選擇時(shí)間段、使用對(duì)比預(yù)測(cè)編碼(CPC)等。這些方法的目的是學(xué)習(xí)時(shí)間序列的有效表示，以便在下游任務(wù)中獲得更好的性能。

3 方法

這邊主要介紹提出的模型框架。該模型的編碼器由三個(gè)組件組成：輸入投影層、擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)模塊和MLP預(yù)測(cè)器。對(duì)于每個(gè)輸入w，輸入投影層是一個(gè)全連接層，將時(shí)間戳t的觀測(cè)值xi,t映射到高維潛在向量z。然后，應(yīng)用具有十個(gè)殘差塊的擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)模塊來(lái)提取每個(gè)時(shí)間戳的上下文表示。每個(gè)擴(kuò)張卷積塊包含兩個(gè)1-D卷積層，具有擴(kuò)張參數(shù)（對(duì)于第l個(gè)塊為2的l次方）。擴(kuò)張卷積使不同領(lǐng)域具有大的感受野。在BYOL的思想下，通過(guò)預(yù)測(cè)視圖的不同目標(biāo)而不是對(duì)比來(lái)學(xué)習(xí)表示。在視圖和目標(biāo)通過(guò)全連接層f映射到高維潛在向量之后，使用兩個(gè)擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)器來(lái)預(yù)測(cè)從遮蓋視圖嵌入的潛在向量中的時(shí)空表示。

圖2：提出的一種相關(guān)時(shí)間序列的表示學(xué)習(xí)框架：主干由一個(gè)投影到高維空間的線性層，兩個(gè)具有不同參數(shù)的擴(kuò)張卷積編碼器和一個(gè)用于根據(jù)蒙版視圖嵌入的潛在向量來(lái)預(yù)測(cè)時(shí)空表示的預(yù)測(cè)器組成。

4實(shí)驗(yàn)結(jié)果

4.1相關(guān)的時(shí)間序列預(yù)測(cè)

下圖為本文提出的表示學(xué)習(xí)方法在時(shí)空預(yù)測(cè)數(shù)據(jù)集上的預(yù)測(cè)效果，可以看到相比TS2Vec，我們的方法有比較明顯的效果提升。這足以說(shuō)明我們提出的引入空間信息的對(duì)比學(xué)習(xí)，對(duì)于時(shí)空預(yù)測(cè)類型的問(wèn)題效果更好。

表1：所提方法和基線MAE、MAPE和RMSE（最好的加粗表示，下同）

我們?cè)赑EMS-BAY數(shù)據(jù)集上的性能優(yōu)于基于時(shí)空?qǐng)D的神經(jīng)網(wǎng)絡(luò)對(duì)PEMS-BAY數(shù)據(jù)集的短期預(yù)測(cè)。我們可以看到，與TS2Vec相比，我們的模型有更好的預(yù)測(cè)趨勢(shì)。

圖3.我們的模型和TS2Vec的一個(gè)典型預(yù)測(cè)切片可視化。

4.2 冷啟動(dòng)——將模型轉(zhuǎn)移到數(shù)據(jù)有限的新實(shí)例

如圖4所示，由于新的地鐵站的建設(shè)，地鐵網(wǎng)絡(luò)圖結(jié)構(gòu)會(huì)發(fā)生變化，同時(shí)這些新的地鐵站通常只有很少的歷史數(shù)據(jù)可用，因此預(yù)測(cè)它們的未來(lái)客流量會(huì)變得更加困難，這就是時(shí)間序列預(yù)測(cè)的"cold-start"問(wèn)題。我們提出的方法在大多數(shù)情況下都取得了最好的預(yù)測(cè)性能（表2）。

圖4新建地鐵站數(shù)據(jù)有限，也改變地鐵網(wǎng)絡(luò)圖（綠色突出顯示） 表2：新車站的城市地鐵：擬建方法的MAE、MAPE、RMSE及基線。

4.3 消融研究

為了驗(yàn)證我們的模型中時(shí)間和空間成分的有效性，我們比較了在METRLA數(shù)據(jù)集上不同超參數(shù)α值的模型性能。我們將α的值從0→1，時(shí)間間隔為0.25，其中α = 1意味著我們只使用歷史信息，而α = 0意味著我們只考慮空間依賴性。

表3：METR-LA對(duì)α不同值的消融結(jié)果

表3顯示，當(dāng)α=為0.5時(shí)，我們的模型在短期預(yù)測(cè)中表現(xiàn)最好。當(dāng)時(shí)間目標(biāo)的貢獻(xiàn)大于空間目標(biāo)時(shí)，或當(dāng)α=值為0.75時(shí)，該模型的長(zhǎng)期預(yù)測(cè)效果更好。

4.4 對(duì)丟失的數(shù)據(jù)具有魯棒性

我們以METR-LA數(shù)據(jù)集為例，以三個(gè)缺失率、20%、40%和60%的隨機(jī)缺失數(shù)據(jù)來(lái)評(píng)估預(yù)測(cè)性能。圖5顯示，在缺失率小于60%的情況下，我們的空間和時(shí)間目標(biāo)都是非常穩(wěn)健的。請(qǐng)注意，對(duì)于較小的α，如α = 0.25，預(yù)測(cè)性能比α = 0.75穩(wěn)定。這表明空間目標(biāo)的設(shè)計(jì)可以提高表示學(xué)習(xí)框架的魯棒性。

圖5：METR-LA數(shù)據(jù)集對(duì)不同缺失數(shù)據(jù)率和α的MAE