本文提出了一種適用于任意數(shù)據(jù)模態(tài)的自監(jiān)督學習數(shù)據(jù)增強技術。

自監(jiān)督學習算法在自然語言處理、計算機視覺等領域取得了重大進展。這些自監(jiān)督學習算法盡管在概念上是通用的，但是在具體操作上是基于特定的數(shù)據(jù)模態(tài)的。這意味著需要為不同的數(shù)據(jù)模態(tài)開發(fā)不同的自監(jiān)督學習算法。為此，本文提出了一種通用的數(shù)據(jù)增強技術，可以應用于任意數(shù)據(jù)模態(tài)。相較于已有的通用的自監(jiān)督學習，該方法能夠取得明顯的性能提升，同時能夠代替一系列為特定模態(tài)設計的復雜的數(shù)據(jù)增強方式并取得與之類似的性能。

簡介 當前 Siamese 表征學習 / 對比學習需要利用數(shù)據(jù)增強技術來構建同一個數(shù)據(jù)的不同樣本，并將其輸入兩個并行的網(wǎng)絡結構，從而產生足夠強的監(jiān)督信號。然而這些數(shù)據(jù)增強技術往往非常依賴于模態(tài)特定的先驗知識，通常需要手動設計或者搜索適用于當前模態(tài)的最佳組合。除了耗時耗力外，找到的最優(yōu)數(shù)據(jù)增強方式也極難遷移到別的領域。例如，常見的針對于自然 RGB 圖像的顏色抖動（color jittering）無法應用于除了自然圖像以外的其他數(shù)據(jù)模態(tài)。 一般性地，輸入數(shù)據(jù)可以被表征為由序列維度（sequential）和通道維度（channel）組成的二維向量。其中序列維度通常是模態(tài)相關的，例如圖像上的空間維度、語音的時間維度以及語言的句法維度。而通道維度是模態(tài)無關的。在自監(jiān)督學習中，masked modeling [1] 或者以 masking 作為數(shù)據(jù)增強 [2] 已經(jīng)成為一種有效的學習方式。然而這些操作都作用于序列維度。為了能夠廣泛應用于不同數(shù)據(jù)模態(tài)，本文提出一種作用于通道維度的數(shù)據(jù)增強手段：隨機量化（randomized quantization）。每個通道中的數(shù)據(jù)通過非均勻量化器進行動態(tài)量化，量化值是從隨機劃分的區(qū)間中隨機采樣的。通過這種方式，落在同一個區(qū)間內原始輸入的信息差被刪除，同時不同區(qū)間數(shù)據(jù)的相對大小被保留，從而達到 masking 的效果。

該方法在各種不同數(shù)據(jù)模態(tài)上超過了已有任意模態(tài)自監(jiān)督學習方法，包括自然圖像、3D 點云、語音、文本、傳感器數(shù)據(jù)、醫(yī)療圖像等。在多種預訓練學習任務中，例如對比學習（例如 MoCo-v3）和自蒸餾自監(jiān)督學習（例如 BYOL）都學到了比已有方法更優(yōu)的特征。該方法還經(jīng)過驗證，適用于不同的骨干網(wǎng)絡結構，例如 CNN 和 Transformer。 方法 量化（Quantization）指的是利用一組離散的數(shù)值表征連續(xù)數(shù)據(jù)，以便于數(shù)據(jù)的高效存儲、運算以及傳輸。然而，一般的量化操作的目標是在不損失精確度的前提下壓縮數(shù)據(jù)，因而該過程是確定性的，而且是設計為與原數(shù)據(jù)盡量接近的。這就限制了其作為增強手段的強度和輸出的數(shù)據(jù)豐富程度。 本文提出一種隨機量化操作（randomized quantization），將輸入的每個 channel 數(shù)據(jù)獨立劃分為多個互不重疊的隨機區(qū)間（），并將落在各個區(qū)間內的原始輸入映射到從該區(qū)間內隨機采樣的一個常數(shù)。 ?

隨機量化作為自監(jiān)督學習任務中 masking 通道維度數(shù)據(jù)的能力取決于以下三個方面的設計：1） 隨機劃分數(shù)值區(qū)間；2） 隨機采樣輸出值以及 3）劃分的數(shù)值區(qū)間個數(shù)。 具體而言，隨機的過程帶來了更加豐富的樣本，同一個數(shù)據(jù)每次執(zhí)行隨機量化操作都可以生成不同的數(shù)據(jù)樣本。同時，隨機的過程也帶來對原始數(shù)據(jù)更大的增強力度，例如隨機劃分出大的數(shù)據(jù)區(qū)間，或者當映射點偏離區(qū)間中值點時，都可以導致落在該區(qū)間的原始輸入和輸出之間的更大差異。 除此之外，也可以非常容易地通過適當減少劃分區(qū)間的個數(shù)，提高增強力度。這樣，當應用于 Siamese 表征學習的時候，兩個網(wǎng)絡分支就可以見到有足夠信息差異的輸入數(shù)據(jù)，從而構建足夠強的學習信號，幫助到特征學習。 下圖可視化了不同數(shù)據(jù)模態(tài)在使用了該數(shù)據(jù)增強方式之后的效果：

實驗結果模態(tài) 1：圖像 本文在 ImageNet-1K 數(shù)據(jù)集上評估了 randomized quantization 應用于 MoCo-v3 和 BYOL 的效果，評測指標為 linear evaluation。當作為唯一的數(shù)據(jù)增強方式單獨使用的時候，即將本文的 augmentation 應用于原始圖像的 center crop，以及和常見的 random resized crop（RRC）配合使用的時候，該方法都取得了比已有通用自監(jiān)督學習方法更好的效果。

相比于已有的針對圖像數(shù)據(jù)開發(fā)的數(shù)據(jù)增強方式，例如 color jittering （CJ），本文的方法有著明顯的性能優(yōu)勢。同時，該方法也可以取代 MoCo-v3/BYOL 中一系列復雜的數(shù)據(jù)增強方式（Full），包括顏色抖動（color jittering）、隨機灰度化（gray scale）、隨機高斯模糊（Gaussian blur）、隨機曝光（solarization），并達到與復雜數(shù)據(jù)增強方式類似的效果。

模態(tài) 2：3D 點云 本文還在 ModelNet40 數(shù)據(jù)集的分類任務和 ShapeNet Part 數(shù)據(jù)集的分割任務上驗證了 randomized quantization 相對于已有自監(jiān)督工作的優(yōu)越性。尤其在下游訓練集數(shù)據(jù)量較少的情況下，本文的方法顯著超過已有點云自監(jiān)督算法。

模態(tài) 3：語音 在語音數(shù)據(jù)集上本文的方法也取得了比已有自監(jiān)督學習方法更優(yōu)的性能。本文在六個下游數(shù)據(jù)集上驗證了該方法的優(yōu)越性，其中在最難的數(shù)據(jù)集 VoxCeleb1 上（包含最多且遠超其他數(shù)據(jù)集的類別個數(shù)），本文方法取得了顯著的性能提升（5.6 個點）。

模態(tài) 4：DABS DABS 是一個模態(tài)通用自監(jiān)督學習的基準，涵蓋了多種模態(tài)數(shù)據(jù)，包括自然圖像、文本、語音、傳感器數(shù)據(jù)、醫(yī)學圖像、圖文等。在 DABS 涵蓋的多種不同模態(tài)數(shù)據(jù)上，我們的方法也優(yōu)于已有的任意模態(tài)自監(jiān)督學習方式。

審核編輯：彭菁