Contrastive Loss簡(jiǎn)介

對(duì)比損失在非監(jiān)督學(xué)習(xí)中應(yīng)用很廣泛。最早源于 2006 年Yann LeCun的“Dimensionality Reduction by Learning an Invariant Mapping”，該損失函數(shù)主要是用于降維中，即本來(lái)相似的樣本，在經(jīng)過(guò)降維（特征提?。┖?，在特征空間中，兩個(gè)樣本仍舊相似；而原本不相似的樣本，在經(jīng)過(guò)降維后，在特征空間中，兩個(gè)樣本仍舊不相似。同樣，該損失函數(shù)也可以很好的表達(dá)成對(duì)樣本的匹配程度。

在非監(jiān)督學(xué)習(xí)時(shí)，對(duì)于一個(gè)數(shù)據(jù)集內(nèi)的所有樣本，因?yàn)槲覀儧](méi)有樣本真實(shí)標(biāo)簽，所以在對(duì)比學(xué)習(xí)框架下，通常以每張圖片作為單獨(dú)的語(yǔ)義類別，并假設(shè)：同一個(gè)圖片做不同變換后不改變其語(yǔ)義類別，比如一張貓的圖片，旋轉(zhuǎn)或局部圖片都不能改變其貓的特性。

因此，假設(shè)對(duì)于原始圖片 X，分別對(duì)其做不同變換得到 A 和 B，此時(shí)對(duì)比損失希望 A、B 之間的特征距離要小于 A 和任意圖片 Y 的特征距離。

Contrastive Loss定義

定義對(duì)比損失函數(shù) L 為：

其中，

代表兩個(gè)樣本特征的歐式距離， 代表特征的維度， 為兩個(gè)樣本是否匹配的標(biāo)簽（ 代表兩個(gè)樣本相似或匹配， 代表兩個(gè)樣本不相似或不匹配）， 為設(shè)定的閾值（超過(guò) 的把其 loss 看作 0，即如果兩個(gè)不相似特征離得很遠(yuǎn)，那么對(duì)比 loss 應(yīng)該是很低的）， 為樣本數(shù)量。

通過(guò)

可以發(fā)現(xiàn)，對(duì)比損失可以很好的描述成對(duì)樣本的匹配程度，可以很好的用于訓(xùn)練提取特征的模型：

當(dāng) 時(shí)，即兩個(gè)樣本相似或匹配時(shí)，損失函數(shù) ，即如果原本相似或匹配的樣本如果其被模型提取的特征歐氏距離很大，說(shuō)明模型效果不好導(dǎo)致 loss 很大。 當(dāng) 時(shí)，即兩個(gè)樣本不相似或不匹配時(shí)，損失函數(shù) ，如果這時(shí)兩個(gè)樣本被模型提取的特征歐式距離很小，那么 loss 會(huì)變大以增大模型的懲罰從而使 loss 減小，如果兩個(gè)樣本被模型提取的特征歐式距離很大，說(shuō)明兩個(gè)樣本特征離得很遠(yuǎn)，此時(shí)如果超過(guò)閾值 則把其 loss 看作 0，此時(shí)的 loss 很小。

應(yīng)用了對(duì)比損失的工作小結(jié)

論文標(biāo)題：Improved Deep Metric Learning with Multi-class N-pair Loss Objective

論文地址：

https://proceedings.neurips.cc/paper/2016/file/6b180037abbebea991d8b1232f8a8ca9-Paper.pdf

N-pair loss，需要從 N 個(gè)不同的類中構(gòu)造 N 對(duì)樣本，自監(jiān)督學(xué)習(xí)。

本文是基于 Distance metric learning，目標(biāo)是學(xué)習(xí)數(shù)據(jù)表征，但要求在 embedding space 中保持相似的數(shù)據(jù)之間的距離近，不相似的數(shù)據(jù)之間的距離遠(yuǎn)。 其實(shí)在諸如人臉識(shí)別和圖片檢索的應(yīng)用中，就已經(jīng)使用了 contrastive loss 和 triplet loss，但仍然存在一些問(wèn)題，比如收斂慢，陷入局部最小值，相當(dāng)部分原因就是因?yàn)閾p失函數(shù)僅僅只使用了一個(gè) negative 樣本，在每次更新時(shí)，與其他的 negative 的類沒(méi)有交互。之前 LeCun 提出的對(duì)比損失只考慮輸入成對(duì)的樣本去訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)去預(yù)測(cè)它們是否屬于同一類，上文已經(jīng)解釋了對(duì)比損失。 Triplet loss（三元損失函數(shù)）是 Google 在 2015 年發(fā)表的 FaceNet 論文中提出的，與前文的對(duì)比損失目的是一致的，具體做法是考慮到 query 樣本和 postive 樣本的比較以及 query 樣本和 negative 樣本之間的比較，Triplet Loss 的目標(biāo)是使得相同標(biāo)簽的特征在空間位置上盡量靠近，同時(shí)不同標(biāo)簽的特征在空間位置上盡量遠(yuǎn)離，同時(shí)為了不讓樣本的特征聚合到一個(gè)非常小的空間中要求對(duì)于同一類的兩個(gè)正例和一個(gè)負(fù)例，負(fù)例應(yīng)該比正例的距離至少遠(yuǎn) m(margin)：

該 loss 將促使 query 樣本和 positive 樣本之間的距離比 query 樣本和 negative 樣本之間的距離大于 m(margin)。

▲ 可以看出經(jīng)過(guò) Triplet loss 學(xué)習(xí)以后同類的 Positive 樣本和 Anchor 的距離越來(lái)越近而不同類的 Negative 樣本和 Anchor 的距離越來(lái)越遠(yuǎn)。

但是三元損失函數(shù)考慮的 negative 樣本太少了，收斂慢，因此，本文提出了一個(gè)考慮多個(gè) negative 樣本的方法：(N+1)-tuplet loss，即訓(xùn)練樣本為樣本 x 以及（N-1）個(gè) negative 樣本和一個(gè) positive 樣本，當(dāng) N=2 時(shí)，即是 triplet loss。訓(xùn)練樣本為 ： 是一個(gè) positive 樣本， 是（N-1）個(gè) negative 樣本。

由圖所示（藍(lán)色代表 positive 樣本，紅色代表 negative 樣本），Triplet loss 在將 positive 樣本拉近的同時(shí)一次只能推離一個(gè) negative 樣本；而 (N+1)-tuplet loss 基于樣本之間的相似性，一次可以將（N-1）個(gè) negative 樣本推離（提高了收斂速度），而且 N 的值越大，負(fù)樣本數(shù)越多，近似越準(zhǔn)確。 但是如果直接采用 (N+1)-tuplet loss，batch size 為 N，那么一次更新需要傳遞 Nx（N+1）個(gè)樣本，網(wǎng)絡(luò)層數(shù)深的時(shí)候會(huì)有問(wèn)題，為了避免過(guò)大的計(jì)算量，本文提出了N-pair loss，如下圖：

N-pair loss 其實(shí)就是重復(fù)利用了 embedding vectors 的計(jì)算來(lái)作為 negative 樣本（把其他樣本的正樣本作為當(dāng)前樣本的負(fù)樣本，這樣就不用重復(fù)計(jì)算不同樣本的負(fù)樣本，只需要計(jì)算 N 次即可得出），避免了每一行都要計(jì)算新的 negative 樣本的 embedding vectors，從而將 的計(jì)算量降低為 2N（batch size=N，需要計(jì)算 N 次，之前計(jì)算負(fù)樣本需要計(jì)算 N 次，所以計(jì)算量=N+N=2N）。 上述文章的亮點(diǎn)在于，首先提出了需要在三元損失函數(shù)中加入更多的負(fù)樣本提高收斂速度，然后又想到了一種方式通過(guò)將其他樣本的正樣本當(dāng)作當(dāng)前樣本的負(fù)樣本的方法降低了計(jì)算復(fù)雜度。

論文標(biāo)題：Unsupervised Feature Learning via Non-Parametric Instance Discrimination

論文地址：

https://arxiv.org/pdf/1805.01978.pdf

Instance discrimination 區(qū)分不同實(shí)例，將當(dāng)前實(shí)例于不同實(shí)例進(jìn)行空間劃分 memory bank 由數(shù)據(jù)集中所有樣本的表示組成。 本文將 instance discrimination 機(jī)智地引入了 memory bank 機(jī)制，并且真正地把 loss 用到了 unsupervised learning。該論文主要論述如何通過(guò)非參數(shù)的 instance discrimination 進(jìn)行無(wú)監(jiān)督的特征學(xué)習(xí)。主要的思想是將每個(gè)單一實(shí)例都看作不同的“類”。

通過(guò) CNN backbone，原始圖片輸入網(wǎng)絡(luò)后輸出一個(gè)經(jīng)過(guò) L2 標(biāo)準(zhǔn)化的 128 維向量，通過(guò) Non-Parametric Softmax Classifier 計(jì)算每個(gè)單一樣本被識(shí)別正確的概率，同時(shí)使用Memory Bank存儲(chǔ)特征向量，通過(guò) NCE（noise-contrastive estimation，噪音對(duì)比估計(jì)）來(lái)近似估計(jì) softmax 的數(shù)值減少計(jì)算復(fù)雜度，最后使用 Proximal Regularization 穩(wěn)定訓(xùn)練過(guò)程的波動(dòng)性。 實(shí)例間的相似度直接從特征中以非參數(shù)方式計(jì)算，即：每個(gè)實(shí)例的特征存儲(chǔ)在離散的 bank 中，而不是網(wǎng)絡(luò)的權(quán)重。

噪聲對(duì)比估計(jì)是一種采樣損失，通常用于訓(xùn)練具有較大輸出詞匯量的分類器。在大量可能的類上計(jì)算 softmax 開(kāi)銷非常大。使用 NCE，我們可以通過(guò)訓(xùn)練分類器從“真實(shí)”分布和人工生成的噪聲分布中區(qū)分樣本，從而將問(wèn)題簡(jiǎn)化為二分類問(wèn)題。

因此，主要有以下三個(gè)問(wèn)題需要考慮：

● 能否僅通過(guò)特征表示來(lái)區(qū)分不同的實(shí)例。

●能否通過(guò)純粹的判別學(xué)習(xí)（discriminative learning）反應(yīng)樣本間的相似性。

●將不同個(gè)例都看作不同的“類”，那這個(gè)數(shù)量將是巨大的，該如何進(jìn)行處理。

Non-Parametric Softmax Classifier

采用 softmax 的 instance-level 的分類目標(biāo)，假如有 n 個(gè) images ，即有 n 個(gè)類，，它們的特征為 。傳統(tǒng)的 parametric 的softmax 可以表示為：

其中 是類別j的權(quán)重向量， 用來(lái)評(píng)價(jià) v 與第 j 個(gè)實(shí)例的匹配程度。這種 loss 的問(wèn)題是權(quán)重向量只是作為一種類的 prototype，而無(wú)法對(duì)實(shí)例之間進(jìn)行明確的比較。所以本文通過(guò)替換 為 ，并且限制 ，可以得到一種 non-parametric 的 softmax 函數(shù)，這樣就不用訓(xùn)練權(quán)重參數(shù)：

是 temperature 參數(shù)，控制 softmax 的平滑程度。 非參數(shù)的 softmax 主要思路是每個(gè)樣本特征除了可以作為特征之外，也可以起到分類器的作用。因?yàn)?L2-norm 之后的特征乘積本身就等于 cos 相似性，。學(xué)習(xí)的目標(biāo)就是最大化 joint probability：

，即每一個(gè) 越大越好，也等同于最小化 negative log-likelihood：

使用 Mermory Bank V 來(lái)存儲(chǔ)上述的 ，在每個(gè) iteration 對(duì)應(yīng)修改其值 ，在初始化時(shí)通過(guò)單位隨機(jī)向量對(duì) V 進(jìn)行初始化。

NCE Loss 如果直接用上述的 loss function 去訓(xùn)練，當(dāng)類的數(shù)量n很大時(shí)，要求的計(jì)算量非常大，于是使用 NCE 來(lái)估算。其基本思想是將多分類問(wèn)題轉(zhuǎn)化為一組二分類問(wèn)題，其中二分類任務(wù)是區(qū)分?jǐn)?shù)據(jù)樣本和噪聲樣本。關(guān)于對(duì) NCE loss 的理解如下：

當(dāng)我們?cè)O(shè)計(jì)一個(gè)模型來(lái)擬合數(shù)據(jù)時(shí)，經(jīng)常會(huì)遇上指數(shù)族分布：

其中分母部分是歸一化常數(shù)，一個(gè)目的是用來(lái)讓這個(gè)分布真的成為一個(gè)“分布”要求（分布積分=1）。很多時(shí)候，比如計(jì)算一個(gè)巨大（幾十上百萬(wàn)詞）的詞表在每一個(gè)詞上的概率得分的時(shí)候，計(jì)算這個(gè)分母會(huì)變得非常非常非常消耗資源。

比如一個(gè) language model 最后 softmax 層中，在 inference 階段其實(shí)只要找到 argmax 的那一項(xiàng)就夠了，并不需要?dú)w一化，但在 training stage，由于分母Z中是包含了模型參數(shù)的，所以也要一起參與優(yōu)化，所以這個(gè)計(jì)算省不了。

而 NCE 做了一件很 intuitive 的事情：用負(fù)樣本采樣的方式，不計(jì)算完整的歸一化項(xiàng)。讓模型通過(guò)負(fù)樣本，估算出真實(shí)樣本的概率，從而在真實(shí)樣本上能做得了極大似然。相當(dāng)于把任務(wù)轉(zhuǎn)換成了一個(gè)分類任務(wù)，然后再用類似交叉熵的方式來(lái)對(duì)模型進(jìn)行優(yōu)化（其實(shí)本質(zhì)上是優(yōu)化了兩個(gè)部分：模型本身，和一個(gè)負(fù)例采樣的分布和參數(shù)）。

另一方面，NCE 其實(shí)證明了這種采樣在負(fù)例足夠多的情況下，對(duì)模型梯度優(yōu)化方向和“完整計(jì)算歸一化項(xiàng)進(jìn)行優(yōu)化”是一致的，這一點(diǎn)證明了 NCE 在用負(fù)采樣方式解決歸一化項(xiàng)的正確性。

“噪聲對(duì)比估計(jì)”雜談：曲徑通幽之妙 Memory bank 中特征表示 對(duì)應(yīng)于第 個(gè)樣例的概率為：

我們?cè)O(shè)定噪聲分布為一個(gè)均勻分布：，假設(shè)噪聲樣本的頻率是數(shù)據(jù)樣本的 倍，那么樣本 及特征 來(lái)自數(shù)據(jù)分布 的后驗(yàn)概率為：

訓(xùn)練目標(biāo)為最小化

其中， 指代真實(shí)數(shù)據(jù)分布，對(duì) 而言 是 的特征； 是來(lái)自另一幅圖片，從噪聲分布 中隨機(jī)采樣得到。注： 和 都是從 Memory Bank 中采樣得到的。 的計(jì)算量過(guò)大，我們把它當(dāng)作常量，由 Monte Carlo 算法估計(jì)得到：

是 indices 的隨機(jī)子集，NCE 將每個(gè)樣例的計(jì)算復(fù)雜度從 減少到 。 最后一點(diǎn)是，這篇文章加入了近似正則化項(xiàng) ，來(lái)使訓(xùn)練過(guò)程更加平滑和穩(wěn)定。 本文引入 memory bank 把前一個(gè) step 學(xué)習(xí)到的實(shí)例特征存儲(chǔ)起來(lái)，然后在下一個(gè) step 把這些存儲(chǔ)的 memory 去學(xué)習(xí)。效率有所提升。但是實(shí)際在優(yōu)化的時(shí)候當(dāng)前的實(shí)例特征是跟 outdated memory 去對(duì)比的，所以學(xué)習(xí)效果還不是最優(yōu)的。

論文標(biāo)題：Momentum Contrast for Unsupervised Visual Representation Learning

論文地址：

https://arxiv.org/pdf/1911.05722.pdf 解決了一個(gè)非常重要的工程問(wèn)題：如何節(jié)省內(nèi)存節(jié)省時(shí)間搞到大量的 negative samples？

至于文章的 motivation，之前 contrastive learning 存在兩種問(wèn)題。在用 online 的 dictionary 時(shí)，也就是文章中比較的 end-to-end 情形，constrastive learning 的性能會(huì)受制于 batch size，或者說(shuō)顯存大小。在用 offline 的 dictionary 時(shí)，也就是文章中說(shuō)的 memory bank（InstDisc）情形，dictionary 是由過(guò)時(shí)的模型生成的，某種程度上可以理解為 supervision 不干凈，影響訓(xùn)練效果。那么很自然的，我們想要一個(gè) trade-off，兼顧 dictionary 的大小和質(zhì)量。文章給出的解法是對(duì)模型的參數(shù)空間做 moving average，相當(dāng)于做一個(gè)非常平滑的 update。

MoCo 完全專注在 Contrastive Loss 上，將這個(gè)問(wèn)題想象成有一個(gè)很大的字典，神經(jīng)網(wǎng)絡(luò)的目的就是一個(gè) Encoder 要將圖片 Encode 成唯一的一把 Key，此時(shí)要如何做到讓 Key Space Large and Consistent 是最重要的。

首先借鑒了 instance discrimination 的文章的 Memory Bank，建一個(gè) Bank 來(lái)保存所有的 Key （或稱為 Feature）。此方法相對(duì)把所有圖塞進(jìn) Batch 少用很多內(nèi)存，但對(duì)于很大的 Dataset 依舊難以按比例擴(kuò)大。 因此，MoCo 改進(jìn)了 Bank，用一個(gè) Dynamic Queue 來(lái)取代，但是單純這樣做的話是行不通的，因?yàn)槊看蝹€(gè) Key 會(huì)受到 Network 改變太多，Contrastive Loss 無(wú)法收斂。因此 MoCo 將種子 feature extractor 拆成兩個(gè)獨(dú)立的 Network：Encoder 和 Momentum Encoder。

：Encoder，：Momentum Encoder，初始化時(shí)，它們的參數(shù)值一致。Queue 里 maintain 著最新的 K 個(gè) key。 為了結(jié)合圖 5 對(duì)文章中的 Algorithm 進(jìn)行分析，我們假設(shè) Batch size N=1，同樣的 x 經(jīng)過(guò)不同的 augmentation，encode 為 q 和 ，它們倆為 positive pair。將 q 與 Queue 中的 K 個(gè) key （Negative Sample ）進(jìn)行比較，計(jì)算 Similarity。 由此，即可按照上述的 N-pair contrastive loss 計(jì)算 loss，并對(duì) Encoder 更新parameters。等 Encoder Update 完后，在用 Momentum Update Momentum Encoder。并將這次的 Batch 放入到 Queue 中。

可以看到 key 對(duì)應(yīng)的 Momentum Encoder 是由 query 對(duì)應(yīng)的 Encoder 來(lái)更新的，同時(shí)受到 key 對(duì)應(yīng)的 Encoder 上一次的狀態(tài)（更新后的 Encoder）影響。因此其更新速率，與 query 對(duì)應(yīng)的 encoder 相比要慢，能提供很穩(wěn)定的 Key，也就是 Momentum Encoder 把這個(gè) Key Space 先擺好。 具體要有多慢呢？慢到 Queue 中最舊 key 依然能夠反映出最新的 Momentum encoder 信息。所以文章給出 m=0.999，要遠(yuǎn)好于 m=0.9。直觀的的感受就是，key 對(duì)應(yīng)的 Momentum encoder 基本不動(dòng)，非常緩慢的更新，Queue 中所有的 key 可以近似的看成由目前的 Momentum encoder 編碼得到。 如果 與 Queue 中原本的 Key 比較遠(yuǎn)，如圖 5 所示，再回想一下，MoCo 本質(zhì)上還是在做 instance discrimination。所以，這時(shí)的 Loss 較小，且主要去 Update Encoder，使得 q 更接近 ，而 Momentum Encoder 更新又很緩慢，它更新后， 依然會(huì)與 Queue 中原本的 Key 相距較遠(yuǎn)。 如果 與 Queue 中原本的 Key容易混淆，這時(shí)候的 Loss 較大， Encoder 的更新使得 q 遠(yuǎn)離 Queue 中原本的 Key，同時(shí)盡可能地距離 較近，隨后 Momentum Encoder 緩慢更新，傾向于使得 遠(yuǎn)離 Queue 中原本的 Key，相當(dāng)于找一個(gè)比較空的區(qū)域放 ， 而不影響原本的 Queue 中原本的 Key。但此處只是直觀上的分析，缺乏嚴(yán)謹(jǐn)?shù)睦碚撟C明。 近期，何凱明團(tuán)隊(duì)推出了MoCo_V2，效果相對(duì)于 V1 有了較大提升，但沒(méi)有改變 MoCo_V1 的框架。

審核編輯 ：李倩