今天給大家介紹ICLR 2022最佳論文PICO: CONTRASTIVE LABEL DISAMBIGUATION FOR PARTIAL LABEL LEARNING，這篇文章解決的是Partial Label Learning（PLL）問題，即訓(xùn)練數(shù)據(jù)中一個(gè)圖像不是一個(gè)確定的label，而是一組可能的label集合，需要預(yù)測出每個(gè)樣本的真實(shí)label。

下載地址：https://openreview.net/pdf?id=EhYjZy6e1gJ

1什么是Partial Label Learning（PLL)

有監(jiān)督學(xué)習(xí)是最常見的一種機(jī)器學(xué)習(xí)問題，給定一個(gè)輸入樣本，預(yù)測該樣本的label是什么。Partial Label Learning（PLL）問題也是預(yù)測一個(gè)樣本對應(yīng)的label，但是和有監(jiān)督學(xué)習(xí)問題的差異是，PLL問題的訓(xùn)練數(shù)據(jù)中，一個(gè)輸入樣本對應(yīng)多個(gè)候選label，真正的label是候選label中的一個(gè)。

為什么會有PLL這樣的問題呢？因?yàn)樵诂F(xiàn)實(shí)問題中，label來自于人工標(biāo)注，而有的樣本人工標(biāo)注比較困難，只標(biāo)注一個(gè)label會造成噪聲較大的問題。例如下面的例子中，比較難區(qū)分這張狗對應(yīng)的類別是哈士奇、雪橇犬還是薩摩耶，強(qiáng)行讓人工標(biāo)注成一個(gè)確定的label容易在數(shù)據(jù)中引入噪聲。PLL放寬了這種限制，在標(biāo)注的label中可以引入一些不確定性，給一個(gè)樣本賦予多個(gè)候選label，模型學(xué)習(xí)從這些label中預(yù)測ground-truth對應(yīng)的那個(gè)label。

2PLL問題的難點(diǎn)

PLL的效果目前和有監(jiān)督學(xué)習(xí)還有一定差距。PLL問題的難點(diǎn)在于標(biāo)簽消歧，也就是從候選label集合中預(yù)測出樣本的真實(shí)label。業(yè)內(nèi)一般的解法是學(xué)習(xí)樣本高質(zhì)量的表示，然后根據(jù)在特征空間中距離近的樣本更可能屬于同一類別這個(gè)假設(shè)，實(shí)現(xiàn)標(biāo)簽消歧。

然而，這種方法的問題在于，當(dāng)label是一個(gè)不確定的集合而不是一個(gè)確定值時(shí)，這種不確定性也會對表示學(xué)習(xí)的過程造成負(fù)面影響。表示學(xué)習(xí)效果不好，又會對標(biāo)簽消歧的效果造成負(fù)面影響。

為了解決這個(gè)問題，ICLR 2022的最佳論文提出了基于對比學(xué)習(xí)的PLL問題求解方法。利用對比學(xué)習(xí)提升表示學(xué)習(xí)的效果，再利用良好的表示對label進(jìn)行消歧，消歧后的label又有助于進(jìn)一步生成良好的樣本表征，形成良性循環(huán)，提升整體效果。

這篇文章提出的Partial label learning with COntrastive label disambiguation (PiCO) framework主要包括利用對比學(xué)習(xí)提升表示生成質(zhì)量，以及基于聚類的label消歧兩個(gè)核心模塊。下面，我們走進(jìn)這篇最佳論文，理解其背后的思想。

3PiCO核心點(diǎn)1—對比學(xué)習(xí)引入PLL

第一個(gè)核心點(diǎn)是為了提升PLL中的表示生成效果，作者將對比學(xué)習(xí)的方法引入到PLL問題中。對比學(xué)習(xí)在有監(jiān)督問題上已經(jīng)取得廣泛的應(yīng)用，但是在PLL問題上目前還沒有相關(guān)研究。將對比學(xué)習(xí)應(yīng)用到PLL的一個(gè)最主要的問題是正樣本對如何構(gòu)造。在有監(jiān)督學(xué)習(xí)中，每個(gè)樣本都有其對應(yīng)的確定性label，天然可以構(gòu)造出正樣本。而PLL問題中，每個(gè)樣本的label是不確定的，無法直接獲取正樣本對。

為了解決上述問題，本文提出利用分類器對樣本的預(yù)測結(jié)果作為樣本真實(shí)label（也就是偽標(biāo)簽persudo label），根據(jù)這個(gè)label構(gòu)造正樣本對。在得到正樣本對后，利用MoCo對比學(xué)習(xí)框架進(jìn)行表示學(xué)習(xí)，將樣本的兩種view分別輸入兩個(gè)參數(shù)共享的Encoder，其中key側(cè)的Encoder使用動量更新的方式減小計(jì)算開銷。對比學(xué)習(xí)loss作為一個(gè)輔助任務(wù)和主任務(wù)聯(lián)合學(xué)習(xí)。對MoCo等對比學(xué)習(xí)框架不了解的同學(xué)，可以參考我之前的文章：對比學(xué)習(xí)中的4種經(jīng)典訓(xùn)練模式。利用對比學(xué)習(xí)，可以讓樣本在特征空間形成類簇，這也為后續(xù)的標(biāo)簽消歧奠定了基礎(chǔ)。

4PiCO核心點(diǎn)2—標(biāo)簽消歧

本文采用了一種類似EM算法的思路實(shí)現(xiàn)標(biāo)簽消歧。首先，對于每個(gè)類別維護(hù)一個(gè)embedding向量u，它可以視為類的類簇中心。對于每個(gè)樣本的label，在PLL中也用一個(gè)N維向量表示s，N代表類別數(shù)量，表示了該樣本屬于每個(gè)類別的概率。接下來為了實(shí)現(xiàn)標(biāo)簽消歧，在訓(xùn)練過程中不斷更新s，更新方法是看樣本表示和哪個(gè)類別向量最近，就用滑動平均的方式對s的那一維進(jìn)行更新，公式可以表示為：

相應(yīng)的，類別向量u也利用滑動平均的方式進(jìn)行更新，公式如下：

通過這兩個(gè)步驟的迭代進(jìn)行，逐步實(shí)驗(yàn)標(biāo)簽消歧。這其實(shí)和Kmean以及Kmeans++這種方法類似，本質(zhì)上就是一個(gè)聚類過程。從PiCO框架整體來看，對比學(xué)習(xí)提升表示學(xué)習(xí)效果，表示質(zhì)量的提升又促進(jìn)了下游基于聚類的標(biāo)簽消歧效果，標(biāo)簽的確定性增加又進(jìn)一步提升了表示生成的質(zhì)量，形成了良性循環(huán)。

5實(shí)驗(yàn)結(jié)果

本文進(jìn)行了大量實(shí)驗(yàn)從多個(gè)角度驗(yàn)證了PiCO解決PLL問題的效果。在樣本表示的學(xué)習(xí)上，從下面的t-SNE向量可視化分析圖可以看出，PiCO生成不用類別的向量表示非常清晰，類內(nèi)的內(nèi)聚性和類間的差異性相比其他方法都是更好的。

下面的實(shí)驗(yàn)結(jié)果對比了PiCO和和其他方法在PLL問題上的效果，可以看出PiCO要比其他方法效果有非常顯著的提升。

6總結(jié)

本文介紹了ICLR 2022的最佳論文，在Partial Label Learning問題上的解決方法。通過這篇文章，核心是理解頂會最佳論文的設(shè)計(jì)思路，本文用的求解方法比較優(yōu)雅，背后的設(shè)計(jì)思路也非常清晰，背后的思考非常值得學(xué)習(xí)。

審核編輯 ：李倩