在圖像分類任務(wù)中類別不均衡問題一直是個難點，在實際應(yīng)用中大部分的分類樣本很可能呈現(xiàn)長尾分布。新加坡國立大學(xué)和 Facebook AI 的研究者提出了一種新型解決方案：將表征學(xué)習(xí)和分類器學(xué)習(xí)分開，從而尋找合適的表征來最小化長尾樣本分類的負(fù)面影響。該論文已被 ICLR 2020 接收。

圖像分類一直是深度學(xué)習(xí)領(lǐng)域中非?；厩夜I(yè)應(yīng)用廣泛的任務(wù)，然而如何處理待分類樣本中存在的類別不均衡問題是長期困擾學(xué)界與工業(yè)界的一個難題。相對來說，學(xué)術(shù)研究提供的普通圖像分類數(shù)據(jù)集維持了較為均衡的不同類別樣本分布；然而在實際應(yīng)用中，大部分的分類樣本很可能呈現(xiàn)長尾分布（long-tail distribution），這很有可能導(dǎo)致分類模型效果偏差：對于尾部的類別分類準(zhǔn)確率不高。 針對長尾分布的圖像識別任務(wù)，目前的研究和實踐提出了大致幾種解決思路，比如分類損失權(quán)重重分配（loss re-weighting）、數(shù)據(jù)集重采樣、尾部少量樣本過采樣、頭部過多樣本欠采樣，或者遷移學(xué)習(xí)。 在 ICLR 2020 會議上，新加坡國立大學(xué)與 Facebook AI 合著了一篇論文《Decoupling Representation and classifier for long-tailed recognition》，提出了一個新穎的解決角度：在學(xué)習(xí)分類任務(wù)的過程中，將通常默認(rèn)為聯(lián)合起來學(xué)習(xí)的類別特征表征與分類器解耦（decoupling），尋求合適的表征來最小化長尾樣本分類的負(fù)面影響。

論文鏈接：https://openreview.net/pdf?id=r1gRTCVFvB

GitHub 鏈接：https://github.com/facebookresearch/classifier-balancing

該研究系統(tǒng)性地探究了不同的樣本均衡策略對長尾型數(shù)據(jù)分類的影響，并進(jìn)行了詳實的實驗，結(jié)果表明：a) 當(dāng)學(xué)習(xí)到高質(zhì)量的類別表征時，數(shù)據(jù)不均衡很可能不會成為問題；b) 在學(xué)得上述表征后，即便應(yīng)用最簡單的樣本均衡采樣方式，也一樣有可能在僅調(diào)整分類器的情況下學(xué)習(xí)到非常魯棒的長尾樣本分類模型。 該研究將表征學(xué)習(xí)和分類器學(xué)習(xí)分離開來，分別進(jìn)行了延伸探究。 表征學(xué)習(xí) 對于表征學(xué)習(xí)來說，理想情況下好的類別表征能夠準(zhǔn)確識別出各種待分類類別。目前針對長尾類型數(shù)據(jù)分類任務(wù)，不同的采樣策略、損失權(quán)重重分配，以及邊界正則化（margin regularization）都可用于改善類別不均。 假設(shè) p_j 為樣本來自類別 j 中的概率，則 p_j 可用如下公式表示：

其中 n 為訓(xùn)練樣本總數(shù)，C 為訓(xùn)練類別總數(shù)，而 q 為 [0,1] 其中一個值。 采樣策略包含以下幾種常用采樣方式：

樣本均衡采樣（Instance-balanced sampling）：該方法最為常見，即每一個訓(xùn)練樣本都有均等的機會概率被選中，即上述公式中 q=1 的情況。

類別均衡采樣（Class-balanced sampling）：每個類別都有同等的概率被選中，即公平地選取每個類別，然后再從類別中進(jìn)行樣本選取，即上述公式中 q=0 的情況。

平方根采樣（Square-root sampling）：本質(zhì)上是之前兩種采樣方式的變種，通常是將概率公式中的 q 定值為 0.5。

漸進(jìn)式均衡采樣（Progressively-balanced sampling）：根據(jù)訓(xùn)練中的迭代次數(shù) t（epoch）同時引入樣本均衡（IB）與類別均衡（CB）采樣并進(jìn)行適當(dāng)權(quán)重調(diào)整的一種新型采樣模式，公式為

其中 T 為數(shù)據(jù)集訓(xùn)練迭代總數(shù)。 分類器學(xué)習(xí) 該研究也針對單獨拆分出來的分類器訓(xùn)練進(jìn)行了調(diào)研和分類概括：

重訓(xùn)練分類器（Classifier Re-training, cRT）：保持表征固定不變，隨機重新初始化分類器并進(jìn)行訓(xùn)練。

最近類別平均分類器（Nereast Class Mean classifier, NCM）：首先計算學(xué)習(xí)到的每個類別特征均值，然后執(zhí)行最近鄰搜索來確定類別。

τ-歸一化分類器（τ-normalized classifier）：作者提出使用該方法對分類器中的類別邊界進(jìn)行重新歸一化，以取得均衡。

實驗結(jié)果 通過以上觀察和學(xué)習(xí)拆分，該研究在幾個公開的長尾分類數(shù)據(jù)集上重新修改了頭部類別和尾部類別的分類決策邊界，并且搭配不同的采樣策略進(jìn)行交叉訓(xùn)練實驗。訓(xùn)練出的不同分類器之間的對比結(jié)果如下圖所示：

同時，在 Places-LT、Imagenet-LT 和 iNaturalist2018 三個公開標(biāo)準(zhǔn)數(shù)據(jù)集上，該研究提出的策略也獲得了同比更高的分類準(zhǔn)確率，實現(xiàn)了新的 SOTA 結(jié)果：

通過各類對比實驗，該研究得到了如下觀察： 1. 解耦表征學(xué)習(xí)與分類為兩個過程均取得了非常好的效果，并且打破了人們對長尾分類固有的「樣本均衡采樣學(xué)習(xí)效果最好，擁有最具泛化性的特征表示」這一經(jīng)驗之談。 2. 重新調(diào)整分類邊界對于長尾分布的物體識別來說是非常有效的。 3. 將該研究提出的解耦學(xué)習(xí)規(guī)則應(yīng)用到傳統(tǒng)網(wǎng)絡(luò)（如 ResNeXt）中，仍能取得很好的效果，這說明該策略確實對長尾分類具備一定指導(dǎo)意義。 該研究針對業(yè)界和學(xué)界頻繁遇到的長尾樣本分類難題，提出解構(gòu)傳統(tǒng)的「分類器表征聯(lián)合學(xué)習(xí)」范式，從另一個角度提供了新思路：調(diào)整它們在表征空間的分類邊界或許是更加高效的方法。 該研究思路比較新穎，實驗結(jié)果也具有一定的代表性。對于研究長尾分類的學(xué)者或者業(yè)界工程師而言，這在傳統(tǒng)采樣方式下「面多了加水，水多了加面」的經(jīng)驗之外，提供了額外思路。目前該研究的相關(guān)代碼已在 GitHub 上開源，感興趣的讀者可以下載進(jìn)行更多的嘗試。 代碼實現(xiàn) 研究者在 GitHub 項目中提供了對應(yīng)的訓(xùn)練代碼和必要的訓(xùn)練步驟。代碼整體是相對基本的分類訓(xùn)練代碼，比較容易實現(xiàn)。具體到復(fù)現(xiàn)模型訓(xùn)練，作者也給出了幾點注意事項。 1. 表征學(xué)習(xí)階段

學(xué)習(xí)過程中保持網(wǎng)絡(luò)結(jié)構(gòu)（比如 global pooling 之后不需要增加額外的全連接層）、超參數(shù)選擇、學(xué)習(xí)率和 batch size 的關(guān)系和正常分類問題一致（比如 ImageNet），以確保表征學(xué)習(xí)的質(zhì)量。

類別均衡采樣：采用多 GPU 實現(xiàn)的時候，需要考慮使得每塊設(shè)備上都有較為均衡的類別樣本，避免出現(xiàn)樣本種類在卡上過于單一，從而使得 BN 的參數(shù)估計不準(zhǔn)。

漸進(jìn)式均衡采樣：為提升采樣速度，該采樣方式可以分兩步進(jìn)行。第一步先從類別中選擇所需類別，第二步從對應(yīng)類別中隨機選擇樣本。

2. 分類器學(xué)習(xí)階段

重新學(xué)習(xí)分類器（cRT）：重新隨機初始化分類器或者繼承特征表示學(xué)習(xí)階段的分類器，重點在于保證學(xué)習(xí)率重置到起始大小并選擇 cosine 學(xué)習(xí)率。

τ-歸一化（tau-normalization）：τ 的選取在驗證集上進(jìn)行，如果沒有驗證集可以從訓(xùn)練集模仿平衡驗證集，可參考原論文附錄 B.5。

可學(xué)習(xí)參數(shù)放縮（LWS）：學(xué)習(xí)率的選擇與 cRT 一致，學(xué)習(xí)過程中要保證分類器參數(shù)固定不變，只學(xué)習(xí)放縮因子。