Kaggle的座頭鯨識別挑戰(zhàn)比賽在最近落下帷幕，全球共2131個(gè)團(tuán)隊(duì)參加了比賽。

這是近期Kaggle上頗受歡迎的一次競賽，常用的分類方法無法處理大量的無標(biāo)注數(shù)據(jù)，只有對傳統(tǒng)的方法進(jìn)行創(chuàng)新，才能夠獲得高分。

下面文摘菌為大家介紹比賽中排名TOP10的團(tuán)隊(duì)如何完成比賽，以及其他幾只團(tuán)隊(duì)的相關(guān)經(jīng)驗(yàn)。

注：該團(tuán)隊(duì)由Vladislav Shakhray，Artsiom Sanakoyeu海德堡大學(xué)的博士組成,以及Kaggle Top-5 大神Pavel Pleskov。

本文作者Vladislav Shakhray，文摘菌對其編譯如下。

比賽鏈接:

https://www.kaggle.com/c/humpback-whale-identification

問題描述

在比賽中，主要是構(gòu)建算法來識別圖像中的鯨魚個(gè)體，而難點(diǎn)在于訓(xùn)練樣本的嚴(yán)重不均衡以及存在近三分之一的無標(biāo)注數(shù)據(jù)。

訓(xùn)練數(shù)據(jù)中的同一條鯨魚的9張照片的示例

在超過2000個(gè)鯨魚類別，只有一個(gè)訓(xùn)練樣本，這使得常用的分類方法很難使用。更重要的是，無論鯨魚是否是新的種類，這都是比賽的重要組成部分，結(jié)果證明這是非常重要的。

鯨魚種類間照片數(shù)量差距很大

競賽的衡量標(biāo)準(zhǔn)是MAP @ 5（平均精度為5），能夠?yàn)槊總€(gè)測試圖像提交最多5個(gè)預(yù)測。 我們在測試集上的最高成績是0.959 MAP @ 5。

驗(yàn)證和初始設(shè)置

在本次比賽前幾個(gè)月，同一比賽的另一個(gè)版本在Kaggle上舉行，但是，正如競賽發(fā)起人所指出的那樣，現(xiàn)在的版本包含更多清潔的數(shù)據(jù)。我們決定以多種方式利用之前比賽的成果和數(shù)據(jù)：

1.使用之前競爭對手的數(shù)據(jù)，我們使用image hashing來收集超過2000個(gè)驗(yàn)證樣本。 當(dāng)我們稍后驗(yàn)證我們的成果時(shí)，這一方法非常重要。

2.我們從訓(xùn)練數(shù)據(jù)集中刪除了new_whale類，因?yàn)樗辉谄湓刂g共享任何邏輯圖像特征。

3.有些圖像根本沒有對齊。 幸運(yùn)的是，在之前一版kaggle比賽的成功解決方案中有一個(gè)公開可用的預(yù)訓(xùn)練邊界框模型。我們用它來檢測鯨魚周圍的精確邊界框并相應(yīng)地裁剪圖像。

4.由于圖像的顏色不同，所有數(shù)據(jù)在訓(xùn)練前都轉(zhuǎn)換為灰色。

方法1：孿生神經(jīng)網(wǎng)絡(luò)Siamese Networks（Vladislav）

我們的第一個(gè)架構(gòu)是一個(gè)具有眾多分支架構(gòu)和自定義損失的孿生神經(jīng)網(wǎng)絡(luò)（Siamese Networks），其中包括許多卷積和密集層。 我們使用的分支架構(gòu)包括：

ResNet-18, ResNet-34, Resnet-50

SE-ResNeXt-50

Martin Piotte公開分享的類似ResNet的自定義分支

我們通過在每4個(gè)時(shí)期的分?jǐn)?shù)矩陣上求解線性分配問題來使用顯著陰性（hard-negative mining）和顯著陽性挖掘（hard- positive mining）。 在矩陣中添加了一些隨機(jī)化以簡化訓(xùn)練過程。

使用漸進(jìn)式學(xué)習(xí)（Progressive learning），分辨率策略為229x229 - > 384x384 - > 512x512。 也就是說，我們首先在229x229圖像上訓(xùn)練我們的網(wǎng)絡(luò)，幾乎沒有用正則化和更大的學(xué)習(xí)率。 在收斂之后，我們重置學(xué)習(xí)速率并增加正則化，從而再次對更高分辨率的圖像（例如384×484）訓(xùn)練網(wǎng)絡(luò)。

此外，由于數(shù)據(jù)的性質(zhì)，使用了大量增強(qiáng)，包括隨機(jī)亮度，高斯噪聲，隨機(jī)剪裁和隨機(jī)模糊。

此外，我們采用智能翻轉(zhuǎn)增強(qiáng)策略，極大地幫助創(chuàng)建了更多的訓(xùn)練數(shù)據(jù)。 具體地，對于屬于相同的鯨魚X，Y的每對訓(xùn)練圖像，我們創(chuàng)建了另外一個(gè)訓(xùn)練對翻轉(zhuǎn)（X），翻轉(zhuǎn)（Y）。 另一方面，對于每對不同的鯨魚，我們創(chuàng)建了另外三個(gè)例子：翻轉(zhuǎn)（X），Y，Y，翻轉(zhuǎn)（X）和翻轉(zhuǎn)（X），翻轉(zhuǎn)（Y）。

一個(gè)顯示隨機(jī)翻轉(zhuǎn)策略不適用于一對相同鯨魚照片的例子。 請注意當(dāng)我們翻轉(zhuǎn)圖片時(shí)，兩張圖片的翻轉(zhuǎn)效果不同，因?yàn)槲覀冴P(guān)心鯨魚尾部的寄生藻的位置。

使用Adam優(yōu)化器優(yōu)化模型，初始學(xué)習(xí)率為1e-4，接近訓(xùn)練結(jié)束時(shí)減少5倍。 批量大小設(shè)置為64。

模型是用Keras編寫的。在單個(gè)2080Ti上花費(fèi)2-3天（取決于圖像分辨率），訓(xùn)練模型大約400-600個(gè)周期。

使用ResNet-50性能最佳的單一模型得分為0.929 LB。

方法2：度量學(xué)習(xí)Metric Learning（Artsiom）

我們使用的另一種方法是使用保證金損失進(jìn)行度量學(xué)習(xí)。 我們使用了許多ImageNet預(yù)訓(xùn)練的架構(gòu)，其中包括：

ResNet-50, ResNet-101, ResNet-152

DenseNet-121, DenseNet-169

這些網(wǎng)絡(luò)主要由448x448 - > 672x672策略逐步訓(xùn)練。

我們使用了Adam優(yōu)化器，在100個(gè)訓(xùn)練周期后將學(xué)習(xí)率降低了10倍。 我們還為整個(gè)訓(xùn)練使用批量大小為96的訓(xùn)練方法。

由Sanakoyeu，Tschernezki等人開發(fā)的度量學(xué)習(xí)（metric learning）方法能夠讓成績迅速提升。

度量學(xué)習(xí)在CVPR 2019上發(fā)布，它所做的是每個(gè)周期它將訓(xùn)練數(shù)據(jù)以及嵌入層分成簇。在訓(xùn)練組塊和學(xué)習(xí)者之間建立雙射之后，模型分別訓(xùn)練它們，同時(shí)累積分支網(wǎng)絡(luò)的梯度。

代碼及文章鏈接：

https://github.com/CompVis/metric-learning-divide-and-conquer

由于巨大的種類數(shù)量不平衡，我們使用了大量的增強(qiáng)，包括隨機(jī)翻轉(zhuǎn)，旋轉(zhuǎn)，變焦，模糊，光照，對比度，飽和度變化。 之后，計(jì)算查詢特征向量和列車庫特征向量之間的點(diǎn)積，并且選擇具有最高點(diǎn)積值的類作為TOP-1預(yù)測。 隱含地幫助類不平衡的另一個(gè)技巧是對屬于相同鯨魚id的火車圖像的特征向量進(jìn)行平均。

這些模型使用PyTorch實(shí)現(xiàn)，需要單個(gè)Titan Xp 2-4天（取決于圖像分辨率）來訓(xùn)練。 值得一提的是，具有DenseNet-169架構(gòu)表現(xiàn)最佳的單一模型得分為0.931LB。

方法3：特征分類（Artsiom）

當(dāng)我和Artsiom聯(lián)手時(shí)，我們做的第一件事就是使用從我們所有模型中提取并連接（應(yīng)用PCA分析）的特征來訓(xùn)練分類模型。

分類的主要部分由兩個(gè)密集的層組成，其間會刪失信息。由于我們使用了預(yù)先計(jì)算的特征，因此模型訓(xùn)練得非常快。

通過這種方法我們獲得了0.924 LB，并讓整個(gè)集合更富多樣性。

方法4：新鯨魚分類（Pavel）

本次比賽最復(fù)雜的部分之一是正確分類新鯨魚（大約30％的圖像屬于新類別鯨魚）。

解決這個(gè)問題的流行策略是使用一個(gè)簡單的閾值。也就是說，如果給定的圖像X屬于某個(gè)已知類別鯨魚的最大概率小于閾值，則將其歸類為新鯨魚。然而，我們認(rèn)為可能有更好的方法來解決這個(gè)問題。

對于每個(gè)表現(xiàn)最佳的模型和集合，我們選取了TOP-4預(yù)測，按降序排序。然后，對于其他的每個(gè)模型，我們將他們的概率用于所選擇的這4個(gè)類。目標(biāo)是根據(jù)這些特征來預(yù)測鯨魚是否屬于新類別。

Pavel創(chuàng)建了一個(gè)非常強(qiáng)大的包含LogRegression，SVM，幾個(gè)k-NN模型和LightGBM的混合模型。這個(gè)混合模型在交叉驗(yàn)證中給出了0.9655 的ROC-AUC值，并且將LB得分提高了2％。

綜合

由我們的模型構(gòu)建混合模型相當(dāng)不容易。難度在于我的模型的輸出是非標(biāo)準(zhǔn)化概率矩陣（從0到1），而Artsiom提供的輸出矩陣由歐幾里德距離組成（范圍從0到無窮大）。

我們嘗試了許多方法將Artsiom的矩陣轉(zhuǎn)換為概率，其中包括：

1、類似tSNE的轉(zhuǎn)換：

2、Softmax

3、通過應(yīng)用函數(shù)1 / (1 + distances)簡單地反轉(zhuǎn)范圍

4、其他可以反轉(zhuǎn)矩陣范圍的函數(shù)

不幸的是，前兩種方法根本不起作用，而使用大多數(shù)函數(shù)將范圍剪切至[0,1]的結(jié)果大致相同。我們最終選擇在驗(yàn)證集上具有最高mAP @ 5的函數(shù)。

令人驚訝的是，最好的是1 / (1 + log(1 + log(1 + distances)))。

其他團(tuán)隊(duì)使用的方法

大衛(wèi)現(xiàn)在是Kaggle Grandmaster（等級為12），在Private LB上排名第四，并在Kaggle Discussions論壇上分享了他的解決方案。

https://www.kaggle.com/c/humpback-whale-identification/discussion/82356

他使用全分辨率圖像并使用傳統(tǒng)的關(guān)鍵點(diǎn)匹配技術(shù)，利用SIFT和ROOTSIFT。為了解決假陽性問題，大衛(wèi)訓(xùn)練了一個(gè)U-Net從背景分割鯨魚。有趣的是，他使用后期處理給只有一個(gè)訓(xùn)練樣本的類別更多的機(jī)會躋身TOP-1預(yù)測。

我們也考慮過嘗試基于SIFT的方法，但我們確信它肯定會比頂級神經(jīng)網(wǎng)絡(luò)表現(xiàn)得差。

在我看來，我們能從中學(xué)會的是，永遠(yuǎn)不應(yīng)被深度學(xué)習(xí)的力量所蒙蔽，從而低估了傳統(tǒng)方法的能力。

單純分類

由Dmytro Mishkin，Anastasiia Mishchuk和Igor Krashenyi組成的Pure Magic thanks radek團(tuán)隊(duì)（第7名），追求將metric learning（triplet loss）和分類結(jié)合起來，正如Dmytro在他的文章中描述的那樣。

在訓(xùn)練分類模型一段時(shí)間時(shí)，他們嘗試使用Center Loss來減少過擬合，并在應(yīng)用softmax之前進(jìn)行temperature scaling。在使用的眾多主干架構(gòu)中，最好的是SE-ResNeXt-50，它能夠達(dá)到0.955LB。

temperature scaling：

https://arxiv.org/pdf/1706.04599.pdf

他們的解決方案比這更加多樣化，我強(qiáng)烈建議你參考原文。

正如Ivan Sosin在文章中（他的團(tuán)隊(duì)BratanNet在本次比賽中排名第9）所述，他們使用了CosFace和ArcFace方法。下面是來自于原文：

Cosface和Arcface作為面部識別任務(wù)新近發(fā)現(xiàn)的SOTA脫穎而出。其主要思想是在余弦相似空間中將同類的例子相互拉近并分開不同的類別。通常是分類任務(wù)使用cosface或arcface，因此最終的損失函數(shù)是CrossEntropy

當(dāng)使用像InceptionV3或SE-ResNeXt-50這樣的較大主干網(wǎng)絡(luò)時(shí)，他們注意到了過擬合，因而他們切換到較輕量的網(wǎng)絡(luò)，如ResNet-34，BN-Inception和DenseNet-121。

文章鏈接：

https://www.kaggle.com/c/humpback-whale-identification/discussion/82427

該團(tuán)隊(duì)還使用了精心挑選的擴(kuò)充和眾多網(wǎng)絡(luò)修正方法，如CoordConv和GapNet。

他們方法中特別有趣的是他們處理新類別鯨魚的方式。下面是原文：

一開始我們就意識到必須對新鯨魚做一些處理，以便將它們納入訓(xùn)練中。簡單的方法是給每個(gè)新鯨魚分配一個(gè)1/5004的可能屬于每一類別的概率。在加權(quán)采樣方法的幫助下，它帶來了一些提升。

但后來我們意識到可以使用softmax預(yù)測來自于訓(xùn)練集中的新鯨魚。所以我們想到了distillation。我們選擇distillation代替?zhèn)?a target="_blank">標(biāo)簽，因?yàn)樾脉L魚的標(biāo)簽應(yīng)該與訓(xùn)練的標(biāo)簽不同，雖然它可能不是真的。

為了進(jìn)一步提升模型性能，我們將帶有偽標(biāo)簽的測試圖片添加到訓(xùn)練集中。最終，我們的單一模型可以通過snapshot ensembling達(dá)到0.958。不幸的是，以這種方式訓(xùn)練的ensembling并沒有在分?jǐn)?shù)上有任何的提高。也許是因?yàn)閭螛?biāo)簽和distillation造成的多樣性減少。

最后的思考

最后的排名

令人驚訝的是，盡管私人測試集占到全部測試集的近80％，但是最終結(jié)果幾乎沒有大的改變。我相信比賽的主辦方已經(jīng)提供了一個(gè)非常有趣的問題，以及經(jīng)過很好地處理的數(shù)據(jù)。

這是我參加的第一場Kaggle比賽，毫無疑問，它表現(xiàn)出了Kaggle比賽的有趣，迷人，激勵(lì)和教育性。我要祝賀由于這次比賽而成為Expert，Master和Grandmaster的人。我還要感謝ODS.ai社區(qū)提供的精彩討論和支持。

最后，我要再一次特別感謝我的隊(duì)友Artsiom Sanakoyeu和Pavel Pleskov，為我?guī)砹艘淮坞y忘的Kaggle比賽經(jīng)歷。