不給全圖，只投喂CNN一些看上去毫無(wú)信息量的圖像碎片，就能讓模型學(xué)會(huì)圖像分類(lèi)。

更重要的是，性能完全不差，甚至還能反超用完整圖像訓(xùn)練的模型。

這么一項(xiàng)來(lái)自加州大學(xué)圣塔芭芭拉分校的新研究，這兩天引發(fā)不少討論。

咋地，這就是說(shuō)，CNN根本無(wú)需理解圖像全局結(jié)構(gòu)，一樣也能SOTA？

具體是怎么一回事，咱們還是直接上論文。

實(shí)驗(yàn)證據(jù)

研究人員設(shè)計(jì)了這樣一個(gè)實(shí)驗(yàn)：

他們?cè)贑IFAR-10、CIFAR-100、STL-10、Tiny-ImageNet-200以及Imagenet-1K等數(shù)據(jù)集上訓(xùn)練ResNet。

特別的是，用于訓(xùn)練的圖像是通過(guò)隨機(jī)裁剪得到的。

這個(gè)“隨機(jī)裁剪”，可不是往常我們會(huì)在數(shù)據(jù)增強(qiáng)方法中見(jiàn)到的那一種，而是完全不做任何填充。

舉個(gè)例子，就是對(duì)圖片做PyTorch的RandomCrop變換時(shí)，padding的參數(shù)填0。

得到的訓(xùn)練圖像就是下面這個(gè)樣式的。即使你是閱圖無(wú)數(shù)的老司機(jī)，恐怕也分辨不出到底是個(gè)啥玩意兒。

訓(xùn)練圖像如此碎片化，模型的識(shí)圖能力又能達(dá)到幾成？

來(lái)看實(shí)驗(yàn)結(jié)果：

好家伙，在CIFAR-10上，用16×16的圖像碎片訓(xùn)練出來(lái)的模型，測(cè)試準(zhǔn)確率能達(dá)到91%，而用完整的32×32尺寸圖像訓(xùn)練出來(lái)的模型，測(cè)試準(zhǔn)確率也不過(guò)90%。

這一波，“殘缺版”CNN竟然完全不落下風(fēng)，甚至還反超了“完整版”CNN。

要知道，被喂了碎片的CNN模型，看到的圖像甚至可能跟標(biāo)簽顯示的物體毫無(wú)關(guān)系，只是原圖中背景的部分……

在STL-10、Tiny-Imagenet-200等數(shù)據(jù)集上，研究人員也得到了類(lèi)似的結(jié)果。

不過(guò)，在CIFAR-100上，還是完整圖像訓(xùn)練出來(lái)的模型略勝一籌。16×16圖像碎片訓(xùn)練出的模型測(cè)試準(zhǔn)確率為61%，而32×32完整圖像訓(xùn)練出的模型準(zhǔn)確率為68%。

所以，CNN為何會(huì)有如此表現(xiàn)？莫非它本來(lái)就是個(gè)“近視眼”？

研究人員推測(cè)，CNN能有如此優(yōu)秀的泛化表現(xiàn)，是因?yàn)樵谶@個(gè)實(shí)驗(yàn)中，維度詛咒的影響被削弱了。

所謂維度詛咒（curse of dimensionality），是指當(dāng)維數(shù)提高時(shí)，空間體積提高太快，導(dǎo)致可用數(shù)據(jù)變得稀疏。

而在這項(xiàng)研究中，由于CNN學(xué)習(xí)到的不是整個(gè)圖像的標(biāo)簽，而是圖像碎片的標(biāo)簽，這就在兩個(gè)方面降低了維度詛咒的影響：

圖像碎片的像素比完整圖像小得多，這減少了輸入維度

訓(xùn)練期間可用的樣本數(shù)量增加了

生成熱圖

基于以上實(shí)驗(yàn)觀察結(jié)果，研究人員還提出以熱圖的形式，來(lái)理解CNN的預(yù)測(cè)行為，由此進(jìn)一步對(duì)模型的錯(cuò)誤做出“診斷”。

就像這樣：

這些圖像來(lái)自于STL-10數(shù)據(jù)集。熱圖顯示，對(duì)于CNN而言，飛機(jī)圖像中最能“刺激”到模型的，不是飛機(jī)本身，而是天空。

同樣，在汽車(chē)圖像中，車(chē)輪才是CNN用來(lái)識(shí)別圖像的主要屬性。

論文地址： https://arxiv.org/abs/2205.10760

審核編輯 ：李倩