與其他目標(biāo)檢測問題相比，自動駕駛本身有著特殊性。那么，在自動駕駛的訓(xùn)練中，沿用一般的數(shù)據(jù)增強(qiáng)手段是否有較好的效果呢？本文介紹分享DeepScale深度學(xué)習(xí)軟件工程師Matthew Cooper在針對該問題的一些實驗和探討。

DeepScale 從2019年起由于被特斯拉收購的消息而備受關(guān)注，其旨在幫助汽車制造商使用大多數(shù)汽車中標(biāo)準(zhǔn)的低功率處理器來提供非常精確的計算機(jī)視覺，專注于開發(fā)自動駕駛汽車的深度神經(jīng)網(wǎng)絡(luò)。而在深度神經(jīng)網(wǎng)絡(luò)應(yīng)用中，數(shù)據(jù)可以通過多種方式進(jìn)行擴(kuò)充，以避免過度擬合，從而提高模型檢測性能。

圖像增強(qiáng)實驗與結(jié)果

為了改善目標(biāo)檢測性能，在構(gòu)建數(shù)據(jù)增強(qiáng)器時，經(jīng)常會使用一種稱為Cutout的正則化技術(shù)。簡而言之，Cutout會在圖像中使隨機(jī)放置的正方形變黑。

Cutout應(yīng)用于CIFAR－10 dataset中的圖像

一般情況下，Cutout可以顯著提高視覺應(yīng)用的準(zhǔn)確性。但是，當(dāng)將其應(yīng)用于這些數(shù)據(jù)時，我們的檢測mmAP降低了。我們搜索了這個問題后驚訝地發(fā)現(xiàn)，我們使用的所有增強(qiáng)器都極大地?fù)p害了檢測性能。

在探索的開始，我們使用了Filp（翻轉(zhuǎn)）、Crop（裁剪）和權(quán)重衰減正則化，這些都是用于目標(biāo)檢測的常用方案。通過研究，我們發(fā)現(xiàn)這些數(shù)據(jù)在我們的數(shù)據(jù)集上均會損害檢測性能。而刪除這些增強(qiáng)器可使網(wǎng)絡(luò)的初始性能提高13％mmAP 。（mmAP是COCO目標(biāo)檢測挑戰(zhàn)中的默認(rèn)評估指標(biāo)）

目標(biāo)檢測常用方案的效果

通常，我們希望使用權(quán)重衰減、Flip和Crop來將性能提高幾個點，如上圖中虛線所示。但是，在這次的案例中，這些增強(qiáng)器分別對mmAP造成8．4％、0．1％和4．5％的損害。刪除所有增強(qiáng)器可將整體性能提升13％。

那么，為什么這些標(biāo)準(zhǔn)的增強(qiáng)器會損害檢測性能呢？為了解釋這些，我們要從根本原理來重新審視圖像增強(qiáng)的想法。

為什么使用數(shù)據(jù)增強(qiáng)？

過度擬合是深度神經(jīng)網(wǎng)絡(luò)的常見問題。神經(jīng)網(wǎng)絡(luò)非常靈活；但是，考慮到常見數(shù)據(jù)集的大小，它們通常會被過度參數(shù)化。這將導(dǎo)致一個模型，該模型學(xué)習(xí)數(shù)據(jù)集中的“噪聲”而不是“信號”。換句話說，他們可以記住數(shù)據(jù)集的意外屬性，而不是學(xué)習(xí)有意義的常規(guī)信息。結(jié)果，當(dāng)提供新的實際數(shù)據(jù)時，過擬合網(wǎng)絡(luò)無法得到正確的結(jié)果。

為了解決過度擬合問題，我們經(jīng)常選擇擴(kuò)充訓(xùn)練數(shù)據(jù)。擴(kuò)充圖像數(shù)據(jù)的常用方法包括水平隨機(jī)翻轉(zhuǎn)圖像（Flip）、改變其色相（色相抖動）或裁剪隨機(jī)部分（Crop）。

原始長頸鹿圖像（左上方）、Flip（右上方）、色相抖動（左下方）、Crop（右下方）。雖然進(jìn)行了不同的變換，但每個圖像依然都是長頸鹿。

諸如Flip、色相抖動和Crop之類的增強(qiáng)器有助于消除過度擬合，因為它們提高了網(wǎng)絡(luò)的泛化能力。如果訓(xùn)練網(wǎng)絡(luò)以識別面向右的長頸鹿并在面向左的長頸鹿的翻轉(zhuǎn)圖像上進(jìn)行訓(xùn)練，則網(wǎng)絡(luò)將知道長頸鹿是長頸鹿，而不管朝向如何。這就使得網(wǎng)絡(luò)正確學(xué)習(xí)有關(guān)長頸鹿的相關(guān)信息（如棕色斑點毛皮），也能正確地排除一般信息。

諸如COCO目標(biāo)檢測挑戰(zhàn)之類的公共數(shù)據(jù)集一般具有泛化的需求。由于這些數(shù)據(jù)集包含從多種來源聚合而來的圖像，這些圖像是在不同條件下從不同的相機(jī)拍攝的，因此網(wǎng)絡(luò)需要概括出許多因素才能發(fā)揮出色的性能。網(wǎng)絡(luò)需要應(yīng)對的一些變量是：光、比例、攝像機(jī)固有特性（如焦距，主點偏移和軸偏斜）以及攝像機(jī)外部特性（如位置、角度和旋轉(zhuǎn)）。通過使用數(shù)據(jù)增強(qiáng)器，我們可以訓(xùn)練網(wǎng)絡(luò)來概括所有這些變量，就像在上一個示例中我們能夠概括長頸鹿的方向一樣。

來自COCO數(shù)據(jù)集的這些示例是使用不同的相機(jī)，不同的角度，比例和姿勢拍攝的，因此有必要學(xué)習(xí)這些屬性的不變性以在COCO目標(biāo)檢測中表現(xiàn)良好。

為什么自動駕駛汽車的數(shù)據(jù)不一樣？

與來自COCO和其他公共數(shù)據(jù)集的數(shù)據(jù)不同，自動駕駛汽車收集的數(shù)據(jù)非常一致。

汽車通常相對于其他車輛和道路物體具有一致的姿勢。此外，所有圖像都來自相同的攝像機(jī)，安裝在一樣的位置和角度。這意味著同一系統(tǒng)收集的所有數(shù)據(jù)都具有一致的相機(jī)屬性，例如上面提到的外部特征和固有特征。我們可以使用與量產(chǎn)時相同的傳感器系統(tǒng)來收集訓(xùn)練數(shù)據(jù)，因此自動駕駛汽車中的神經(jīng)網(wǎng)絡(luò)不必?fù)?dān)心這些屬性的泛化。因此，適應(yīng)系統(tǒng)的特定攝像機(jī)屬性實際上可能是有益的。

這些來自Berkeley Deep Drive數(shù)據(jù)集中每個汽車的示例都是從同一攝像機(jī)以相同的角度和姿勢拍攝的。它們還具有相同的偽影，例如擋風(fēng)玻璃反射和每幀右下角的物體。

由于自動駕駛汽車數(shù)據(jù)具有一致性，這導(dǎo)致使用一般數(shù)據(jù)增強(qiáng)器（例如Flip和Crop）對性能的損害超過其幫助。原因很簡單：翻轉(zhuǎn)訓(xùn)練圖像是沒有意義的，因為攝像頭將始終處于相同角度，并且汽車將始終位于道路的右側(cè)（因國家而已）。汽車幾乎永遠(yuǎn)不會在道路的左側(cè)，攝像頭也永遠(yuǎn)不會翻轉(zhuǎn)角度，因此對翻轉(zhuǎn)數(shù)據(jù)進(jìn)行訓(xùn)練會導(dǎo)致模型過度包含一些不會發(fā)生的場景。同樣，裁剪具有移動和縮放原始圖像的效果。由于汽車的攝像頭將始終位于相同位置，因此這種移動和縮放會導(dǎo)致網(wǎng)絡(luò)會浪費其對不相關(guān)場景的預(yù)測能力。

如何改進(jìn)？

現(xiàn)在，我們理解了自動駕駛汽車數(shù)據(jù)具有一致性，導(dǎo)致了之前那些增強(qiáng)器不太理想的結(jié)果。接下來，我們來看看是否可以利用這種一致性來進(jìn)一步提高性能。

在引入任何新的擴(kuò)充器之前，我檢查了我們的數(shù)據(jù)集以查看是否可以在數(shù)據(jù)級別進(jìn)行任何改進(jìn)。我們的訓(xùn)練集最初包括來自兩個廣角相機(jī)和一個帶變焦鏡頭的相機(jī)的圖像。變焦鏡頭產(chǎn)生類似于Crop的縮放和移動效果。在測試時，我們僅使用廣角相機(jī)，因此對縮放圖像進(jìn)行訓(xùn)練會使得網(wǎng)絡(luò)過于籠統(tǒng)。我發(fā)現(xiàn)，從訓(xùn)練集中刪除縮放圖像可以大大提高mmAP。這證實了我們的假設(shè)，即訓(xùn)練集和測試集之間的一致性對于性能至關(guān)重要。

刪除原始圖像增強(qiáng)器后，我們在新的更一致的新數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試。相對于原始方案，mmAP額外提高了10．5％。

之后，我們考慮了可以在不更改相機(jī)屬性的情況下更改訓(xùn)練數(shù)據(jù)的增強(qiáng)器。我在該項目開始時實施的Cutout增強(qiáng)似乎是一個不錯的選擇。與Flip和Crop不同，Cutout不會以嚴(yán)重影響相機(jī)屬性的方式（即通過翻轉(zhuǎn)，移動或縮放）來更改輸入。取而代之的是，Cutout可以模擬障礙物。障礙物在現(xiàn)實世界的駕駛數(shù)據(jù)中很常見，而障礙物的不變性可以幫助網(wǎng)絡(luò)檢測部分被遮擋的物體。

障礙物在現(xiàn)實世界的駕駛數(shù)據(jù)中很常見。在此圖像中，兩個行人擋住了我們對警車的視野，而大包擋住了我們對行人的視野。

色相抖動（Hue jitter）還可以在不影響相機(jī)屬性的情況下幫助泛化。色相抖動只是將輸入的色相移動一個隨機(jī)量。這有助于網(wǎng)絡(luò)對顏色進(jìn)行泛化（例如，紅色汽車和藍(lán)色汽車都應(yīng)被檢測為汽車）。不出所料，Cutout和色相抖動都改善了在新數(shù)據(jù)集上的性能。

向新數(shù)據(jù)集中添加Cutout和色相抖動增強(qiáng)，相對mmAP分別增加了1％和0．2％。這比原始方案（即舊數(shù)據(jù)集上的Flip、Crop和權(quán)重衰減）提高了24．7％。

值得注意的是，這些增強(qiáng)技巧不適用于包含來自不同相機(jī)類型、不同角度和比例的圖像數(shù)據(jù)集。為了證明這一點，我們通過隨機(jī)翻轉(zhuǎn)和剪裁創(chuàng)建了具有多種相機(jī)屬性的測試集。不出所料，在更通用的數(shù)據(jù)集上，我們新的增強(qiáng)方案的性能比原始的一般增強(qiáng)器差。

當(dāng)應(yīng)用于具有一致性的自動駕駛汽車數(shù)據(jù)時，我們的新增強(qiáng)方案（Cutout和色相抖動）與一般增強(qiáng)方案（Flip、Crop和權(quán)重衰減）相比，mmAP提升了11．7％。但是，當(dāng)我們將其應(yīng)用到更多樣化的數(shù)據(jù)時，與一般方案相比，其結(jié)果會下降24．3％。

最后

Flip和Crop等增強(qiáng)方式在很多研究工作上取得了廣泛的成功，以至于我們從沒想過要質(zhì)疑它們對我們特定問題的適用性。當(dāng)我們從根本原理重新審視增強(qiáng)概念時，很明顯我們可以做得更好。機(jī)器學(xué)習(xí)領(lǐng)域有許多類似的“通用最佳實踐”，例如如何設(shè)置學(xué)習(xí)率，使用什么優(yōu)化器以及如何初始化模型。對于機(jī)器學(xué)習(xí)工程師來說，不斷重新審視我們關(guān)于如何訓(xùn)練模型的假設(shè)非常重要，尤其是在針對特定應(yīng)用進(jìn)行構(gòu)建時。學(xué)術(shù)界尚未對此類問題進(jìn)行探討，而通過以嶄新的眼光看它們，我們可以極大地改善機(jī)器學(xué)習(xí)的實際應(yīng)用。
責(zé)任編輯：PSY