在自動(dòng)駕駛領(lǐng)域，目標(biāo)檢測(cè)是一項(xiàng)富有挑戰(zhàn)性的工作，尤其是一些出現(xiàn)頻率較低的特殊目標(biāo)，常因數(shù)據(jù)不足導(dǎo)致檢測(cè)效果一般。對(duì)此，Nullmax的感知團(tuán)隊(duì)提出了一項(xiàng)針對(duì)少見(jiàn)目標(biāo)檢測(cè)的數(shù)據(jù)增強(qiáng)方法，并將相應(yīng)數(shù)據(jù)集開(kāi)源上線，為行業(yè)解決數(shù)據(jù)缺乏難題，應(yīng)對(duì)長(zhǎng)尾挑戰(zhàn)提供研究參考。

對(duì)于自動(dòng)駕駛車輛而言，準(zhǔn)確識(shí)別各類目標(biāo)和障礙物信息，可以有效保障行駛安全。因此感知系統(tǒng)既要檢測(cè)一些路上常見(jiàn)的目標(biāo)，比如車輛、行人、交通標(biāo)識(shí)等，也要檢測(cè)了一些少見(jiàn)的目標(biāo)，比如錐形筒、交通警示桶、三角警示牌，等等。

這些檢測(cè)少見(jiàn)目標(biāo)的神經(jīng)網(wǎng)絡(luò)模型，和其他常見(jiàn)目標(biāo)的檢測(cè)模型一樣，需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。但這類目標(biāo)出現(xiàn)概率很低，所以獲取訓(xùn)練數(shù)據(jù)需要耗費(fèi)大量的成本和時(shí)間。

因此，Nullmax的感知團(tuán)隊(duì)提出了一種基于交通場(chǎng)景信息的數(shù)據(jù)增強(qiáng)方法，通過(guò)Copy-Paste方式零成本生成高度逼真的訓(xùn)練樣本，解決少見(jiàn)目標(biāo)檢測(cè)的數(shù)據(jù)難題。實(shí)驗(yàn)結(jié)果顯示，Nullmax的新方法可以顯著提升少見(jiàn)目標(biāo)檢測(cè)的任務(wù)效果。

同時(shí)，Nullmax建立了專用于自動(dòng)駕駛少見(jiàn)目標(biāo)檢測(cè)的數(shù)據(jù)集Rare ObjectDataset（ROD），并在近期正式開(kāi)源上線。ROD是該細(xì)分領(lǐng)域內(nèi)的首個(gè)公開(kāi)數(shù)據(jù)集，可以為目標(biāo)檢測(cè)、數(shù)據(jù)增強(qiáng)等方面的研究者提供稀缺的數(shù)據(jù)，研究特殊目標(biāo)檢測(cè)相關(guān)課題。

01

ROD自動(dòng)駕駛數(shù)據(jù)集

Nullmax推出的ROD是一個(gè)多樣化的真實(shí)世界數(shù)據(jù)集，當(dāng)中包含大量訓(xùn)練圖像和驗(yàn)證圖像，并對(duì)小車、卡車、巴士、行人和自行車這5類常見(jiàn)目標(biāo)進(jìn)行了相應(yīng)標(biāo)注。

此外，ROD還提供了3類典型少見(jiàn)目標(biāo)的掩膜，可用于少見(jiàn)目標(biāo)檢測(cè)和數(shù)據(jù)增強(qiáng)方法的研究，當(dāng)中包括大約1000個(gè)錐形筒、100個(gè)交通警示桶和50個(gè)三角警示牌的掩膜數(shù)據(jù)。

ROD具有良好的數(shù)據(jù)多樣性，覆蓋了自動(dòng)駕駛的不同場(chǎng)景。它包含了不同的道路級(jí)別，包括高速公路、快速路、城市街道以及鄉(xiāng)村道路；不同的天氣狀況，比如晴天、陰天和雨天；以及不同的時(shí)間段，包括白天、傍晚和夜間。

ROD數(shù)據(jù)集現(xiàn)已開(kāi)放下載：

https://nullmax-vision.github.io/

02

基于交通場(chǎng)景信息的數(shù)據(jù)增強(qiáng)

為了解決少見(jiàn)目標(biāo)檢測(cè)的數(shù)據(jù)難題，Nullmax的感知團(tuán)隊(duì)提出了結(jié)合交通場(chǎng)景的數(shù)據(jù)增強(qiáng)方法，通過(guò)簡(jiǎn)單有效的Copy-Paste增強(qiáng)方式生成逼真的訓(xùn)練數(shù)據(jù)，獲得了出色的檢測(cè)效果。

論文地址：

https://arxiv.org/pdf/2205.00376.pdf

通常來(lái)說(shuō)，訓(xùn)練樣本較少的目標(biāo)檢測(cè)任務(wù)可以看作是面向不平衡或長(zhǎng)尾的數(shù)據(jù)集。有一些研究者，通過(guò)重采樣訓(xùn)練數(shù)據(jù)和調(diào)整損失函數(shù)權(quán)重來(lái)解決這個(gè)問(wèn)題，但這類方法對(duì)于專家經(jīng)驗(yàn)較為依賴。

數(shù)據(jù)增強(qiáng)是解決數(shù)據(jù)稀缺問(wèn)題的另一個(gè)研究方向，旨在通過(guò)最小代價(jià)生成大量帶標(biāo)注的訓(xùn)練樣本。數(shù)據(jù)增強(qiáng)大致可以分為圖像級(jí)增強(qiáng)和實(shí)例級(jí)增強(qiáng)，當(dāng)包含特定目標(biāo)類別的圖像級(jí)訓(xùn)練數(shù)據(jù)達(dá)到一定數(shù)量時(shí)，前者是一種有效的方法；反之，則是實(shí)例級(jí)數(shù)據(jù)增強(qiáng)更為適合。

Nullmax采用的Copy-Paste方式，就是一種常見(jiàn)的實(shí)例級(jí)數(shù)據(jù)增強(qiáng)，它從源域復(fù)制特定目標(biāo)類別的實(shí)例掩膜粘貼到目標(biāo)域。通過(guò)系統(tǒng)性的研究，我們證明了在自動(dòng)駕駛領(lǐng)域，通過(guò)結(jié)合交通場(chǎng)景信息的Copy-Paste數(shù)據(jù)增強(qiáng)方式，可以達(dá)到出色的少見(jiàn)目標(biāo)檢測(cè)性能。

具體來(lái)說(shuō)，Nullmax利用源域的目標(biāo)掩膜進(jìn)行實(shí)例級(jí)變換，創(chuàng)建逼真的目標(biāo)實(shí)例。并將交通場(chǎng)景信息用作全局的幾何約束，將局部自適應(yīng)的實(shí)例掩膜粘貼到目標(biāo)圖像上，生成訓(xùn)練數(shù)據(jù)。最后，再通過(guò)局部和全局的一致性保證訓(xùn)練數(shù)據(jù)的質(zhì)量和真實(shí)度。

Nullmax提出的方法包括了3個(gè)主要環(huán)節(jié)：

(1) 收集目標(biāo)實(shí)例掩膜和背景圖像。在Nullmax的研究中，所有的背景圖像來(lái)自于不同的真實(shí)交通場(chǎng)景。以錐形筒為例，它會(huì)涵蓋不同的類型、顏色和大小。

(2) 通過(guò)理解交通場(chǎng)景信息，計(jì)算實(shí)例掩膜的粘貼位置。在背景圖像上隨機(jī)粘貼目標(biāo)，效率低下，而且目標(biāo)之間的關(guān)聯(lián)可能與真實(shí)交通場(chǎng)景不符。Nullmax的方法以交通環(huán)境信息為約束，考慮相機(jī)內(nèi)外參，進(jìn)行實(shí)例掩膜的疊加。

(3) 對(duì)實(shí)例掩膜進(jìn)行局部自適應(yīng)轉(zhuǎn)換。為了確保目標(biāo)掩膜無(wú)縫粘貼到背景圖像中，Nullmax使用了一系列局部自適應(yīng)的數(shù)據(jù)增強(qiáng)策略：基于感知的景深，縮放粘貼對(duì)象；應(yīng)用多種實(shí)例級(jí)混合策略，確保圖像接縫盡量平滑；以及局部自適應(yīng)的顏色變換（HSV）。

實(shí)驗(yàn)顯示，Nullmax提出的數(shù)據(jù)增強(qiáng)方法在錐形筒檢測(cè)中取得了出色效果，并且這一方法也能夠推廣至其他類型的少見(jiàn)物體檢測(cè)任務(wù)當(dāng)中。

此外，Nullmax也研究了各組件的效果，分析了方法中實(shí)例掩膜域、實(shí)例掩膜數(shù)量和強(qiáng)化訓(xùn)練圖像數(shù)量的敏感性，證明了這一方法可為少見(jiàn)物體檢測(cè)任務(wù)提供有效的訓(xùn)練圖像。

03

加入我們

在自動(dòng)駕駛領(lǐng)域，除常規(guī)的目標(biāo)檢測(cè)之外，數(shù)據(jù)增強(qiáng)在少見(jiàn)目標(biāo)檢測(cè)方面的應(yīng)用鮮有人研究。我們提出的基于交通場(chǎng)景信息的Copy-Paste數(shù)據(jù)增強(qiáng)方法，可以簡(jiǎn)單高效地解決自動(dòng)駕駛領(lǐng)域中因數(shù)據(jù)稀缺所帶來(lái)的少見(jiàn)目標(biāo)檢測(cè)難題。

未來(lái)，我們希望通過(guò)增量訓(xùn)練對(duì)少見(jiàn)目標(biāo)檢測(cè)展開(kāi)進(jìn)一步研究。

審核編輯 ：李倩