對(duì)城市自動(dòng)駕駛語義分割的開源數(shù)據(jù)集的理解可能會(huì)對(duì)工程師如何訓(xùn)練自動(dòng)駕駛模型有所幫助。

最近10年我們?cè)谡Z義分割數(shù)據(jù)集的創(chuàng)建和算法提升方面付出了很多努力。最近得益于深度學(xué)習(xí)理論的發(fā)展，我們?cè)谝曈X場(chǎng)景理解的子領(lǐng)域中獲得了不少進(jìn)步。深度學(xué)習(xí)的缺點(diǎn)是需要大量的標(biāo)注數(shù)據(jù)，這里我們整理了一些廣泛應(yīng)用的城市語義分割的數(shù)據(jù)集，希望可以為自動(dòng)駕駛領(lǐng)域提供借鑒。

這是我們關(guān)于如果為自動(dòng)駕駛提供語義分割數(shù)據(jù)集系列文章中的第一篇。語義分割標(biāo)注任務(wù)主要是指在像素級(jí)水平上，把圖片中的物體按照類分別標(biāo)注。這些類可能是行人，車輛，建筑物，天空，植被等等。例如，語義分割可以幫助SDCs(自動(dòng)駕駛車輛)識(shí)別一個(gè)圖片中的可行駛區(qū)域。

數(shù)據(jù)集

CAMVID

CamVid(960x720px)

這是最早用于自動(dòng)駕駛領(lǐng)域的語義分割數(shù)據(jù)集，發(fā)布于2007年末。他們應(yīng)用自己的圖像標(biāo)注軟件在一段10分鐘的視頻中連續(xù)標(biāo)注了700張圖片，這些視頻是由安裝在汽車儀表盤的攝像機(jī)拍攝的，拍攝視角和司機(jī)的視角基本一致。

KITTI

KITTI Dataset(1242*375px)

KITTI數(shù)據(jù)集發(fā)布于2012年，但是他們起初不標(biāo)注好的語義分割圖像，而是后來由另外的團(tuán)隊(duì)標(biāo)注而成。然而這個(gè)數(shù)據(jù)集沒有包括對(duì)道路的標(biāo)注。這個(gè)小數(shù)據(jù)集是由安裝在車頂部的一系列傳感器包括灰度傳感器，彩色相機(jī)，雷達(dá)掃描儀和GPS/IMU單元拍攝而成。

DUS

DUS Dataset(1024*440px)

這個(gè)數(shù)據(jù)集包括5000灰度圖像，其中只有500張標(biāo)注過的語義分割圖片。與其他數(shù)據(jù)集不同的是，它不包括“自然”這一分類。因?yàn)槌叽缧?，所以它比較適合用來測(cè)試語義分割模型的表現(xiàn)效果。

CityScapes

Cityscapes Dataset(2048*1024px)

它是DUS數(shù)據(jù)集的擴(kuò)展版本，在更多的地形和氣候條件下錄制來獲取更多變的城市景觀。這個(gè)數(shù)據(jù)集也包括了很多粗糙的圖片來提升大量弱標(biāo)注的數(shù)據(jù)的表現(xiàn)效果。和DUS類似，相機(jī)是安裝在擋風(fēng)玻璃后面。圖片中的30個(gè)類別也被分成了8個(gè)大類。這個(gè)數(shù)據(jù)集的一個(gè)特征就是它提供了20000多張粗分割的圖片。很多深度學(xué)習(xí)技術(shù)應(yīng)用這個(gè)傳統(tǒng)的數(shù)據(jù)集來提升他們IoU評(píng)分。

最近的模型一般IoU都在80%以上，一下鏈接包含了他們的打分系統(tǒng)還有實(shí)施準(zhǔn)則。

Mapillary

Mapillary Vistas Dataset

是一個(gè)街景圖片平臺(tái)，平臺(tái)注冊(cè)用戶可以共同合作參與去制作更好的地圖。他們開放了部分圖片數(shù)據(jù)集并且以像素級(jí)精度標(biāo)注了這些圖片。在寫這篇文章時(shí)，它是世界上最大的做多樣化的開源數(shù)據(jù)集，地理范圍跨越了大陸。

由于這個(gè)平臺(tái)上的圖片使大眾一起收集的，所以圖片角度有很多種類。