今天，谷歌宣布開放Open Images V4數(shù)據(jù)集，包含190萬張圖片，共計(jì)600個(gè)類別，共標(biāo)記了1540萬個(gè)邊界框，這是迄今的有對(duì)象位置注釋的最大數(shù)據(jù)集?；诖藬?shù)據(jù)集，谷歌將在ECCV 2018舉辦大型圖像挑戰(zhàn)賽。

2016年，谷歌推出一個(gè)包含900萬張圖片的聯(lián)合發(fā)布數(shù)據(jù)庫(kù)：Open Images，其中標(biāo)注了成千上萬個(gè)對(duì)象類別。從它發(fā)布以來，谷歌的工程師一直在努力更新和重新整理數(shù)據(jù)集，以為計(jì)算機(jī)視覺研究領(lǐng)域提供有用的資源來開發(fā)新的模型。

今天，谷歌宣布開放Open Images V4，其中包含190萬張圖片，共計(jì)600個(gè)類別，共標(biāo)記了1540萬個(gè)邊界框。這個(gè)數(shù)據(jù)集成為現(xiàn)有的帶有對(duì)象位置注釋的最大數(shù)據(jù)集。這些邊界框大部分是由專業(yè)的注釋人員手工繪制的，以確保準(zhǔn)確性和一致性。這些圖像非常多樣，通常包含有幾個(gè)對(duì)象的復(fù)雜場(chǎng)景（平均每個(gè)圖像包含8個(gè)邊界框）。

谷歌發(fā)起大型開放圖像挑戰(zhàn)賽

與此同時(shí)，谷歌還推出Open Image Challenge（開放圖像挑戰(zhàn)賽），這是一項(xiàng)新的目標(biāo)檢測(cè)挑戰(zhàn)，將在2018年歐洲計(jì)算機(jī)視覺會(huì)議（ECCV 2018）上舉行。Open Image Challenge遵循了PASCAL VOC、ImageNet和COCO的傳統(tǒng)，但規(guī)?？涨埃?/p>

在170萬張訓(xùn)練圖片中，有1220萬個(gè)有框注釋，共500個(gè)類別。

比以前的檢測(cè)挑戰(zhàn)更廣泛，包括諸如“fedora”和“snowman”之類的新對(duì)象。

除了對(duì)象檢測(cè)這個(gè)任務(wù)之外，挑戰(zhàn)還包括一個(gè)視覺關(guān)系檢測(cè)跟蹤人物，即在特定關(guān)系中檢測(cè)對(duì)象的配對(duì)情況，例如“女人彈吉他”。

訓(xùn)練集現(xiàn)在已經(jīng)可以使用了。一組包含10萬個(gè)圖像的測(cè)試集將于2018年7月1日由Kaggle發(fā)布。提交結(jié)果的截止日期是2018年9月1日。我們希望這些大型的訓(xùn)練集能夠激發(fā)對(duì)更精密的探測(cè)模型的研究，這些模型將超過目前最先進(jìn)的性能，并且500個(gè)類別將能夠更精確地評(píng)估不同的探測(cè)器在哪里表現(xiàn)得最好。此外，有大量的圖像和許多對(duì)象的注釋使我們能夠探索視覺關(guān)系檢測(cè)，這是一個(gè)正在發(fā)展的分支領(lǐng)域的熱門話題。

除此之外，Open Images V4還包含3010萬的人工驗(yàn)證的圖像級(jí)標(biāo)簽，共計(jì)19794個(gè)類別，這并不是挑戰(zhàn)的一部分。該數(shù)據(jù)集包括550萬個(gè)圖像級(jí)標(biāo)簽，由來自世界各地的成千上萬的用戶在crowdsource.google.com上生成。

Open Images V4數(shù)據(jù)集

Open Images是一個(gè)由900萬張圖片組成的數(shù)據(jù)集，這些圖像被標(biāo)注為圖像級(jí)標(biāo)簽和對(duì)象邊界框。V4的訓(xùn)練集包含了600對(duì)象類的1460萬個(gè)圖像，其中共標(biāo)記了174萬個(gè)標(biāo)記目標(biāo)，這使得它成為現(xiàn)有的最大包含對(duì)象位置注釋的數(shù)據(jù)集。這些物體的邊界框大部分是由專業(yè)的注釋器手工繪制的，以確保準(zhǔn)確性和一致性。這些圖像非常多樣，通常包含有多個(gè)對(duì)象的復(fù)雜場(chǎng)景（平均每個(gè)圖像有8.4個(gè)標(biāo)記）。此外，數(shù)據(jù)集還帶有數(shù)千個(gè)類的圖像級(jí)標(biāo)簽。

數(shù)據(jù)組織結(jié)構(gòu)

數(shù)據(jù)集被分割為一個(gè)訓(xùn)練集（9,011,219圖像），一個(gè)驗(yàn)證集（41620個(gè)圖像）和一個(gè)測(cè)試集（125,436張圖片）。這些圖像被標(biāo)注了圖像級(jí)標(biāo)簽和邊界框，如下所述。

表1

表1顯示了數(shù)據(jù)集的所有子集中的圖像級(jí)標(biāo)簽的概述。所有的圖像都有機(jī)器生成的圖像級(jí)標(biāo)簽，這些標(biāo)簽是由類似于Google Cloud Vision API的計(jì)算機(jī)視覺模型自動(dòng)生成的。這些自動(dòng)生成的標(biāo)簽有一個(gè)很大的假正率。

此外，驗(yàn)證和測(cè)試集，以及部分訓(xùn)練集都包含經(jīng)過人工驗(yàn)證的圖像級(jí)標(biāo)簽。大多數(shù)驗(yàn)證都是由Google內(nèi)部的注釋者完成的。更小的部分是通過圖片標(biāo)簽軟件來完成的，如Crowdsource app, g.co/imagelabeler。這個(gè)驗(yàn)證過程實(shí)際上消除了假陽(yáng)性（但不是傳統(tǒng)意義上的假陰性，這種方式會(huì)導(dǎo)致一些標(biāo)簽可能在圖像中丟失）。由此產(chǎn)生的標(biāo)簽在很大程度上是正確的，我們建議使用這些標(biāo)簽來訓(xùn)練計(jì)算機(jī)視覺模型。使用多個(gè)計(jì)算機(jī)視覺模型來生成樣本，這樣做是保證在訓(xùn)練時(shí)不僅僅用機(jī)器生成的標(biāo)簽數(shù)據(jù)，這就是為什么詞匯表被顯著擴(kuò)展的原因，如表一所示。

總的來說，有19995個(gè)不同的類和圖像級(jí)標(biāo)簽。請(qǐng)注意，這個(gè)數(shù)字略高于上表中人工驗(yàn)證的標(biāo)簽的數(shù)量。原因是在機(jī)器生成的數(shù)據(jù)集中有少量的標(biāo)簽并沒有出現(xiàn)在人工驗(yàn)證的集合中?？捎?xùn)練的類是那些在V4訓(xùn)練集中至少有100個(gè)正例的人工驗(yàn)證類。基于這個(gè)定義，7186個(gè)類被認(rèn)為是可訓(xùn)練的。

邊界框

表2

表2顯示了數(shù)據(jù)集的所有分割中邊界框注釋的概述，它包含了600個(gè)對(duì)象類。這些服務(wù)提供的范圍比ILSVRC和COCO探測(cè)挑戰(zhàn)的范圍更廣，包括諸如“fedora”和“snowman”之類的新對(duì)象。

對(duì)于訓(xùn)練集，我們?cè)?74 萬的圖像中標(biāo)注了方框，用于可用的陽(yáng)性人工標(biāo)記的圖像級(jí)標(biāo)簽。我們關(guān)注最具體的標(biāo)簽。例如，如果一個(gè)圖像包含汽車、豪華轎車、螺絲刀，我們?yōu)楹廊A轎車和螺絲刀提供帶注釋的標(biāo)注方框。對(duì)于圖像中的每一個(gè)標(biāo)簽，我們?cè)敱M地注釋了圖像中的對(duì)象類的每個(gè)實(shí)例。數(shù)據(jù)集共包含1460萬個(gè)的邊界框。平均每個(gè)圖像有8.4個(gè)標(biāo)記對(duì)象。

對(duì)于驗(yàn)證和測(cè)試集，針對(duì)所有可用的正圖像級(jí)標(biāo)簽，我們提供了所有對(duì)象實(shí)例詳盡的邊界框注釋。所有的邊界框都是手工繪制的。我們有意地嘗試在語義層次結(jié)構(gòu)中盡可能詳盡地標(biāo)注注釋框。平均來說，在驗(yàn)證和測(cè)試集中，每個(gè)圖像標(biāo)記了5個(gè)邊界框。

在所有的子集中，包括訓(xùn)練集、驗(yàn)證集和測(cè)試集中，注釋器還為每個(gè)邊界框標(biāo)記了一組屬性，例如指出該對(duì)象是否被遮擋。

類定義（Class definitions）

類別由MIDs（機(jī)器生成的id）標(biāo)識(shí)，可以在Freebase或Google知識(shí)圖的API中找到。每個(gè)類的簡(jiǎn)短描述都可以在類中CSV中找到。

統(tǒng)計(jì)和數(shù)據(jù)分析

600個(gè)可標(biāo)記類的層次結(jié)構(gòu)