本文轉(zhuǎn)載自 AI人工智能初學(xué)者，作者ChaucerG

傳統(tǒng)的目標(biāo)檢索任務(wù)旨在學(xué)習(xí)具有內(nèi)部相似度和內(nèi)部相異度的區(qū)分特征表示，它假設(shè)圖像中的對(duì)象是手動(dòng)或自動(dòng)精確裁剪的。但是，在許多現(xiàn)實(shí)世界中的搜索場(chǎng)景（例如，視頻監(jiān)視）中，很少準(zhǔn)確地檢測(cè)或標(biāo)注對(duì)象（例如，人、車輛等）。因此，在沒(méi)有邊界框注釋的情況下，物體級(jí)檢索變得很棘手，這導(dǎo)致了一個(gè)新的但具有挑戰(zhàn)性的主題，即圖像搜索。

1、簡(jiǎn)介

行人搜索是圖像搜索問(wèn)題的第一個(gè)嘗試。在此之前，雖然對(duì)人的檢測(cè)和重識(shí)別做了大量的努力，但大多數(shù)都是獨(dú)立處理這兩個(gè)問(wèn)題的。也就是說(shuō)，傳統(tǒng)方法將行人搜索任務(wù)劃分為兩個(gè)獨(dú)立的子任務(wù)。

首先，利用行人檢測(cè)器從圖像中預(yù)測(cè)人物的邊界盒，然后根據(jù)預(yù)測(cè)的邊界盒的坐標(biāo)對(duì)被檢測(cè)人物的矩形區(qū)域進(jìn)行裁剪。其次，提取檢測(cè)框內(nèi)行人的特征用于重新識(shí)別人物。

在一般的行人重識(shí)別(Re-ID)任務(wù)中，對(duì)行人圖像進(jìn)行人工注釋和裁剪，然后用于訓(xùn)練的鑒別特征表示網(wǎng)絡(luò)。一方面是因?yàn)樵谡鎸?shí)的視頻監(jiān)控任務(wù)中，大多數(shù)檢測(cè)器不可避免地會(huì)出現(xiàn)誤檢和框選不準(zhǔn)的情況，在一定程度上可能會(huì)導(dǎo)致ReID精度的性能顯著下降。另一方面，這兩個(gè)獨(dú)立的子任務(wù)似乎對(duì)實(shí)際應(yīng)用程序中的最終Re-ID不太友好。

圖1 傳統(tǒng)ReID+檢索的過(guò)程和本文所提方法的對(duì)比圖

在本文中，為了解決圖像搜索問(wèn)題，我們首先介紹一個(gè)端到端集成網(wǎng)(I-Net)，它具有三個(gè)優(yōu)點(diǎn)：

1）通過(guò)設(shè)計(jì)Siamese架構(gòu)來(lái)進(jìn)行在線匹配相似和不相似樣本對(duì)。

2）引入了新穎的在線配對(duì)(OLP)損失和動(dòng)態(tài)特征字典，該字典通過(guò)自動(dòng)生成多個(gè)負(fù)數(shù)對(duì)來(lái)限制正數(shù)，從而減輕了多任務(wù)訓(xùn)練停滯問(wèn)題。

3）提出了一種Hard example priority(HEP)的softmax損失，以通過(guò)選擇Hard類別來(lái)提高分類任務(wù)的魯棒性。

借助分而治之的理念，文章進(jìn)一步提出了一種改進(jìn)的I-Net，稱為DC-I-Net，它做出了兩個(gè)新的貢獻(xiàn)：

1）量身定制了兩個(gè)模塊以在集成框架中分別處理不同的任務(wù)，從而使任務(wù)規(guī)格得到保證。

2）提出了通過(guò)利用memory的類中心進(jìn)行類中心指導(dǎo)的HEP Loss()，從而可以捕獲內(nèi)部相似度和內(nèi)部相似度以進(jìn)行最終檢索。

在著名的面向圖像級(jí)搜索的基準(zhǔn)數(shù)據(jù)集上的大量實(shí)驗(yàn)表明，所提出的DC-I-Net優(yōu)于最新的tasks-integrated和tasks-separated的圖像搜索模型。

2、本文方法

這篇論文是I-Net的一個(gè)實(shí)質(zhì)性擴(kuò)展，在網(wǎng)絡(luò)架構(gòu)和損失函數(shù)方面做出了以下新貢獻(xiàn):

2.1、I-Net

為了實(shí)現(xiàn)更好的圖像搜索任務(wù)，I-Net(Siamese I-Net)將行人檢測(cè)和行人重識(shí)別設(shè)計(jì)為端到端(End-to-End)的框架，如下圖：

對(duì)于每一次迭代，包含相同身份id的圖像對(duì)將被輸入到Siamese I-Net中。利用骨干網(wǎng)絡(luò)進(jìn)行初步特征的提取。然后，通過(guò)兩個(gè)RPN結(jié)構(gòu)得到候選區(qū)域。再然后將這些候選區(qū)域特征輸入到ROIPooling中并輸出的特征圖，最后是兩個(gè)全連接層分別用于檢測(cè)任務(wù)和檢索檢索(即ReID)任務(wù)。同時(shí)該結(jié)構(gòu)的提出的同時(shí)也提出了兩個(gè)損失函數(shù)，即OLP Loss和HEPLoss，用于學(xué)習(xí)與ReID相關(guān)的有效特征。

通過(guò)兩個(gè)RPN生成的候選區(qū)域，ROI池化層被集成到I-Net中。然后，兩個(gè)Stream匯集的特征被輸入到有4096個(gè)神經(jīng)元的兩個(gè)FC中。為了消除行人候選區(qū)域的假陽(yáng)性使用二值交叉熵?fù)p失區(qū)分訓(xùn)練。（注意，對(duì)于一般的圖像搜索任務(wù)都會(huì)使用softmax分類器來(lái)進(jìn)行目標(biāo)檢測(cè)）；除此之外L1損失用來(lái)約束候選框的位置，同時(shí)會(huì)有一對(duì)256-D的特征用通過(guò)OLP Loss和HEP Loss來(lái)訓(xùn)練ReID Branch的模型。

2.2、On-line Pairing Loss (OLP Loss)

設(shè)計(jì)OLP損失函數(shù)主要從以下幾個(gè)角度考慮的：

1 減小類內(nèi)差距、增加類間差距

2 由于輸入的圖像數(shù)量不足，且每幅圖像中目標(biāo)的鎖定，容易出現(xiàn)容易對(duì)多而身份少的情況，會(huì)導(dǎo)致傳統(tǒng)度量損失(如Triplet Loss)的停滯問(wèn)題，嚴(yán)重阻礙了模型的有效訓(xùn)練。

OLP Loss的設(shè)計(jì)形式如下：

OLP損失可以按照如下步驟進(jìn)行復(fù)現(xiàn)：

1.收集兩幅相同身份輸入圖像的特性，并構(gòu)造成正樣本對(duì)。

2.為每個(gè)正樣本對(duì)特征中的和被設(shè)置為Anchor。負(fù)樣本特征存儲(chǔ)在特征字典中，與Anchor對(duì)配對(duì)，構(gòu)建負(fù)樣本對(duì)。

3.計(jì)算OLP損失，然后計(jì)算OLP梯度，進(jìn)行梯度反向傳播優(yōu)化。

4.存儲(chǔ)輸入的特征，逐步更新特征字典。

2.3、Hard Example Priority Loss (HEP Loss)

OLP損失函數(shù)使正樣本對(duì)的余弦距離更小，負(fù)樣本對(duì)的余弦距離更大，這并不能直接對(duì)損失函數(shù)中的id標(biāo)簽進(jìn)行回歸。另外，傳統(tǒng)的基于softmax的分類器交叉損失訓(xùn)練方法沒(méi)有考慮樣本在數(shù)據(jù)中的難易程度?；谏鲜隹紤]，提出了HEP Loss，目的是回歸具有高優(yōu)先級(jí)的身份標(biāo)簽。

在圖4中，Hard Example的選擇如下:

首先確定每個(gè)有身份的輸入圖像對(duì)的標(biāo)簽索引，以確保groundtruth類。

對(duì)于每個(gè)子組，將距離最大的最上面r個(gè)負(fù)樣本的標(biāo)簽索引存儲(chǔ)在優(yōu)先級(jí)類池P中，使難例的優(yōu)先級(jí)類得到集中。

如果池P的大小仍然小于預(yù)設(shè)的T，便隨機(jī)選擇幾個(gè)類填充池。

最后，利用傳統(tǒng)的基于softmax的交叉熵?fù)p失和選擇的優(yōu)先級(jí)類，將提出的HEP損失函數(shù)表示為:

其中，表示分類器給出的第i個(gè)proposal的分?jǐn)?shù)，j表示第j個(gè)類。在損失函數(shù)中，只使用選定的類別進(jìn)行損失計(jì)算，進(jìn)而使得損失函數(shù)集中在硬類別上。

2.4、Overall Loss of I-Net

I-Net是一種將檢測(cè)和重識(shí)別結(jié)合起來(lái)進(jìn)行訓(xùn)練的端到端模型。因此損失由兩部分組成:檢測(cè)損失()和重識(shí)別損失(和)，表示如下:

2.5、DC-I-NET

相較于I-Net，DC-I-NET：

1.通過(guò)使用來(lái)自不同層的特征，很好地考慮了檢測(cè)和重新識(shí)別的任務(wù)專注度；

2.利用ROI-Align模塊生成2級(jí)檢測(cè)器來(lái)提取refined目標(biāo)以用于訓(xùn)練度量損失；

3.提出了class-center引導(dǎo)困難樣本優(yōu)先的()損失，用于訓(xùn)練的id的分類損失。

Detector：在DC-I-Net中，檢測(cè)任務(wù)和行人重識(shí)別任務(wù)的特征是從不同網(wǎng)絡(luò)層次中提取的。經(jīng)過(guò)分類損失和回歸損失監(jiān)督的兩階段檢測(cè)，完成準(zhǔn)確Bounding Boxes(即目標(biāo)行人)的檢測(cè)。

Re-identifier：經(jīng)過(guò)兩階段檢測(cè)后，將refined bounding Boxes的坐標(biāo)輸入ROIAlign層，計(jì)算refined目標(biāo)建議的特征，用于行人重識(shí)別。對(duì)于ReID任務(wù)，匯集的feature map的大小為7x14，其寬高比與person的邊框相似。然后將特征圖輸入全連通層，學(xué)習(xí)用于行人重識(shí)別的特征向量表示。最后，通過(guò)全連通層生成目標(biāo)方案的256-D的經(jīng)過(guò)L2歸一化后特征，并將其輸入到和中進(jìn)行重識(shí)別模塊的訓(xùn)練。

損失函數(shù)定義如下：

DC-I-Net總損失為：

3、實(shí)驗(yàn)結(jié)果

原文標(biāo)題：【檢測(cè)+檢索】一個(gè)模型讓你不僅看得見(jiàn)也可以找得到，集檢測(cè)與檢索與一身的作品

文章出處：【微信公眾號(hào)：機(jī)器視覺(jué)CV】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq