目標檢測是計算機視覺的一個非常重要的核心方向，它的主要任務目標定位和目標分類。

在深度學習介入該領(lǐng)域之前，傳統(tǒng)的目標檢測思路包括區(qū)域選擇、手動特征提取、分類器分類。由于手動提取特征的方法往往很難滿足目標的多樣化特征，傳統(tǒng)方法始終沒能很好的解決目標檢測問題。

深度學習興起之后，神經(jīng)網(wǎng)絡(luò)可以從大量數(shù)據(jù)中自動學出強大的特征提取和擬合能力，因而涌現(xiàn)出很多性能優(yōu)良的目標檢測算法。

基于深度學習的目標檢測方法大致可分為三類——雙階段目標檢測、單階段目標檢測、基于transformer的目標檢測，本文將分別介紹這三類方法。

常用數(shù)據(jù)集

VOC數(shù)據(jù)集

VOC數(shù)據(jù)集[1]是目標檢測領(lǐng)域的常用數(shù)據(jù)集，共有約10,000張帶有邊界框的圖片用于訓練和驗證，每張圖片有像素級別的分割標注、邊界框標注以及目標類別標注，其中包含車輛、家具、動物、人4個大類，20個小類。

該數(shù)據(jù)集被廣泛用作目標檢測、語義分割、分類任務的基準數(shù)據(jù)集。

COCO數(shù)據(jù)集

COCO[2]的全稱是Microsoft Common Objects in Context，它是微軟于2014年出資標注的數(shù)據(jù)集，與ImageNet競賽一樣，COCO目標檢測競賽也被視為是計算機視覺領(lǐng)域最受關(guān)注和最權(quán)威的比賽之一。

相比于規(guī)模較小的VOC數(shù)據(jù)集，COCO是一個大型、豐富的物體檢測、分割數(shù)據(jù)集。這個數(shù)據(jù)集以scene understanding為目標，主要從復雜的日常場景中截取，并通過精確的segmentation進行目標位置的標定。

圖像包括91類目標，328,000影像和2,500,000個label。提供的類別有80 類，有超過33 萬張圖片，其中20 萬張有標注，整個數(shù)據(jù)集中個體的數(shù)目超過150 萬個。

雙階段目標檢測算法

相較于單階段目標檢測算法，雙階段目標檢測算法先根據(jù)圖像提取候選框，然后基于候選區(qū)域做二次修正得到檢測點結(jié)果，檢測精度較高，但檢測速度較慢。

這類算法的開山之作是RCNN[3]，隨后Fast RCNN[4]、Faster RCNN[5]依次對其進行了改進。

由于優(yōu)秀的性能，F(xiàn)aster RCNN至今仍然是目標檢測領(lǐng)域很有競爭力的算法。隨后，F(xiàn)PN[6]、Mask RCNN[7]等算法又針對Faster RCNN的不足提出了改進，這進一步豐富了Faster RCNN的組件，提升了它的性能。

RCNN

RCNN是首個將深度學習應用到目標檢測領(lǐng)域的工作，它的算法的思想較為簡單：對于每張圖片，RCNN首先采用選擇性搜索算法[1]生成大約2000個候選區(qū)域。隨后將每個候選區(qū)域的尺寸轉(zhuǎn)換為固定大小，并用CNN提取候選區(qū)域的特征。隨后使用SVM分類器判斷候選區(qū)域的類別，使用線性回歸模型，為每個物體生成更精確的邊界框。

盡管RCNN取得了很大進展，它仍然有很多缺點：首先，整個目標檢測階段涉及到三個模型，用于特征提取的CNN、用于分辨目標物體類別的SVM分類器、用于調(diào)整邊界框的線性回歸模型。RCNN無法做到端到端訓練，只能分別訓練這三個模型，這增大了訓練難度與訓練時間。

其次，每張圖片要提取2000個訓練區(qū)域，隨后又要用CNN分別提取每個區(qū)域的特征，特征的數(shù)量將非常大，這降低了模型的推理速度。通常每張圖片需要45秒進行預測，基本無法處理大型數(shù)據(jù)集。

圖1：RCNN算法流程

Fast RCNN

在RCNN中，每個候選區(qū)域都需要用CNN單獨提取特征。為了減少算法的計算時間，F(xiàn)ast-RCNN希望在每張圖片上只使用一次CNN，就能提取到所有關(guān)注區(qū)域的特征。為此，RCNN設(shè)計了如下步驟的目標檢測算法：

首先對圖片使用啟發(fā)式算法，得到大量候選區(qū)域。隨后將圖片輸入到卷積神經(jīng)網(wǎng)絡(luò)中，得到圖片的特征，與候選區(qū)域的相對位置結(jié)合，就可以得到候選區(qū)域的特征。隨后使用ROI池化層將候選區(qū)域調(diào)整至相同尺寸，并將調(diào)整后的結(jié)構(gòu)輸入到全連接神經(jīng)網(wǎng)絡(luò)中。最后在全連接神經(jīng)網(wǎng)絡(luò)后面添加softmax層，預測目標的列別;并以相同的方式添加線性回歸層。

與RCNN相比，F(xiàn)ast RCNN計算一張圖片只需要2秒，速度有大幅提升，每張圖片的計算時間只有但仍不夠理想。因為它依然用到了選擇性搜索方法得到感興趣區(qū)域，而這一過程通常很慢。

圖2：Fast RCNN網(wǎng)絡(luò)結(jié)構(gòu)

Faster RCNN

Faster RCNN針對感興趣區(qū)域的生成方式，對RCNN進行了優(yōu)化，進一步提高了計算速度和準確率。具體來說，F(xiàn)aster RCNN使用Reigion Proposal Network(RPN)生成感興趣區(qū)域：

首先，將圖片輸入到CNN中得到高層特征映射，隨后將其傳遞到RPN中。

RPN會在特征映射上使用一個滑動窗口，并在每個窗口設(shè)置K個不同大小、不同長寬比的先驗框。

對于每個先驗框，RPN會分別預測該框包含目標物體的概率，以及對該框的調(diào)整回歸量。最終得到不同形狀、尺寸的邊界框，調(diào)增尺寸后將其傳遞到完全連接層，得到目標類別以及最終的先驗框。

Faster RCNN進一步提高了計算速度，并獲得了較高的準確率。時至今日，依然是目標檢測領(lǐng)域的主流算法之一。

圖3：RPN的網(wǎng)絡(luò)結(jié)構(gòu)

FPN

Faster R-CNN是利用單個高層特征圖(下采樣四倍的卷積層——Conv4)進行物體的分類和bounding box的回歸。這樣做對小物體的檢測不利，因為小物體本身具有的像素信息較少，在下采樣的過程中，這些信息很容易丟失，從而降低了算法的性能。

為了處理這種物體大小差異十分明顯的檢測問題，F(xiàn)PN提出了特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，它引入了多尺度特征，在只增加少量計算量的情況下，提升小物體的檢測性能。

具體來說，F(xiàn)aster RCNN將最后一層特征輸入到了RPN中，最后一層的特征經(jīng)過3x3卷積，得到256個channel的卷積層，再分別經(jīng)過兩個1x1卷積得到類別得分和邊框回歸結(jié)果。

而FPN將P2、P3、P4、P5、P6這五個特征層的特征都輸入到了RPN中。每個特征層的下采樣倍數(shù)不同，這意味著它們具有不同的尺度信息分離，因此作者將322、642、1282、2562、5122這五種尺度的anchor，分別對應到P2、P3、P4、P5、P6這五個特征層上，這樣一來，每個特征層只需要專門處理單一的尺度信息即可。

此外，作者通過實驗發(fā)現(xiàn)，如果將這5個特征層后面的RPN參數(shù)共享，所得到的結(jié)果與不共享幾乎沒有差別。這說明不同下采樣倍數(shù)之間的特征有相似語義信息。

在FPN問世之后，立刻成為了Faster RCNN的必要組成部件。

圖4：FPN的網(wǎng)絡(luò)結(jié)構(gòu)

Mask RCNN

相較于Faster RCNN，Mask RCNN采用了全新的、性能更強的ResNeXt-101+FPN的組合作為backbone提取輸入圖片的特征。并在網(wǎng)絡(luò)最后額外添加了一個分支，進行mask預測任務，這將有助于提升特征提取網(wǎng)絡(luò)和RPN的性能。

此外，Mask RCNN還提出了一個改進，將原先的ROI池化層改進成ROIAlign層。在Faster RCNN中，有兩次整數(shù)化的操作：(1)RPN輸出的邊界框回歸值通常是小數(shù)，為了方便操作，會直接通過四舍五入把其整數(shù)化。(2)在ROI池化層中，整數(shù)化后的邊界區(qū)域被平均分割成了K×K個單元，因此需要對這些單元的邊界進一步整數(shù)化。

Mask RCNN的作者指出，經(jīng)過這兩次整數(shù)化后的候選框，已經(jīng)和最開始RPN輸出的候選框有了一定的位置偏差，這將影響模型的準確度。為此，作者提出了ROI Align方法，它沒有采用整數(shù)化操作，而是使用雙線性插值方法，獲得浮點數(shù)坐標的像素值。

圖5：Mask RCNN的網(wǎng)絡(luò)結(jié)構(gòu)

單階段目標檢測算法

相較于雙階段目標檢測算法，單階段目標驗測算法直接對圖像進行計算生成檢測結(jié)果，檢測低速度快，但檢測精度低。

這類算法的開山之作是YOLO[8]，隨后SSD [9]、Retinanet[10]依次對其進行了改進，提出YOLO的團隊將這些有助于提升性能的 trick融入到Y(jié)OLO算法中，后續(xù)又提出了4個改進版本YOLOv2~YOLOv5。

盡管預測準確率不如雙階段目標檢測算法，由于較快的運行速度，YOLO成為了工業(yè)界的主流。

YOLO

雙階段目標檢測需要預先設(shè)置大量先驗框，并且需要專門的神經(jīng)網(wǎng)絡(luò)RPN對先驗框進行位置修正。這種設(shè)定使得雙階段目標檢測算法復雜且計算慢。

YOLO是單階段目標檢測的開山之作，它只需要用神經(jīng)網(wǎng)絡(luò)處理一次圖片，就可以同時預測得到位置和類別，從而將目標檢測任務定義為端到端的回歸問題，提升了計算速度。YOLO的工作流程如下：

對于一張輸入圖片，首先將圖片縮放成統(tǒng)一的尺寸，并在圖片上劃分出若干表格。隨后使用卷積神經(jīng)網(wǎng)絡(luò)提取圖片特征，并使用全連接層在每個網(wǎng)格上進行回歸預測，每個網(wǎng)格預測K個box，每個box預測五個回歸值。其中的四個回歸值代表box的位置，第五個回歸值代表box中含有物體的概率和位置的準確程度。

隨后對于含有物體的box，使用全連接層，回歸預測物體的在各個類別的條件概率。因而，卷積網(wǎng)絡(luò)共輸出的預測值個數(shù)為N×(K×5+C)，其中N為網(wǎng)格數(shù)，K為每個網(wǎng)格生成box個數(shù)，C為類別數(shù)。

盡管單階段模型顯著提高了計算速度，YOLO劃分網(wǎng)格的方式較為粗糙，在小目標檢測任務上表現(xiàn)不佳，總體性能弱于Faster RCNN。

圖6：YOLO的檢測流程

SSD

針對YOLO的不足，SSD借鑒了雙階段目標檢測算法的一些trick，在YOLO的基礎(chǔ)上進行了一系列改進：

YOLO利用單個高層特征進行目標檢測，SSD則是將特征提取網(wǎng)絡(luò)中不同層的多個特征輸入到目標檢測模塊，以希望提升小物體檢測的精度。

YOLO在每個網(wǎng)格上預測多個邊界框，但這些預測都相對這個正方形網(wǎng)格本身，與真實目標多變的形狀差異較大，這使得YOLO需要在訓練過程中自適應目標的形狀。SSD借鑒了Faster R-CNN中先驗框理念，為每個網(wǎng)格設(shè)置不同尺度、長寬比的先驗框，這在一定程度上減少訓練難度。

SSD還使用卷積層絡(luò)替代全連接層，針對不同特征圖進行回歸預測，這樣一來，對于形狀為mxnxp的特征圖，只需要采用3x3xp這樣比較小的卷積核得到檢測值，進一步減少了模型的參數(shù)量，提高了計算速度。

SSD的改進，使得單階段目標檢測算法的性能基本與當時的Faster-RCNN持平，不過后續(xù)又被Faster-RCNN類算法超越。

圖7：SSD的網(wǎng)絡(luò)結(jié)構(gòu)

Retinanet

相較于SSD，RetinaNet并沒有模型層面的創(chuàng)新，模型的性能提升主要源自于Focal Loss，它進一步解決了目標檢測中的類別不平衡問題。

單階段目標檢測模型常常會面臨嚴重的正負樣本不平衡問題，由于算法會在圖片的每個位置密集抽樣，而圖片中的樣本數(shù)量有限，因此候選區(qū)域中的物體數(shù)量會顯著小于背景數(shù)量。

對于兩階段目標檢測模型，正負樣本不平衡問題得到了一定的緩解。因為第一階段的RPN可以避免生成很大一部分負樣本，最終第二階段的檢測模塊只需要處理少量候選框。

針對正負樣本不均衡問題，SSD算法采用了hard mining，從大量的負樣本中選出loss最大的topk個負樣本以保證正負樣本比例為1:3。

相較于SSD的抽樣方法，F(xiàn)ocal Loss從損失函數(shù)的視角來解決樣本不平衡問題，它根據(jù)置信度動態(tài)調(diào)整交叉熵損失函數(shù)，當預測正確的置信度增加時，loss的權(quán)重系數(shù)會逐漸衰減至0，這使得模型訓練的loss更關(guān)注難例，而大量容易的例子loss貢獻很低。

YOLO的后續(xù)版本

YOLO的團隊借鑒了其它有助于提升性能的 trick融入到Y(jié)OLO算法中，后續(xù)又提出了4個改進版本YOLOv2~YOLOv5。

YOLOv2使用了很多trick，包括：Batch Normalization、高分辨率圖像分類器、使用先驗框、聚類提取先驗框的尺度信息、約束預測邊框的位置、在passthrough層檢測細粒度特征、分層分類等。

YOLOv3借鑒了SSD的思想，使用了多尺度特征進行目標檢測，與SSD不同的是，YOLOv3采用上采樣+特征融合的方式，對多尺度特征進行了一定的融合。

后續(xù)版本采用了Retinanet提出的Facol loss，緩解了正負樣本不均衡問題，進一步提升了模型表現(xiàn)。

基于transformer

的方法

對于目標檢測任務而言，理論上講，各個目標之間的關(guān)系是有助于提升目標檢測效果的。盡管傳統(tǒng)目標檢測方法使用到了目標之間的關(guān)系，直到Transformer[11]模型面世，無論是單階段還是雙階段目標檢測，都沒有很好地利用到注意力機制。

一個可能的原因是目標與目標之間的關(guān)系難以建模，因為目標的位置、尺度、類別、數(shù)量都會因圖像的不同而不同。而現(xiàn)代基于CNN的方法大多只有一個簡單、規(guī)則的網(wǎng)絡(luò)結(jié)構(gòu)，對于上述復雜現(xiàn)象有些無能為力。

針對這種情況，Relation Net[12]和DETR[13]利用Transformer將注意力機制引入到目標檢測領(lǐng)域。Relation Net利用Transformer對不同目標之間的關(guān)系建模，在特征之中融入了關(guān)系信息，實現(xiàn)了特征增強。DETR則是基于Transformer提出了全新的目標檢測架構(gòu)，開啟了目標檢測的新時代。

Relation Net

盡管用到了Transformer，Relation Net仍然是基于Faster RCNN的改進工作。Faster RCNN會通過RPN網(wǎng)絡(luò)生成一系列感興趣區(qū)域，隨后將感興趣區(qū)域輸入到神經(jīng)網(wǎng)絡(luò)中預測目標的位置和類別。

Relation Net并沒有直接將感興趣區(qū)域輸入到最終的預測網(wǎng)絡(luò)中，而是先將這些感興趣區(qū)域輸入到transformer中，利用注意力機制，融合不同感興趣區(qū)域的關(guān)系信息，進而實現(xiàn)特征增強。隨后，再將transformer的輸出送入到最終的預測網(wǎng)絡(luò)中，預測目標的位置和類別。

此外，作者還用transformer模塊取代了非極大值抑制模塊(NMS)，真正實現(xiàn)了端到端訓練。

圖8：Relation module的結(jié)構(gòu)

DETR

DETR是首個用transformer完成目標檢測任務的代表性工作。

首先，DETR使用CNN提取圖片的特征，再加上NLP領(lǐng)域常用的位置編碼，最終生成了一批序列化數(shù)據(jù)。

在encoder階段，將序列化數(shù)據(jù)其送入encoder中，利用注意力機制提取數(shù)據(jù)中的特征。在decoder階段，輸入N個隨機初始化向量，每個object query關(guān)注圖片的不同位置。經(jīng)過decoder的解碼，最終會生成N個向量，每個向量對應一個檢測到的目標。最后將這N個向量輸入到神經(jīng)網(wǎng)絡(luò)中，得到每個目標的類別和位置。

相較于其它目標檢測算法，DETR生成的檢測框數(shù)量大幅減少，與真實的檢測框數(shù)量基本一致。DETR使用匈牙利算法，將預測框與真實框進行了匹配，隨后就可以計算出loss，完成對模型的訓練。

DETR取得了好于Faster RCNN的檢測效果，并且它不需要預先指定候選區(qū)域，不需要使用NMS去除重復的目標框，算法流程十分簡潔。

圖9：DETR的算法流程

總結(jié)

憑借著強大的特征提取能力，深度學習幫助目標檢測算法取得了長足的發(fā)展。

從RCNN開始，相關(guān)科研人員不斷引入新的機制、新的trick，以提高這類算法的精度。最終，以Faster RCNN為代表的雙階段目標檢測算法取得了很高的預測準確率。

相較于Faster RCNN，以YOLO為代表的單階段目標檢測算法在保證較高預測精度的同時取得了很高的計算速度，憑借其優(yōu)秀的實時性，在工業(yè)界取得了廣泛應用。

去年提出的以DETR為代表的視覺Transformer算法將注意力機制引入到目標檢測領(lǐng)域。DETR憑借其簡潔優(yōu)雅的結(jié)構(gòu)、超過Faster RCNN的準確率，吸引了越來越多的目標檢測從業(yè)者開展視覺transformer的研究。從目前的發(fā)展態(tài)勢來看，視覺transformer必將進一步推動目標檢測的快速進展。

原文標題：目標檢測 - 主流算法介紹 - 從RCNN到DETR

文章出處：【微信公眾號：機器視覺智能檢測】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅