實例分割的任務是將圖像中的像素分組為單個事物的實例，并用類標簽（可計數(shù)的對象，如人、動物、汽車等，并為每個對象分配獨特的標識符，如 car_1 和 car_2）來標識這些事物。實例分割作為一項核心的計算機視覺任務，對許多下游應用至關重要，如自動駕駛汽車、機器人、醫(yī)學成像和照片編輯。

近年來，深度學習 （Deep learning） 在使用 Mask R-CNN 之類的架構解決實例分割問題方面取得了重大進展。然而，這些方法依賴于收集大型的標簽實例分割數(shù)據(jù)集。但不同于收集邊界框標簽的方法，如 Extreme clicking，可以實現(xiàn)每個實例 7 秒的收集速度，收集實例分割標簽（稱為“掩碼”）時，每個實例用時可能需要高達 80 秒，該方式較高的成本，拉高了這項研究的門檻。另一個相關任務——泛型分割，甚至需要更多的標簽數(shù)據(jù)。

Mask R-CNN

https://arxiv.org/abs/1703.06870

Extreme clicking

https://arxiv.org/abs/1708.02750

高達 80 秒

https://arxiv.org/abs/1405.0312

部分監(jiān)督的實例分割環(huán)境（即只用實例分割掩碼給一小部分類加標簽，其余大部分類只用邊界框來加標簽）這一方法有可能減少對人工創(chuàng)建的掩碼標簽的依賴，從而大大降低開發(fā)實例分割模型的門檻。不過，這種部分監(jiān)督的方法也需要更強的模型泛化形式來處理訓練時沒有遇到過的新類別，例如，只用動物掩碼進行訓練，然后讓模型針對建筑物或植物產(chǎn)生準確的實例分割。此外，還有簡單的方法，例如訓練一個與類無關的 Mask R-CNN，同時忽略任何沒有掩碼標簽的實例的掩碼損失 （Loss function），但這些方法效果并不好。例如，在典型的 “VOC/Non-VOC” 基準中，Mask R-CNN 針對 COCO 中 20 個類的子集（稱為“已見類”）進行掩碼訓練，并在其余 60 個類（稱為“未見類”）上進行測試，一個帶有 Resnet-50 主干的典型 Mask R-CNN 在未見類上的 掩碼 mAP（即平均精度，數(shù)值越高越好）只能達到約 18%，而在全監(jiān)督時，在同一集合上的掩碼 mAP 則高出很多，超過了 34%。

部分監(jiān)督的實例分割環(huán)境

https://arxiv.org/abs/1711.10370

在即將發(fā)布于 ICCV 2021 的“掩碼頭部架構對新類別分割的驚人影響 （The surprising impact of mask-head architecture on novel class segmentation）”一文中，我們確定了 Mask R-CNN 在新類別上表現(xiàn)不佳的主要原因，并提出了兩個易于實施的修復方法（訓練協(xié)議修復；掩碼頭部架構修復），這兩種方法協(xié)同作用，可以縮小與全監(jiān)督性能之間的差距。

掩碼頭部架構對新類別分割的驚人影響

https://arxiv.org/abs/2104.00613

我們證明了這種方法普遍適用于裁剪-分割模型，即 Mask R-CNN 或類似 Mask R-CNN 的架構：計算整個圖像的特征表征，然后將每個實例的裁剪傳遞給第二階段的掩碼預測網(wǎng)絡（也稱為掩碼頭部網(wǎng)絡）。對發(fā)現(xiàn)結果進行整合，我們提出了基于 Mask R-CNN 的模型，該模型的掩碼 mAP 遠高于目前最先進的模型，提升了 4.7%，且無需更復雜的輔助損失函數(shù)、離線訓練的先驗因素或先前研究中提出的權重轉移函數(shù)。我們還開放了該模型兩個版本的代碼庫，分別稱為 Deep-MAC 和 Deep-MARC，并發(fā)布了一個 colab，從而以互動方式生成掩碼，如下面的視頻演示所示。

Deep-MAC

https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/deepmac.md

Deep-MARC

https://github.com/tensorflow/models/tree/master/official/vision/beta/projects/deepmac_maskrcnn

colab

https://github.com/tensorflow/models/blob/master/research/object_detection/colab_tutorials/deepmac_colab.ipynb

模型 DeepMAC 的演示版，即使是訓練時未見過的類，該模型也可以學習預測準確的掩碼，以及給定用戶所指定的邊框。親自在 colab 中試試吧。圖片來源：Chris Briggs、維基百科和 Europeana

部分監(jiān)督環(huán)境中裁剪方法的影響

裁剪是裁剪-分割模型的一個重要步驟，通過裁剪特征圖以及對應每個實例的邊界框的實際掩碼來訓練 Mask R-CNN。將這些裁剪過的特征傳遞給另一個神經(jīng)網(wǎng)絡（稱為掩碼頭部網(wǎng)絡），該網(wǎng)絡計算出最終的掩碼預測，然后將其與掩碼損失函數(shù)中的實際裁剪進行比較。裁剪有兩種選擇：（1） 直接對實例的實際邊界框進行裁剪， （2） 對模型預測的邊界框（稱為建議）進行裁剪。在測試時始終通過建議來執(zhí)行裁剪，因為要假設實際邊界框不可用。

“對實際邊界框的裁剪”對比“訓練過程中對模型預測的建議裁剪”。標準 Mask R-CNN 實現(xiàn)使用上述兩種類型的裁剪，但我們已經(jīng)證明，只對實際邊界框進行裁剪在新類別上表現(xiàn)出顯著的性能優(yōu)勢

我們考慮了一個類似于 Mask R-CNN 的一般架構系列，與典型的 Mask R-CNN 訓練環(huán)境相比，存在一個微小但關鍵的區(qū)別：我們在訓練時使用實際邊界框（而不是建議邊界框）裁剪

典型的 Mask R-CNN 實現(xiàn)將兩種類型的裁剪都傳遞給掩碼頭部。然而，在傳統(tǒng)的觀點中，這個選擇是一個不重要的實施細節(jié)，因為它在全監(jiān)督環(huán)境中不會對性能產(chǎn)生顯著影響。相反，對于部分監(jiān)督環(huán)境，我們發(fā)現(xiàn)裁剪方法起著重要的作用，雖然在訓練過程中，只對實際邊界框進行裁剪不會使全監(jiān)督環(huán)境下的結果發(fā)生明顯變化，但在部分監(jiān)督環(huán)境中卻有著驚人的顯著積極影響，在未見類上的表現(xiàn)明顯改善。

利用建議和實際邊界框（默認設置）或只用實際邊界框進行訓練時，Mask R-CNN 在未見類上的性能。只用實際邊界框訓練掩碼頭部時，在未見類上的性能有明顯的提升，mAP 超過 9%。我們報告了 ResNet-101-FPN 主干加持下的性能

ResNet-101-FPN

https://arxiv.org/pdf/1703.06870.pdf

解鎖掩碼頭部的完全泛化潛力

更令人驚訝的是，上述方法引發(fā)了一個新現(xiàn)象：在訓練過程中啟用實際裁剪， Mask R-CNN 的掩碼頭部對模型的泛化能力（泛化至未見類）起著異常重要的作用。舉個例子，我們在下圖中比較了幾個模型，對象為停車計時器、手機和披薩（訓練期間未見過的類）。每個模型都已啟用實際邊界框裁剪，但使用的開箱即用掩碼頭部架構不同。

使用四種不同的掩碼頭部架構對未見類進行掩碼預測（從左到右分別是：ResNet-4、ResNet-12、ResNet-20、Hourglass-20，其中數(shù)字是指神經(jīng)網(wǎng)絡的層數(shù)）盡管從未見過“停車計時器”、“披薩”或“手機”類中的掩碼，但最右的掩碼頭部架構可以正確分割這些類。我們展示的掩碼頭部架構在掩碼預測方面的性能從左到右依次遞增。此外，這種差異只有在未見類上進行評估時才比較明顯，如果在已見類上進行評估，所有四個架構會表現(xiàn)出類似的性能

ResNet-4

https://arxiv.org/abs/1512.03385

ResNet-12

https://arxiv.org/abs/1512.03385

ResNet-20

https://arxiv.org/abs/1512.03385

Hourglass-20

https://arxiv.org/abs/1603.0693

特別需要注意的是，在全監(jiān)督環(huán)境中，掩碼頭部架構之間在這些方面的差異并不明顯。順便說一下，這可能解釋了為什么先前的實例分割研究幾乎只使用淺層（即低層數(shù)）掩碼頭部，因為增加復雜性無法帶來任何優(yōu)勢。下面我們比較了三種不同的掩碼頭部架構在已見與未見類上的掩碼 mAP。所有這三種模型在已見類的集合上展現(xiàn)了同樣優(yōu)越的性能，但應用于未見類時，深沙漏型掩碼頭部脫穎而出。我們發(fā)現(xiàn)，在所嘗試的架構中，沙漏型掩碼頭部效果是最好的，并且在使用 50 層以上的沙漏型掩碼頭部時獲得了最佳結果。

ResNet-4、Hourglass-10 和 Hourglass-52 掩碼頭部架構在已見類和未見類上的性能。盡管在已見類上的性能幾乎沒有變化，但在未見類上的性能卻有很大差別

沙漏型

https://arxiv.org/abs/1603.06937

最后，我們證明這一發(fā)現(xiàn)具有普遍性，適用于各種主干（如 ResNet、SpineNet 和 Hourglass）和檢測器架構，包括基于錨和無錨的檢測器，甚至在根本沒有檢測器的情況下也適用。

基于錨

https://arxiv.org/abs/1506.01497

無錨的檢測器

https://arxiv.org/abs/1904.07850

總結

為了得出最完善的結果，我們整合了上述發(fā)現(xiàn)：我們在高分辨率圖像 （1280x1280） 上利用 SpineNet 主干訓練了一個啟用實際邊界框裁剪且?guī)в猩?Hourglass-52 掩碼頭部的 Mask R-CNN 模型。我們稱此模型為 Deep-MARC （Deep Mask heads Above R-CNN）。在不使用任何離線訓練或其他手動先驗因素的情況下，Deep-MARC 超過了之前最先進的模型，掩碼 mAP 提高了 4.5%（絕對值）以上。為證明這種方法的普遍性，我們還訓練了基于 CenterNet（而非基于 Mask R-CNN）的模型（稱為 Deep-MAC），該模型同樣展現(xiàn)出強大的性能，也超越了之前最先進的水平。

結論

我們開發(fā)的實例分割模型能夠泛化到不屬于訓練集的類。這其中要強調(diào)兩個關鍵因素的作用，這兩個因素可以應用于任何裁剪-分割模型（如 Mask R-CNN）：（1） 訓練過程中的實際邊界框裁剪， （2） 強大的掩碼頭部架構。雖然這兩個因素對訓練期間有掩碼的類影響不大，但在訓練期間沒有掩碼的新類別上，采用這兩個因素會帶來明顯的改善。此外，這兩個因素足以在部分監(jiān)督的 COCO 基準上實現(xiàn)最先進的性能。最后，我們的研究結果具有普遍性，也可能對相關的任務產(chǎn)生影響，如全景分割和姿勢預測。

責任編輯：haq