標(biāo)注圖像中的物體掩碼是一項非常耗時耗力的工作（人工標(biāo)注一個物體平均需要20到30秒），但在眾多計算機視覺應(yīng)用中（例如，自動駕駛、醫(yī)學(xué)影像），它又是不可或缺的。而現(xiàn)有的自動標(biāo)注軟件，大多基于像素，因此不夠智能，特別是在顏色接近的相鄰物體上表現(xiàn)不好。有鑒于此，多倫多大學(xué)的研究人員Lluís Castrejón等提出了Polygon-RNN標(biāo)注系統(tǒng)，獲CVPR 2017最佳論文提名。多倫多大學(xué)的研究人員David Acuna、Huan Ling、 Amlan Kar等又在CVPR 2018提交了PolygonRNN++，Polygon-RNN的改進版本，并于近日發(fā)布了PyTorch實現(xiàn)。

Polygon-RNN++架構(gòu)

Polygon-RNN整體架構(gòu)如下圖所示：

和之前的Polygon-RNN類似，Polygon-RNN++使用了CNN（卷積神經(jīng)網(wǎng)絡(luò)）提取圖像特征，然后使用RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）解碼多邊形頂點。為了提高RNN的預(yù)測效果，加入了注意力機制（attention），同時使用評估網(wǎng)絡(luò)（evaluator network）從RNN提議的候選多邊形中選出最佳。最后使用門控圖神經(jīng)網(wǎng)絡(luò)（Gated Graph Neural Network，GGNN）上采樣，以提高輸出分辨率。

CNN部分，借鑒了ResNet-50的做法，減少步長（stride），引入空洞卷積（dilation），從而在不降低單個神經(jīng)元感受野（receptive field）的前提下，放大輸入特征映射。此外還引入了跳躍連接（skip connection），以便同時捕捉邊角等低層細節(jié)和高層語義信息。剩下的配置都是比較常規(guī)的，包括3x3卷積核、組歸一化（batch normalization）、ReLU、最大池化（max-pooling）等。

藍色張量傳給GNN，橙色張量傳給RNN

RNN部分，使用了雙層ConvLTSM（3x3核，64/16通道，每時步應(yīng)用組歸一化），以保留空間信息、降低參數(shù)數(shù)量。網(wǎng)絡(luò)的輸出為(D x D) + 1元素的獨熱編碼。前D x D維表示可能的頂點位置（論文的試驗中D = 28），而最后一個維度標(biāo)志多邊形的終點。

為了提升RNN部分的表現(xiàn)，加入了注意力機制。具體來說，在時步t，計算加權(quán)特征映射：

上式中，x為跳躍特征張量，h為隱藏狀態(tài)張量，f1、f2使用一個全連接層將h1,t、h2,t映射至RDxDx128。fatt累加輸入之和，通過一個全連接層將其映射至DxD。?為哈達瑪積（Hadamard product）。直觀地說，注意力機制使用之前的RNN隱藏狀態(tài)控制圖像特征映射中的特定位置，使RNN在下一時步僅僅關(guān)注相關(guān)信息。

另外，第一個頂點需要特別處理。因為，給定多邊形之前的頂點和一個隱式的方向，下一個頂點的位置總是確定的，除了第一個頂點。因此，研究人員增加了一個包含兩個DxD維網(wǎng)絡(luò)層的分支，讓第一層預(yù)測邊，第二層預(yù)測頂點。測試時，第一個頂點取樣自該分支的最后一層。

第一個頂點的選擇很關(guān)鍵，特別是在有遮擋的情況下。傳統(tǒng)的集束搜索基于對數(shù)概率，因此不適用于Polygon-RNN++（在遮擋邊界上的點一般在預(yù)測時會有很高的對數(shù)概率，減少了它被集束搜索移除的機會）。因此，Polygon-RNN++使用了一個由兩個3x3卷積層加上一個全連接層組成的評估網(wǎng)絡(luò)：

該評估網(wǎng)絡(luò)是單獨訓(xùn)練的，通過訓(xùn)練最小化均方誤差：

上式中，p為網(wǎng)絡(luò)的預(yù)測IoU，mvs和m分別為預(yù)測掩碼、實際掩碼。

在測試時，基于評分前K的第一個頂點預(yù)測通過經(jīng)典集束搜索（對數(shù)概率，束寬為B）生成多邊形。對應(yīng)K個第一個頂點，共有K個多邊形，然后讓評估網(wǎng)絡(luò)從中選出最優(yōu)多邊形。在論文的試驗中，K = 5. 之所以首先使用集束搜索，而不是完全使用評估網(wǎng)絡(luò)，是因為后者會導(dǎo)致推理時間過長。在B = K = 1的設(shè)定下，結(jié)合集束搜索和評估網(wǎng)絡(luò)的配置，可以達到295ms每物體的速度（Titan XP）。

與人交互時，人工糾正會傳回模型，讓模型重新預(yù)測多邊形的剩余頂點。

如前所述，RNN輸出的D x D維的多邊形，D取28. 之所以不取更大的D，是為了避免超出內(nèi)存的限制。為了增加最終的輸出分辨率，Polygon-RNN++使用了門控圖神經(jīng)網(wǎng)絡(luò)進行上采樣，將頂點視作圖的節(jié)點，并在相鄰節(jié)點中間增加節(jié)點。

GGNN定義了一個傳播模型，將RNN推廣至任意圖，可以在每個節(jié)點上生成輸出前有效地傳播信息。

上式中，V為圖的節(jié)點集，xv為節(jié)點v的初始狀態(tài)，hvt為節(jié)點v在時步t的隱藏狀態(tài)。矩陣A ∈ R|V|x2N|V|決定節(jié)點如何互相傳遞信息，其中N表示邊的類型數(shù)。在試驗中使用了256維GRU，傳播步數(shù)T = 5。

節(jié)點v的輸出定義為：

f1和f2為MLP（多層感知器），試驗中的大小分別為256 x 256、256 x 15 x 15.

如前所述，CNN部分112 x 112 x 256的特征映射（藍色張量）傳給GGNN。在圖中的每個節(jié)點v周圍（拉伸后），提取一個S x S塊，得到向量xv，提供給GGNN。在傳播過程之后，預(yù)測節(jié)點v的輸出，即D' x D'空間網(wǎng)格上的位置。該網(wǎng)格以原位置(vx, vy)為參照，因此該預(yù)測任務(wù)其實是一個相對放置問題，并且可以視作分類問題，并基于交叉熵損失訓(xùn)練。訓(xùn)練的標(biāo)準(zhǔn)答案（ground truth）為RNN部分的輸出，如果預(yù)測和標(biāo)準(zhǔn)答案中的節(jié)點的差異超過閾值（試驗中為3格），則視為錯誤。

在試驗中，研究人員令S = 1，D' = 112（研究人員發(fā)現(xiàn)更大的D'不能改善結(jié)果）。

基于強化學(xué)習(xí)訓(xùn)練

Polygon-RNN基于交叉熵訓(xùn)練。然而，基于交叉熵訓(xùn)練有兩大局限：

MLE過度懲罰了模型。比如，預(yù)測的頂點雖然不是實際多邊形的頂點，但在實際多邊形的邊上。

優(yōu)化的測度和最終評估測度（例如IoU）大不一樣。

另外，訓(xùn)練過程中傳入下一時步的是實際多邊形而不是模型預(yù)測，這可能引入偏差，導(dǎo)致訓(xùn)練和測試的不匹配。

為了緩解這些問題，Polygon-RNN++只在初始階段使用MLE訓(xùn)練，之后通過強化學(xué)習(xí)訓(xùn)練。因為使用強化學(xué)習(xí)，IoU不可微不再是問題了。

在強化學(xué)習(xí)的語境下，Polygon-RNN++的RNN解碼器可以視作序列決策智能體。CNN和RNN架構(gòu)的參數(shù)θ定義了選擇下一個頂點vt的策略pθ。在序列結(jié)束后，我們得到獎勵r = IoU(mask(vs, m))。因此，最大化獎勵的損失函數(shù)為：

相應(yīng)地，損失函數(shù)的梯度為：

實踐中常采用蒙特卡洛采樣計算期望梯度。但是這一方法方差很大，而且在未經(jīng)恰當(dāng)?shù)鼗谇榫硽w一化的情況下非常不穩(wěn)定。因此，Polygon-RNN++采用了自我批判（self-critical）方法，使用模型的測試階段推理獎勵作為基線：

另外，為了控制模型探索的隨機性，Polygon-RNN++還在策略softmax中引入了溫度參數(shù)τ。試驗中，τ = 0.6.

試驗結(jié)果

下圖展示了Polygon-RNN++在Cityscapes數(shù)據(jù)集上的結(jié)果。Cityscapes包含2975/500/1525張訓(xùn)練/驗證/測試圖像，共計8個語義分類。

可以看到，在各個分類上，Polygon-RNN++都超越了其他模型，并且高于其中表現(xiàn)最好的模型差不多10%的IoU。事實上，在汽車（cars）分類上，Polygon-RNN++（79.08）戰(zhàn)勝了人類（78.60）。而消融測試的結(jié)果也令人滿意。

另外，Polygon-RNN++對噪聲的魯棒性良好：

Polygon-RNN++在跨領(lǐng)域的數(shù)據(jù)集上表現(xiàn)同樣出色，這說明Polygon-RNN++的概括性很好。