使用 CNN 處理圖像問(wèn)題已經(jīng)是常規(guī)操作，但此類方法會(huì)造成局部位置信息的損失。如何解決這個(gè)問(wèn)題呢？來(lái)自中科院自動(dòng)化所和北京中醫(yī)藥大學(xué)的研究者另辟蹊徑，提出用圖卷積網(wǎng)絡(luò)解決語(yǔ)義分割問(wèn)題。

論文鏈接：https://arxiv.org/pdf/2001.00335.pdf 使用深度學(xué)習(xí)執(zhí)行語(yǔ)義分割在圖像像素分類方面取得了巨大進(jìn)步。但是，深度學(xué)習(xí)提取高級(jí)特征時(shí)往往忽略了局部位置信息（local location information），而這對(duì)于圖像語(yǔ)義分割而言非常重要。 為了避免上述問(wèn)題，來(lái)自中科院自動(dòng)化所、北京中醫(yī)藥大學(xué)的研究者們提出一個(gè)執(zhí)行圖像語(yǔ)義分割任務(wù)的圖模型 Graph-FCN，該模型由全卷積網(wǎng)絡(luò)（FCN）進(jìn)行初始化。 首先，通過(guò)卷積網(wǎng)絡(luò)將圖像網(wǎng)格數(shù)據(jù)擴(kuò)展至圖結(jié)構(gòu)數(shù)據(jù)，這樣就把語(yǔ)義分割問(wèn)題轉(zhuǎn)換成了圖節(jié)點(diǎn)分類問(wèn)題；然后，使用圖卷積網(wǎng)絡(luò)解決圖節(jié)點(diǎn)分類問(wèn)題。 研究者稱，這是首次將圖卷積網(wǎng)絡(luò)用于圖像語(yǔ)義分割的嘗試。該方法在 VOC 數(shù)據(jù)集上獲得了有競(jìng)爭(zhēng)力的 mIOU 性能，相比原始 FCN 模型有 1.34% 的性能提升。

Graph-FCN 架構(gòu)圖。

語(yǔ)義分割問(wèn)題的難點(diǎn) 語(yǔ)義分割是計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要課題，其復(fù)雜程度超過(guò)分類和檢測(cè)任務(wù)。這項(xiàng)密集預(yù)測(cè)任務(wù)需要預(yù)測(cè)每個(gè)像素的類別，也就是說(shuō)它需要從高級(jí)語(yǔ)義信息和局部位置信息中學(xué)習(xí)目標(biāo)輪廓、目標(biāo)位置和目標(biāo)類別。 基于深度學(xué)習(xí)的語(yǔ)義分割方法，具體而言即卷積神經(jīng)網(wǎng)絡(luò)（CNN），為該領(lǐng)域帶來(lái)了一系列巨大進(jìn)展。提取高級(jí)特征的強(qiáng)大泛化能力使得圖像分類和檢測(cè)任務(wù)取得了非常好的性能，但伴隨泛化而來(lái)的局部位置信息損失則為密集預(yù)測(cè)任務(wù)增加了難度。具備較大感受野的高級(jí)語(yǔ)義信息對(duì)應(yīng)卷積神經(jīng)網(wǎng)絡(luò)中的小型特征圖，這類圖會(huì)造成像素級(jí)局部位置信息的損失。 多種基于深度學(xué)習(xí)的方法對(duì)該問(wèn)題帶來(lái)了改進(jìn)，如全卷積網(wǎng)絡(luò) [16]、Segent [1]、Deeplab 方法 [2,3,4]。這些工作使用全連接層、空洞卷積和金字塔結(jié)構(gòu)，來(lái)減少提取高級(jí)特征過(guò)程中的位置信息損失。 中科院等提出語(yǔ)義分割難題新解法 首先，研究者為圖像語(yǔ)義分割問(wèn)題構(gòu)建圖節(jié)點(diǎn)模型。圖模型方法廣泛應(yīng)用于分割問(wèn)題，這類方法將像素視作節(jié)點(diǎn)，將節(jié)點(diǎn)之間的差異度（dissimilarity）視作邊（edge）。最優(yōu)的分割即對(duì)圖執(zhí)行最大割（maximum cut）。 結(jié)合了概率論和圖論的概率圖模型方法（如馬爾可夫隨機(jī)場(chǎng)和條件隨機(jī)場(chǎng)）被用于細(xì)化語(yǔ)義分割結(jié)果。這些方法將檢測(cè)到的目標(biāo)建模為圖節(jié)點(diǎn)，通過(guò)提取目標(biāo)之間的關(guān)系來(lái)改進(jìn)檢測(cè)準(zhǔn)確率。相比于深度卷積模型把輸入數(shù)據(jù)表示為網(wǎng)格結(jié)構(gòu)，圖模型具備更靈活的跳躍連接（skip connection），因此它可以探索圖中節(jié)點(diǎn)之間的關(guān)系。 受限于計(jì)算量，研究者使用 FCN 初始化該圖模型。該圖模型基于小尺寸圖像構(gòu)建，其節(jié)點(diǎn)標(biāo)注由 FCN 進(jìn)行初始化，邊的權(quán)重則由高斯核函數(shù)進(jìn)行初始化。

圖 1：FCN 結(jié)構(gòu)示意圖。本研究使用 FCN-16s 作為基礎(chǔ)模型對(duì)節(jié)點(diǎn)標(biāo)注進(jìn)行初始化。 然后使用圖卷積網(wǎng)絡(luò)（GCN）解決這個(gè)圖模型。GCN 是處理圖結(jié)構(gòu)數(shù)據(jù)的當(dāng)前最優(yōu)模型之一?；诠?jié)點(diǎn)的 GCN 利用消息傳播（message propagation）來(lái)交換相鄰節(jié)點(diǎn)之間的信息。這一過(guò)程可以在圖的較大相鄰范圍內(nèi)提取特征，其作用類似于卷積網(wǎng)絡(luò)中的卷積層和池化層。由于該過(guò)程中不會(huì)有節(jié)點(diǎn)消失，因此基于節(jié)點(diǎn)的 GCN 擴(kuò)展了感受野，并避免了局部位置信息出現(xiàn)損失。 這篇論文提出了新型模型 Graph-FCN 來(lái)解決語(yǔ)義分割問(wèn)題。研究者使用深度卷積網(wǎng)絡(luò)建模圖，并首次用 GCN 方法解決圖像語(yǔ)義分割任務(wù)。Graph-FCN 可以擴(kuò)大感受野，同時(shí)避免局部位置信息出現(xiàn)損失。實(shí)驗(yàn)表明，Graph-FCN 的性能優(yōu)于 FCN。 Graph-FCN 方法詳解 GCN 旨在解決圖結(jié)構(gòu)數(shù)據(jù)集上的學(xué)習(xí)問(wèn)題。圖結(jié)構(gòu)數(shù)據(jù)可看作是三元組 G(N, E, U)，其中 N 表示圖的節(jié)點(diǎn)集合，即 |N| ? S 矩陣（|N| 表示圖節(jié)點(diǎn)數(shù)量，S 表示節(jié)點(diǎn)標(biāo)注向量的維度）。E 是圖的邊集合。U 對(duì)應(yīng)圖特征，由于本研究涉及任務(wù)與 U 無(wú)關(guān)，因此本研究不討論 U。 與歐幾里德空間中的數(shù)據(jù)表示不同，矩陣 N 和邊 E 并非獨(dú)特表示。矩陣 N 與 E 對(duì)應(yīng)，它們都按照節(jié)點(diǎn)的順序排列。研究者使用監(jiān)督學(xué)習(xí)方式訓(xùn)練模型。節(jié)點(diǎn) n_j 表示圖 j 中的節(jié)點(diǎn)集，t_j 表示節(jié)點(diǎn)集 n_j 的標(biāo)注集。因此用于語(yǔ)義分割任務(wù)的圖模型可公式化為：

研究者將交叉熵函數(shù)作為該模型的損失函數(shù)。T_r 表示訓(xùn)練集。 節(jié)點(diǎn) 在本研究提出的新模型中，節(jié)點(diǎn)標(biāo)注由 FCN-16s 進(jìn)行初始化。通過(guò)端到端訓(xùn)練后，F(xiàn)CN-16s 得到步幅為 16 和 32 的特征圖，如下圖 2 所示。對(duì)步幅為 16 的特征圖執(zhí)行因子為 2 的上采樣可以獲得與步幅為 32 的特征圖一樣的大小。（節(jié)點(diǎn) j 的）標(biāo)注 x_j 由這兩個(gè)特征向量以及特征圖中每個(gè)節(jié)點(diǎn)位置的級(jí)聯(lián)進(jìn)行初始化。該標(biāo)注包含在局部感受野上提取到的特征。在訓(xùn)練過(guò)程中，研究者通過(guò)對(duì)原始標(biāo)注圖像執(zhí)行池化操作來(lái)得到節(jié)點(diǎn)標(biāo)簽。

圖 2：節(jié)點(diǎn)標(biāo)注初始化過(guò)程。節(jié)點(diǎn)標(biāo)注由 FCN-16s 中兩個(gè)層的級(jí)聯(lián)進(jìn)行初始化。 邊 在圖模型中，邊和鄰接矩陣相關(guān)。假設(shè)每個(gè)節(jié)點(diǎn)和其最鄰近的 l 個(gè)節(jié)點(diǎn)相連，這意味著節(jié)點(diǎn)標(biāo)注可以通過(guò)圖神經(jīng)網(wǎng)絡(luò)中的邊進(jìn)行遷移。下圖 3 中的示例描述了圖神經(jīng)網(wǎng)絡(luò)中的感受野。假設(shè) l 為 4，那么從相關(guān)距離的影響來(lái)看，我們需要用高斯核函數(shù)獲得權(quán)重鄰接矩陣 A。

圖 3：當(dāng) l 為 4 時(shí)，雙層 GCN 的感受野。這與卷積層不同。 使用 Graph-FCN 進(jìn)行訓(xùn)練 在 Graph-FCN 中，F(xiàn)CN-16s 實(shí)現(xiàn)節(jié)點(diǎn)分類和圖模型在小型特征圖中的初始化。同時(shí)，雙層 GCN 獲取圖中節(jié)點(diǎn)的分類結(jié)果。研究者分別計(jì)算這兩部分輸出的交叉熵?fù)p失。和 FCN-16s 模型一樣，Graph-FCN 也以端到端模式進(jìn)行訓(xùn)練。Graph-FCN 網(wǎng)絡(luò)結(jié)構(gòu)如下圖 4 所示：

圖 4：Graph-FCN 的結(jié)構(gòu)示意圖。該模型有兩個(gè)輸出和兩個(gè)損失 L1 和 L2。它們共享卷積層提取特征的權(quán)重。L1 通過(guò) output1 計(jì)算得到，L2 通過(guò) output2 計(jì)算得到。通過(guò)最小化 L1 和 L2，F(xiàn)CN-16s 的性能得到了提升。 實(shí)驗(yàn) 研究者在 VOC2012 數(shù)據(jù)集上對(duì)模型進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明 Graph-FCN 的性能優(yōu)于原始 FCN 模型。

表 1：Graph-FCN 和 FCN-16s 的性能對(duì)比情況。

圖 5：圖像語(yǔ)義分割結(jié)果。第二列是 Graph-FCN 的結(jié)果，第三列是 FCN-16s 的結(jié)果，第四列是 ground truth。