語(yǔ)義分割指的是將圖像中的每一個(gè)像素關(guān)聯(lián)到一個(gè)類別標(biāo)簽上的過(guò)程，這些標(biāo)簽可能包括一個(gè)人、一輛車、一朵花、一件家具等等。在這篇文章中，作者介紹了近來(lái)優(yōu)秀的語(yǔ)義分割思想與解決方案，它可以稱得上是 2019 語(yǔ)義分割指南了。

我們可以認(rèn)為語(yǔ)義分割是像素級(jí)別的圖像分類。例如，在一幅有很多輛車的圖像中，分割模型將會(huì)把所有的物體（車）標(biāo)記為車輛。但是，另一種被稱為實(shí)例分割的模型能夠?qū)⒊霈F(xiàn)在圖像中的獨(dú)立物體標(biāo)記為獨(dú)立的實(shí)例。這種分割在被用在統(tǒng)計(jì)物體數(shù)量的應(yīng)用中是很有用的（例如，統(tǒng)計(jì)商城中的客流量）。

語(yǔ)義分割的一些主要應(yīng)用是自動(dòng)駕駛、人機(jī)交互、機(jī)器人以及照片編輯/創(chuàng)作型工具。例如，語(yǔ)義分割在自動(dòng)駕駛和機(jī)器人領(lǐng)域是十分關(guān)鍵的技術(shù)，因?yàn)閷?duì)于這些領(lǐng)域的模型來(lái)說(shuō)，理解它們操作環(huán)境的上下文是非常重要的。

圖片來(lái)源： http://www.cs.toronto.edu/~tingwuwang/semantic_segmentation.pdf

接下來(lái)，我們將會(huì)回顧一些構(gòu)建語(yǔ)義分割模型的最先進(jìn)的方法的研究論文，它們分別是：

Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation

Fully Convolutional Networks for Semantic Segmentation

U-Net: Convolutional Networks for Biomedical Image Segmentation

The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation

Multi-Scale Context Aggregation by Dilated Convolutions

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

Rethinking Atrous Convolution for Semantic Image Segmentation

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation

Improving Semantic Segmentation via Video Propagation and Label Relaxation

Gated-SCNN: Gated Shape CNNs for Semantic Segmentation

1. Weakly- and Semi-Supervised Learning of a Deep Convolutional Network for Semantic Image Segmentation (ICCV, 2015)

這篇論文提出了一個(gè)解決方法，主要面對(duì)處理深度卷積網(wǎng)絡(luò)中的弱標(biāo)簽數(shù)據(jù)，以及具有良好標(biāo)簽和未被合適標(biāo)記得數(shù)據(jù)的結(jié)合時(shí)的挑戰(zhàn)。在這篇論文結(jié)合了深度卷積網(wǎng)絡(luò)和全連接條件隨機(jī)場(chǎng)。

論文地址：https://arxiv.org/pdf/1502.02734.pdf

在 PASCAL VOC 的分割基準(zhǔn)測(cè)試中，這個(gè)模型高于 70% 的交并比（IOU）

這篇論文的主要貢獻(xiàn)如下：

為邊界框或圖像級(jí)別的訓(xùn)練引入 EM 算法，這可以用在弱監(jiān)督和半監(jiān)督環(huán)境中。

證明了弱標(biāo)注和強(qiáng)標(biāo)注的結(jié)合能夠提升性能。在合并了 MS-COCO 數(shù)據(jù)集和 PASCAL 數(shù)據(jù)集的標(biāo)注之后，論文的作者在 PASCAL VOC 2012 上達(dá)到了 73.9% 的交并比性能。

證明了他們的方法通過(guò)合并了少量的像素級(jí)別標(biāo)注和大量的邊界框標(biāo)注（或者圖像級(jí)別的標(biāo)注）實(shí)現(xiàn)了更好的性能。

2. Fully Convolutional Networks for Semantic Segmentation (PAMI, 2016)

這篇論文提出的模型在 PASCAL VOC 2012 數(shù)據(jù)集上實(shí)現(xiàn)了 67.2% 的平均 IoU。全連接網(wǎng)絡(luò)以任意大小的圖像為輸入，然后生成與之對(duì)應(yīng)的空間維度。在這個(gè)模型中，ILSVRC 中的分類器被丟在了全連接網(wǎng)絡(luò)中，并且使用逐像素的損失和上采樣模塊做了針對(duì)稠密預(yù)測(cè)的增強(qiáng)。針對(duì)分割的訓(xùn)練是通過(guò)微調(diào)來(lái)實(shí)現(xiàn)的，這個(gè)過(guò)程通過(guò)在整個(gè)網(wǎng)絡(luò)上的反向傳播完成。

論文地址：https://arxiv.org/pdf/1605.06211.pdf

3. U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI, 2015)

在生物醫(yī)學(xué)圖像處理中，得到圖像中的每一個(gè)細(xì)胞的類別標(biāo)簽是非常關(guān)鍵的。生物醫(yī)學(xué)中最大的挑戰(zhàn)就是用于訓(xùn)練的圖像是不容易獲取的，數(shù)據(jù)量也不會(huì)很大。U-Net 是非常著名的解決方案，它在全連接卷積層上構(gòu)建模型，對(duì)其做了修改使得它能夠在少量的訓(xùn)練圖像數(shù)據(jù)上運(yùn)行，得到了更加精確的分割。

論文地址：https://arxiv.org/pdf/1505.04597.pdf

由于少量訓(xùn)練數(shù)據(jù)是可以獲取的，所以這個(gè)模型通過(guò)在可獲得的數(shù)據(jù)上應(yīng)用靈活的變形來(lái)使用數(shù)據(jù)增強(qiáng)。正如上面的圖 1 所描述的，模型的網(wǎng)絡(luò)結(jié)構(gòu)由左邊的收縮路徑和右邊的擴(kuò)張路徑組成。

收縮路徑由 2 個(gè) 3X3 的卷積組成，每個(gè)卷積后面跟的都是 ReLU 激活函數(shù)和一個(gè)進(jìn)行下采樣的 2X2 最大池化運(yùn)算。擴(kuò)張路徑階段包括一個(gè)特征通道的上采樣。后面跟的是 2X2 的轉(zhuǎn)置卷積，它能夠?qū)⑻卣魍ǖ罃?shù)目減半，同時(shí)加大特征圖。最后一層是 1X1 的卷積，用這種卷積來(lái)組成的特征向量映射到需要的類別數(shù)量上。

在這個(gè)模型中，訓(xùn)練是通過(guò)輸入的圖像、它們的分割圖以及隨機(jī)梯度下降來(lái)完成的。數(shù)據(jù)增強(qiáng)被用來(lái)教網(wǎng)絡(luò)學(xué)會(huì)在使用很少的訓(xùn)練數(shù)據(jù)時(shí)所必需的魯棒性和不變性。這個(gè)模型在其中的一個(gè)實(shí)驗(yàn)中實(shí)現(xiàn)了 92% 的 mIoU。

4. The One Hundred Layers Tiramisu: Fully Convolutional DenseNets for Semantic Segmentation (2017)

DenseNets 背后的思想是讓每一層以一種前饋的方式與所有層相連接，能夠讓網(wǎng)絡(luò)更容易訓(xùn)練、更加準(zhǔn)確。

模型架構(gòu)是基于包含下采樣和上采樣路徑的密集塊構(gòu)建的。下采樣路徑包含 2 個(gè) Transitions Down (TD)，而上采樣包含 2 個(gè) Transitions Up (TU)。圓圈和箭頭代表網(wǎng)絡(luò)中的連接模式。

論文地址：https://arxiv.org/pdf/1611.09326.pdf

這篇論文的主要貢獻(xiàn)是：

針對(duì)語(yǔ)義分割用途，將 DenseNet 的結(jié)構(gòu)擴(kuò)展到了全卷積網(wǎng)絡(luò)。

提出在密集網(wǎng)絡(luò)中進(jìn)行上采樣路徑，這要比其他的上采樣路徑性能更好。

證明網(wǎng)絡(luò)能夠在標(biāo)準(zhǔn)的基準(zhǔn)測(cè)試中產(chǎn)生最好的結(jié)果。

這個(gè)模型在 CamVid 數(shù)據(jù)集中實(shí)現(xiàn) 88% 的全局準(zhǔn)確率。

5. Multi-Scale Context Aggregation by Dilated Convolutions (ICLR, 2016)

這篇論文提出了一個(gè)卷積網(wǎng)絡(luò)模塊，能夠在不損失分辨率的情況下混合多尺度的上下文信息。然后這個(gè)模塊能夠以任意的分辨率被嵌入到現(xiàn)有的結(jié)構(gòu)中，它主要基于空洞卷積。

論文地址：https://arxiv.org/abs/1511.07122

這個(gè)模塊在 Pascal VOC 2012 數(shù)據(jù)集上做了測(cè)試。結(jié)果證明，向現(xiàn)存的語(yǔ)義分割結(jié)構(gòu)中加入上下文模塊能夠提升準(zhǔn)確率。

在實(shí)驗(yàn)中訓(xùn)練的前端模塊在 VOC-2012 驗(yàn)證集上達(dá)到了 69.8% 的平均交并比（mIoU），在測(cè)試集上達(dá)到了 71.3% 的平均交并比。這個(gè)模塊對(duì)不同對(duì)象的預(yù)測(cè)準(zhǔn)確率如下所示：

6. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (TPAMI, 2017)

在這篇論文中，作者對(duì)語(yǔ)義分割任務(wù)中做出了下面的貢獻(xiàn)：

為密集預(yù)測(cè)任務(wù)使用具有上采樣的卷積

在多尺度上為分割對(duì)象進(jìn)行帶洞空間金字塔池化（ASPP）

通過(guò)使用 DCNNs 提升了目標(biāo)邊界的定位

論文地址：https://arxiv.org/abs/1606.00915

這篇論文提出的 DeepLab 系統(tǒng)在 PASCAL VOC-2012 圖像語(yǔ)義分割上實(shí)現(xiàn)了 79.7% 的平均交并比（mIoU）。

這篇論文解決了語(yǔ)義分割的主要挑戰(zhàn)，包括：

由重復(fù)的最大池化和下采樣導(dǎo)致的特征分辨率降低

檢測(cè)多尺度目標(biāo)

因?yàn)橐阅繕?biāo)為中心的分類器需要對(duì)空間變換具有不變性，因而降低了由 DCNN 的不變性導(dǎo)致的定位準(zhǔn)確率。

帶洞卷積（Atrous convolution）有兩個(gè)用途，要么通過(guò)插入零值對(duì)濾波器進(jìn)行上采樣，要么對(duì)輸入特征圖進(jìn)行稀疏采樣。第二個(gè)方法需要通過(guò)等于帶洞卷積率 r 的因子來(lái)對(duì)輸入特征圖進(jìn)行子采樣，然后對(duì)它進(jìn)行去交錯(cuò)（deinterlacing），使其變成 r^2 的低分辨率圖，每一個(gè) r×r 區(qū)域都有一個(gè)可能遷移。在此之后，一個(gè)標(biāo)準(zhǔn)的卷積被應(yīng)用在中間的特征圖上，并將其與原始圖像分辨率進(jìn)行交錯(cuò)。

7. Rethinking Atrous Convolution for Semantic Image Segmentation (2017)

這篇論文解決了使用 DCNN 進(jìn)行語(yǔ)義分割所面臨的兩個(gè)挑戰(zhàn)（之前提到過(guò)）：當(dāng)使用連續(xù)的池化操作時(shí)會(huì)出現(xiàn)特征分辨率的降低，以及多尺度目標(biāo)的存在。

論文地址：https://arxiv.org/pdf/1706.05587.pdf

為了解決第二個(gè)問題，本文提出了帶洞卷積（atrous convolution），也被稱作 dilated convolution。我們能使用帶洞卷積增大感受野，因此能夠包含多尺度上下文，這樣就解決了第二個(gè)問題。

在沒有密集條件隨機(jī)場(chǎng)（DenseCRF）的情況下，論文的 DeepLabv3 版本在 PASCAL VOC 2012 測(cè)試集上實(shí)現(xiàn)了 85.7% 的性能。

8. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation (ECCV, 2018)

這篇論文的方法「DeepLabv3+」在 PASCAL VOC 2012 數(shù)據(jù)集和 Cityscapes 數(shù)據(jù)集上分別實(shí)現(xiàn)了 89.0% 和 82.1% 的性能，而且沒有做任何后處理。這個(gè)模型在 DeepLabv3 的基礎(chǔ)上增加一個(gè)簡(jiǎn)單的解碼模塊，從而改善了分割結(jié)果。

論文地址：https://arxiv.org/pdf/1802.02611v3.pdf

這篇論文實(shí)現(xiàn)了為語(yǔ)義分割使用兩種帶空間金字塔池化的神經(jīng)網(wǎng)絡(luò)。一個(gè)通過(guò)以不同的分辨率池化特征捕捉上下文信息，另一個(gè)則希望獲取明確的目標(biāo)邊界。

9. FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation (2019)

這篇論文提出了一種被稱作聯(lián)合金字塔上采樣（Joint Pyramid Upsampling/JPU）的聯(lián)合上采樣模塊來(lái)代替消耗大量時(shí)間和內(nèi)存的帶洞卷積。它通過(guò)把抽取高分辨率圖的方法形式化，并構(gòu)建成一個(gè)上采樣問題來(lái)取得很好的效果。

論文地址：https://arxiv.org/pdf/1903.11816v1.pdf

此方法在 Pascal Context 數(shù)據(jù)集上實(shí)現(xiàn)了 53.13% 的 mIoU，并且具有三倍的運(yùn)行速度。

該方法以全卷積網(wǎng)絡(luò)（FCN）作為主體架構(gòu)，同時(shí)應(yīng)用 JPU 對(duì)低分辨率的最終特征圖進(jìn)行上采樣，得到了高分辨率的特征圖。使用 JPU 代替帶洞卷積并不會(huì)造成任何性能損失。

聯(lián)合采樣使用低分辨率的目標(biāo)圖像和高分辨率的指導(dǎo)圖像。然后通過(guò)遷移指導(dǎo)圖像的結(jié)構(gòu)和細(xì)節(jié)生成高分辨率的目標(biāo)圖像。

10. Improving Semantic Segmentation via Video Propagation and Label Relaxation (CVPR, 2019)

這篇論文提出了基于視頻的方法來(lái)增強(qiáng)數(shù)據(jù)集，它通過(guò)合成新的訓(xùn)練樣本來(lái)達(dá)到這一效果，并且該方法還能提升語(yǔ)義分割網(wǎng)絡(luò)的準(zhǔn)確率。本文探討了視頻預(yù)測(cè)模型預(yù)測(cè)未來(lái)幀的能力，進(jìn)而繼續(xù)預(yù)測(cè)未來(lái)的標(biāo)簽。

論文地址：https://arxiv.org/pdf/1812.01593v3.pdf

這篇論文證明了用合成數(shù)據(jù)訓(xùn)練語(yǔ)義分割網(wǎng)絡(luò)能夠帶來(lái)預(yù)測(cè)準(zhǔn)確率的提升。論文提出的方法在 Cityscape 上達(dá)到了 8.5% 的 mIoU，在 CamVid 上達(dá)到了 82.9% 的 mIoU。

論文提出了兩種預(yù)測(cè)未來(lái)標(biāo)簽的方法：

Label Propagation (標(biāo)簽傳播，LP)：通過(guò)將原始的未來(lái)幀與傳播來(lái)的標(biāo)簽配對(duì)來(lái)創(chuàng)建新的訓(xùn)練樣本。

Joint image-label Propagation (聯(lián)合圖像標(biāo)簽傳播，JP)：通過(guò)配對(duì)對(duì)應(yīng)的傳播圖像與傳播標(biāo)簽來(lái)創(chuàng)建新的訓(xùn)練樣本。

這篇論文有 3 個(gè)主要貢獻(xiàn)：利用視頻預(yù)測(cè)模型將標(biāo)簽傳播到當(dāng)前的鄰幀，引入聯(lián)合圖像標(biāo)簽傳播（JP）來(lái)處理偏移問題，通過(guò)最大化邊界上分類的聯(lián)合概率來(lái)松弛 one-hot 標(biāo)簽訓(xùn)練。

11. Gated-SCNN: Gated Shape CNNs for Semantic Segmentation (2019)

這篇論文是語(yǔ)義分割領(lǐng)域最新的成果（2019.07），作者提出了一個(gè)雙流 CNN 結(jié)構(gòu)。在這個(gè)結(jié)構(gòu)中，目標(biāo)的形狀信息通過(guò)一個(gè)獨(dú)立的分支來(lái)處理，該形狀流僅僅處理邊界相關(guān)的信息。這是由模型的門卷控積層（GCL）和局部監(jiān)督來(lái)強(qiáng)制實(shí)現(xiàn)的。

論文地址：https://arxiv.org/pdf/1907.05740.pdf

在用 Cityscapes 基準(zhǔn)測(cè)試中，這個(gè)模型的 mIoU 比 DeepLab-v3 高出 1.5%，F(xiàn)-boundary 得分比 DeepLab-v3 高 4%。在更小的目標(biāo)上，該模型能夠?qū)崿F(xiàn) 7% 的 IoU 提升。下表展示了 Gated-SCNN 與其他模型的性能對(duì)比。

以上就是近來(lái)語(yǔ)義分割的主要進(jìn)展，隨著模型和數(shù)據(jù)的進(jìn)一步提升，語(yǔ)義分割的速度越來(lái)越快、準(zhǔn)確率越來(lái)越高，也許以后它能應(yīng)用到各種現(xiàn)實(shí)生活場(chǎng)景中。