來源：圖靈Topia（ID：turingtopia）

圖像分割（Image Segmentation）是計算機(jī)視覺領(lǐng)域中的一項(xiàng)重要基礎(chǔ)技術(shù)，是圖像理解中的重要一環(huán)。近日，數(shù)據(jù)科學(xué)家Derrick Mwiti在一篇文章中，就什么是圖像分割、圖像分割架構(gòu)、圖像分割損失函數(shù)以及圖像分割工具和框架等問題進(jìn)行了討論，讓我們一探究竟吧。

什么是圖像分割?

顧名思義，這是將一個圖像分割成多個片段的過程。在這個過程中，圖像中的每個像素都與一個對象類型相關(guān)聯(lián)。圖像分割主要有兩種類型:語義分割和實(shí)例分割。

在語義分割中，同一類型的所有對象都使用一個類標(biāo)簽進(jìn)行標(biāo)記，而在實(shí)例分割中，相似的對象使用各自獨(dú)立的標(biāo)簽。

圖像分割的體系結(jié)構(gòu)

圖像分割的基本結(jié)構(gòu)包括編碼器和解碼器。

編碼器通過過濾器從圖像中提取特征。解碼器負(fù)責(zé)生成最終的輸出，通常是一個包含對象輪廓的分割掩碼。大多數(shù)體系結(jié)構(gòu)都有這種結(jié)構(gòu)或其變體，看幾個例子：U-NetU-Net是最初用于分割生物醫(yī)學(xué)圖像的卷積神經(jīng)網(wǎng)絡(luò)?？梢暬瘯r，其架構(gòu)看起來像字母U，因此名稱為U-Net。它的體系結(jié)構(gòu)由兩部分組成，左邊部分是收縮路徑，右邊部分是擴(kuò)展路徑。收縮路徑的目的是捕獲上下文，而擴(kuò)展路徑的作用是幫助精確定位。U-Net由右邊的擴(kuò)展路徑和左邊的收縮路徑組成。收縮路徑由兩個3×3的卷積組成，卷積之后是一個整流的線性單元和一個用于降采樣的兩乘二最大池計算。

完整的U-Net實(shí)現(xiàn)可以在這里找到

https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/

FastFCN —Fast Fully-connected network

在這種結(jié)構(gòu)中，聯(lián)合金字塔上采樣(JPU)模塊被用來代替擴(kuò)展卷積，因?yàn)樗鼈兿拇罅康膬?nèi)存和時間。它的核心是一個全連接網(wǎng)絡(luò)，同時使用JPU進(jìn)行上采樣。JPU將低分辨率特征圖提升為高分辨率特征圖。如果你想進(jìn)行代碼實(shí)現(xiàn)，鏈接如下：https://github.com/wuhuikai/FastFCNGated-SCNN該架構(gòu)由雙流CNN架構(gòu)組成。在此模型中，一個單獨(dú)的分支用于處理圖像形狀信息。形狀流用于處理邊界信息。

你可以通過檢查這里的代碼來實(shí)現(xiàn)：

https://github.com/nv-tlabs/gscnnDeepLab在這種結(jié)構(gòu)中，卷積與上采樣濾波器用于涉及密集預(yù)測的任務(wù)。多個對象的分割是通過空間金字塔池來完成的。最后，用DCNNs改進(jìn)對象邊界的定位。通過插入零點(diǎn)或?qū)斎胩卣鲌D進(jìn)行稀疏采樣來對濾波器進(jìn)行上采樣，從而實(shí)現(xiàn)空洞卷積。

可以在PyTorch或TensorFlow上嘗試其實(shí)現(xiàn)。

PyTorch：https://github.com/fregu856/deeplabv3

TensorFlow：https://github.com/sthalles/deeplab_v3

Mask R-CNN在這種體系結(jié)構(gòu)中，使用bounding box和語義分割對對象進(jìn)行分類和定位，并將每個像素分類為一組類別。每個感興趣的區(qū)域都有一個分割掩碼，最終的輸出是一個類標(biāo)簽和一個bounding box。該體系結(jié)構(gòu)是Faster R-CNN的擴(kuò)展，F(xiàn)aster R-CNN由提出區(qū)域的深度卷積網(wǎng)絡(luò)和利用區(qū)域的檢測器組成。這是在COCO測試集上得到的結(jié)果的圖像

圖像分割損失函數(shù)

語義分割模型在訓(xùn)練過程中通常使用一個簡單的交叉熵?fù)p失函數(shù)。但是，如果對獲取圖像的粒度信息感興趣，則必須恢復(fù)到稍微高級一些的損失函數(shù)，來看幾個例子：

Focal Loss

這種損失是對標(biāo)準(zhǔn)交叉熵準(zhǔn)則的改進(jìn)。這是通過改變其形狀來實(shí)現(xiàn)的，使得分配給分類良好的示例的損失權(quán)重降低了。最終，確保不存在類不平衡。

在這個損失函數(shù)中，交叉熵?fù)p失是會隨著縮放系數(shù)衰減為零而縮，訓(xùn)練時，比例因數(shù)自動降低了簡單示例的權(quán)重，并將重點(diǎn)放在困難示例上。

Dice loss

該損失是通過計算平滑dice coefficient函數(shù)獲得的。這種損失是最常用的損失，是分割問題。

Intersection over Union (IoU)-balanced Loss

IoU平衡分類損失的目的是增加高IoU樣本的梯度，降低低IoU樣本的梯度。從而提高了機(jī)器學(xué)習(xí)模型的定位精度。

Boundary loss

Boundary loss的一種變體應(yīng)用于具有高度不平衡分段的任務(wù)。

這種損失的形式是空間輪廓而非區(qū)域上的距離度量。通過這種方式，它解決了高度不平衡的分割任務(wù)的區(qū)域損失所帶來的問題。

Weighted cross-entropy

在交叉熵的一個變體中，所有正例均按一定系數(shù)加權(quán)。它用于涉及類不平衡的方案。

Lovász-Softmaxloss

該損失基于子模塊損失的convex Lovasz擴(kuò)展，對神經(jīng)網(wǎng)絡(luò)中的intersection-over-union loss進(jìn)行了直接優(yōu)化。

其他值得一提的損失有：TopK loss：其目標(biāo)是確保網(wǎng)絡(luò)在訓(xùn)練過程中專注于困難樣本。Distance penalized CE loss：它將網(wǎng)絡(luò)引向難以分割的邊界區(qū)域。Sensitivity-Specificity (SS) loss：計算特異性和敏感性的均方差的加權(quán)和。Hausdorff distance(HD) loss：可從卷積神經(jīng)網(wǎng)絡(luò)估計Hausdorff距離。

這些是在圖像分割中使用的一些損失函數(shù)。了解更多，請查看

https://github.com/JunMa11/SegLoss。

圖像分割的數(shù)據(jù)集

Common Objects in COntext—Coco Dataset

COCO是一個大型的對象檢測、分割和字幕數(shù)據(jù)集。數(shù)據(jù)集包含91個類。它有25萬人，都有自己的關(guān)鍵點(diǎn)。它的下載大小是37.57 GiB。它包含80個對象類別。它在Apache 2.0的許可下可用，可以從這里下載。

http://cocodataset.org/#download

PASCAL Visual Object Classes (PASCAL VOC)

PASCAL有20個不同的類，9963張圖片。訓(xùn)練/驗(yàn)證集是一個2GB的tar文件。數(shù)據(jù)集可以從官方網(wǎng)站下載。

http://host.robots.ox.ac.uk/pascal/VOC/voc2012/

The Cityscapes Dataset

這個數(shù)據(jù)集包含城市場景的圖像。該方法可用于評價視覺算法在城市場景中的性能。數(shù)據(jù)集可以從這里下載。

https://www.cityscapes-dataset.com/downloads/

The Cambridge-driving Labeled Video Database?—?CamVid

這是一個基于動作的分割和識別數(shù)據(jù)集。它包含32個語義類。以下鏈接包含數(shù)據(jù)集的進(jìn)一步說明和下載鏈接。

http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/

圖像分割框架

如果準(zhǔn)備好了數(shù)據(jù)集，那么來談?wù)勔恍┛捎糜谌腴T的工具/框架。FastAI庫：給定一個圖像，該庫能夠?yàn)閳D像中的對象創(chuàng)建掩碼。Sefexa圖像分割工具：可用于半自動圖像分割，圖像分析和創(chuàng)建地面實(shí)況。Deepmask：Facebook Research的Deepmask是DeepMask和SharpMask的Torch實(shí)現(xiàn)。MultiPath：這是一個Torch實(shí)現(xiàn)，從“用于目標(biāo)檢測的多路徑網(wǎng)絡(luò)”中提取目標(biāo)檢測網(wǎng)絡(luò)。OpenCV ：這是一個開放源代碼的計算機(jī)視覺庫，具有2500多種優(yōu)化算法。MIScnn：醫(yī)學(xué)圖像分割開源庫。它允許在幾行代碼中使用最新的卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)模型建立管道。

Fritz：提供了多種計算機(jī)視覺工具，包括用于移動設(shè)備的圖像分割工具。