計算機視覺：Computer Vision

一門讓計算機從圖像中提取有用信息并加以分析的科學(xué)。這些信息后續(xù)可以用于輔助一些決策或者任務(wù)，比如醫(yī)學(xué)圖像分析、工程測量、自動駕駛、機器人學(xué)等等。

計算機圖像學(xué)：Computer Graphics

通過使用數(shù)學(xué)模型和計算機算法來生成圖像。

圖像處理：Image Process

圖像數(shù)字化：

空間采樣、量化、與連通性策略是將圖像做數(shù)字化表達(dá)過程中涉及到的重要概念。

量化：將每個像素點在色彩通道內(nèi)的亮度按照區(qū)間從連續(xù)分布轉(zhuǎn)化為離散分布的過程。

四連通與八連通：像素點計算領(lǐng)域的劃分標(biāo)準(zhǔn)。

四連通：像素四條邊相連的區(qū)域

八連通：比四連通多四個角。

距離：

歐式距離 (Euclidean) - 兩點之間的直線距離

曼哈頓距離 (City Block) - 沿著方格線行走的兩點間距（即僅水平和豎直四個方向移動）

切比雪夫距離距離 (Chess Board) - 沿著方格線及對角行走的兩點間距（即水平、豎直、以及對角八個方向移動）

一張圖片中往往有前景(foreground)和背景(background)：

確定前景和背景的連通性策略，通常有：

背景四連通、前景八連通

背景八連通、前景四連通

一般有遞歸算法、順序標(biāo)記法。

遞歸算法消耗性能大：遍歷圖像中所有的像素點，遇到未標(biāo)記區(qū)域編號的點即遞歸用當(dāng)前的區(qū)域編號標(biāo)記與之相連的所有像素點。

順序標(biāo)記法：運用與像素區(qū)域連通性問題

圖像數(shù)據(jù)的收集和處理：

借助語義化分割對 UI 圖像進(jìn)行處理，得到輪廓、結(jié)構(gòu)、上下文等特征。

借助超級像素的方法來降低特征的數(shù)量，合并像素達(dá)到降低干擾因素的效果。

采用 OpenCV 進(jìn)行測量、計算，然后用規(guī)則嘗試提取有用的特征數(shù)據(jù)，結(jié)果并不理想，它更加擅長測量和計算：需要大量的閾值約束才能達(dá)到比較好的效果：

用機器視覺的模型和算法來解決。這邊介紹 2 個模型：

MaskRCNN

2017年，Kaiming He等人提出了Mask R-CNN，是一種目標(biāo)檢測和實例分割的算法

Mask R-CNN（Mask Region-based Convolutional Neural Network）是一種用于目標(biāo)檢測和實例分割的深度學(xué)習(xí)模型，它是 Faster R-CNN 的擴展，同時可以生成目標(biāo)的二進(jìn)制掩碼（mask），因此可以實現(xiàn)精確的實例分割。

1、骨干網(wǎng)絡(luò)：Mask R-CNN通常使用骨干網(wǎng)絡(luò)（如 ResNet）來提取圖像特征。這些特征用于目標(biāo)檢測和分割任務(wù)。

2、區(qū)域建議網(wǎng)絡(luò)（RPN）：RPN 用于生成候選區(qū)域，它是 Faster R-CNN 中的組件，用于確定可能包含目標(biāo)的圖像區(qū)域。

3、目標(biāo)檢測：Mask R-CNN 使用區(qū)域建議來檢測圖像中的目標(biāo)對象，通常通過分類和回歸來確定每個目標(biāo)的位置和類別。

4、實例分割：除了目標(biāo)檢測，Mask R-CNN 還生成每個檢測到的目標(biāo)的精確二進(jìn)制掩碼。這允許對目標(biāo)進(jìn)行精確的像素級分割。

5、多任務(wù)學(xué)習(xí)：Mask R-CNN 采用多任務(wù)學(xué)習(xí)的方法，通過同時訓(xùn)練目標(biāo)檢測和實例分割任務(wù)，從而提高模型的性能。

6、ROI Pooling / ROI Align：用于從特征圖中提取每個候選區(qū)域的特征，以供后續(xù)任務(wù)使用。

7、損失函數(shù)：Mask R-CNN 使用多個損失函數(shù)，包括分類損失、回歸損失和分割損失，來訓(xùn)練模型。

Yolo V3

2016年，Joseph Redmon等人提出的 YOLO 是一種單階段的目標(biāo)檢測算法，突破性地實現(xiàn)了實時目標(biāo)檢測。

實例分割（instance segmentation）是機器視覺研究中比較重要、復(fù)雜和具有挑戰(zhàn)性的領(lǐng)域之一。在機器人，自動駕駛，監(jiān)視等領(lǐng)域均有應(yīng)用。

來源：大前端視野