來源：小白學(xué)視覺
作者：努比

綜述

2012年iOS應(yīng)用商店中發(fā)布了一個(gè)名為FuelMate的Gas跟蹤應(yīng)用。小伙伴們可以使用該應(yīng)用程序跟蹤汽油行駛里程，以及有一些有趣的功能，例如Apple Watch應(yīng)用程序、vin.li集成以及基于趨勢(shì)mpg的視覺效果。

燃料伴侶

對(duì)此我們有一個(gè)新想法，該如何添加一個(gè)功能幫助我們?cè)诒弥袙呙枞加停⒃趹?yīng)用程序中輸入燃油信息？讓我們深入研究如何實(shí)現(xiàn)這一目標(biāo)。

技術(shù)

對(duì)于這個(gè)項(xiàng)目的我們首先應(yīng)該編寫一個(gè)簡(jiǎn)單的Python應(yīng)用程序以拍攝汽油泵的圖像，然后嘗試從中讀取數(shù)字。OpenCV是用于計(jì)算機(jī)視覺應(yīng)用程序的流行的跨平臺(tái)庫。它包括各種圖像處理實(shí)用程序以及某些機(jī)器學(xué)習(xí)功能。除此之外我們希望可以先使用Python對(duì)其進(jìn)行原型設(shè)計(jì)，然后將處理代碼轉(zhuǎn)換為C ++以在iOS應(yīng)用程序上運(yùn)行。

目標(biāo)

我們首先要考慮以下兩個(gè)問題：

1.我們可以從圖像中分離出數(shù)字嗎？

2.我們可以確定圖像代表哪個(gè)數(shù)字嗎？

數(shù)字分割

如何確定圖像中的數(shù)字有多種方法，但是我提出了使用簡(jiǎn)單的圖像閾值法來嘗試查找數(shù)字的方法。

圖像閾值化的基本思想是將圖像轉(zhuǎn)換為灰度，然后說灰度值小于某個(gè)常數(shù)的任何像素，則該像素為一個(gè)值，否則為另一個(gè)。最后，您得到的二進(jìn)制圖像只有兩種顏色，在大多數(shù)情況下只是黑白圖像。

這個(gè)概念在OCR應(yīng)用中非常有效，但是主要問題是決定對(duì)該閾值使用什么。我們可以選擇一些常量，也可以使用OpenCV選擇其他一些選項(xiàng)。我們可以使用自適應(yīng)閾值而不是使用常數(shù)，這將使用圖像的較小部分并確定要使用的不同閾值。這在具有不同照明情況的應(yīng)用中特別有用，特別是在掃描氣泵中。

將圖像設(shè)置為閾值后，可以使用OpenCV的findContours方法查找圖像中連接了白色像素部分的區(qū)域。繪制輪廓后，便可以裁剪出這些區(qū)域并確定它們是否可能是數(shù)字以及它是什么數(shù)字。

基本圖像處理流程

這是我在測(cè)試圖像處理中使用的原始圖像。它有一些眩光點(diǎn)，但是圖像相當(dāng)干凈。讓我們逐步完成獲取此源圖像的過程，并嘗試將其分解為單個(gè)數(shù)字。

原始圖片

影像準(zhǔn)備

在開始圖像處理流程之前，我們決定先調(diào)整一些圖像屬性，然后再繼續(xù)。這有點(diǎn)試驗(yàn)和錯(cuò)誤，但注意到，當(dāng)我們調(diào)整圖像的曝光度時(shí)，可以獲得更好的結(jié)果。下面是使用Python調(diào)整后的圖像，相當(dāng)于曝光（阿爾法）的圖像cv::Mat::convertTo這是剛剛在圖像墊乘法操作cv2.multiply(some/_img, np.array([some/_alpha])，

調(diào)整曝光

灰階

將圖像轉(zhuǎn)換為灰度。

轉(zhuǎn)換為灰度

模糊

模糊圖像以減少噪點(diǎn)。我們嘗試了許多不同的模糊選項(xiàng)，但僅用輕微的模糊就找到了最佳結(jié)果。

稍微模糊

閾值圖像轉(zhuǎn)換為黑白圖像

在下圖中，使用cv2.adaptiveThreshold帶有cv2.ADAPTIVE/_THRES/_GAUSSIAN/_C選項(xiàng)的方法。此方法采用兩個(gè)參數(shù)，塊大小和要調(diào)整的常數(shù)。確定這兩者需要一些試驗(yàn)和錯(cuò)誤，更多有關(guān)優(yōu)化部分的內(nèi)容。

閾值為黑/白

填補(bǔ)空白

由于大多數(shù)燃油泵都使用某種7段LCD顯示屏，因此數(shù)字中存在一些細(xì)微的間隙，無法使用輪廓繪制方法，因此我們需要使這些段看起來相連。在這種情況下，我們將轉(zhuǎn)到erode圖像來彌補(bǔ)這些差距。由于大家可能希望使用，所以這似乎向后看，dilate但是這些方法通常適用于圖像的白色部分。在我們的案例中，我們正在“侵蝕”白色背景以使數(shù)字看起來更大。

反轉(zhuǎn)圖像

在嘗試在圖像中查找輪廓之前，我們需要反轉(zhuǎn)顏色，因?yàn)樵揻indContours方法將找到白色的連接部分，而當(dāng)前的數(shù)字是黑色。

顏色反轉(zhuǎn)

在圖像上找到輪廓

下圖顯示了我們的原始圖像，該圖像在上圖的每個(gè)輪廓上都有包圍框。大家可以看到它找到了數(shù)字，但也找到了一堆不是數(shù)字的東西，因此我們需要將它們過濾掉。

輪廓過濾

1.現(xiàn)在我們有了許多輪廓，我們需要找出我們關(guān)心的輪廓。瀏覽了一堆氣泵的顯示和場(chǎng)景后，使用一套適用于輪廓的快速規(guī)則。

2.收集所有我們將分類為潛在小數(shù)的正方形輪廓。

3.扔掉任何不是正方形或高矩形的東西。

4.使輪廓與某些長(zhǎng)寬比匹配。LCD顯示屏中的十個(gè)數(shù)字中有九個(gè)數(shù)字的長(zhǎng)寬比類似于下面的藍(lán)色框高光之一。該規(guī)則的例外是數(shù)字“ 1”，其長(zhǎng)寬比略有不同。通過使用一些樣本輪廓，我將0–9！1方面確定為0.6，將1方面確定為0.3。它將使用這些比率和+/-緩沖區(qū)來確定輪廓是否是我們想要的東西，并收集這些輪廓。

5.對(duì)潛在數(shù)字應(yīng)用一組附加規(guī)則，在這里我們將確定輪廓邊界是否偏離所有其他潛在數(shù)字的平均高度或垂直位置。由于數(shù)字的大小應(yīng)相同，并且在相同的Y上對(duì)齊，因此我們可以丟棄它認(rèn)為是數(shù)字的任何輪廓，但不能像其他輪廓那樣將其對(duì)齊和調(diào)整大小。

預(yù)測(cè)

有兩個(gè)等高線輪廓，一個(gè)帶潛在位數(shù)，一個(gè)帶潛在小數(shù)位，我們可以使用這些輪廓邊界裁剪圖像，并將其輸入經(jīng)過訓(xùn)練的系統(tǒng)中以預(yù)測(cè)其值。有關(guān)此過程的更多信息，請(qǐng)參見“數(shù)字培訓(xùn)”部分。

查找小數(shù)

在圖像中查找小數(shù)點(diǎn)是要解決的另一個(gè)問題。由于它很小，有時(shí)會(huì)連接到它旁邊的手指，因此使用我們?cè)谑种干鲜褂玫姆椒▉泶_定它似乎有問題。當(dāng)我們過濾輪廓時(shí)，我們收集了可能是十進(jìn)制的正方形輪廓。從上一步獲得經(jīng)過驗(yàn)證的數(shù)字輪廓之后，我們將找到數(shù)字的最左x位置和最右x位置，以確定我們期望的小數(shù)位數(shù)。然后，我們將遍歷那些潛在的小數(shù)，確定它是否在該空間以及該空間的下半部分，并將其分類為小數(shù)。找到小數(shù)點(diǎn)后，我們可以將其插入到我們上面預(yù)測(cè)的數(shù)字字符串中。

數(shù)字培訓(xùn)

在機(jī)器學(xué)習(xí)的世界中，解決OCR問題是一個(gè)分類問題。我們建立了一組訓(xùn)練有素的數(shù)據(jù)，例如圖像處理中的數(shù)字，將它們分類為某種東西，然后使用該數(shù)據(jù)來匹配任何新圖像。一旦基本的圖像隔離功能開始工作，我就創(chuàng)建了一個(gè)腳本，該腳本可以遍歷圖像文件夾，運(yùn)行數(shù)字隔離代碼，然后將裁剪的數(shù)字保存到新文件夾中供我查看。運(yùn)行完之后，我會(huì)有一個(gè)未經(jīng)訓(xùn)練的數(shù)字文件夾，然后可以用來訓(xùn)練系統(tǒng)。

由于OpenCV已經(jīng)包含了k近鄰（k-NN）實(shí)現(xiàn)，因此無需引入任何其他庫。為了進(jìn)行訓(xùn)練，我們?yōu)g覽了數(shù)字作物的文件夾，然后將其放入標(biāo)有0–9的新文件夾中，因此每個(gè)文件夾中都有一個(gè)數(shù)字的不同版本的集合。我們沒有大量的這些圖像，但是有足夠的證據(jù)來證明這是可行的。由于這些數(shù)字是相當(dāng)標(biāo)準(zhǔn)的，我認(rèn)為我不需要大量訓(xùn)練有素的圖像就可以相當(dāng)準(zhǔn)確。

k-NN工作原理的基礎(chǔ)是，我們將以黑白方式加載每個(gè)圖像，將該圖像存儲(chǔ)在每個(gè)像素處于打開或關(guān)閉狀態(tài)的數(shù)組中，然后將這些打開/關(guān)閉像素與特定的數(shù)字相關(guān)聯(lián)。然后，當(dāng)我們要預(yù)測(cè)一個(gè)新圖像時(shí)，它將找出哪個(gè)訓(xùn)練圖像與這些像素最匹配，然后向我們返回最接近的值。

整理好數(shù)字后，將創(chuàng)建一個(gè)新的腳本，該腳本將遍歷這些文件夾，獲取每個(gè)圖像并將該圖像與數(shù)字關(guān)聯(lián)。到目前為止，在大多數(shù)代碼中，一般的圖像處理概念在Python和C ++中都應(yīng)用相同，但是在這里會(huì)有細(xì)微的差別。

在大多數(shù)此類應(yīng)用程序的Python示例中，分類被寫入兩個(gè)文件，一個(gè)包含分類，另一個(gè)包含該分類的圖像內(nèi)容。通常使用NumPy和標(biāo)準(zhǔn)文本文件完成此操作。但是，由于我想在iOS應(yīng)用程序上重用該系統(tǒng)，因此我需要想出一種可以擁有跨平臺(tái)分類文件的方式。當(dāng)時(shí)，我什么都找不到，因此最終編寫了一個(gè)快速實(shí)用程序，該實(shí)用程序?qū)腜ython中獲取分類數(shù)據(jù)并將其序列化為JSON文件，我可以在OpenCV的FileStorage系統(tǒng)的C ++端使用它。這不漂亮，但是我寫了一個(gè)簡(jiǎn)單的MatPython中的序列化方法，它將為OpenCV創(chuàng)建合適的結(jié)構(gòu)以在iOS端讀取?，F(xiàn)在，當(dāng)我訓(xùn)練數(shù)字時(shí)，我將獲得NumPy文件供我的Python測(cè)試使用，然后獲取一個(gè)JSON文檔，我可以將其拖到我的iOS應(yīng)用程序中。您可以在此處看到該代碼。

優(yōu)化

一旦確定了數(shù)字隔離和預(yù)測(cè)的兩個(gè)目標(biāo)，就需要對(duì)算法進(jìn)行優(yōu)化，以預(yù)測(cè)泵的新圖像上的數(shù)字。

在優(yōu)化的初始階段，創(chuàng)建了一個(gè)簡(jiǎn)單的Playground應(yīng)用程序，其中使用了OpenCV提供的一些簡(jiǎn)單的UI組件。使用這些組件，可以創(chuàng)建一些簡(jiǎn)單的軌跡欄，以左右滑動(dòng)并更改不同的值并重新處理圖像。圍繞該cv2.imshow方法創(chuàng)建了一個(gè)小包裝程序，該方法可以平鋪顯示的窗口，因?yàn)槲矣憛捒偸侵匦路胖盟鼈儯?br />
嘗試不同的變量

我們可以加載不同的圖像，并在圖像處理中嘗試變量的不同變化，并確定最佳的組合。

自動(dòng)化

在每個(gè)圖像上測(cè)試不同的變量是上手的好方法，但是我們想要一種更好的方法來驗(yàn)證是否更改了一個(gè)圖像的變量是否會(huì)對(duì)其他任何圖像產(chǎn)生影響。為此，我們想出了針對(duì)這些圖像進(jìn)行一些自動(dòng)化測(cè)試的系統(tǒng)。

我拍攝了每個(gè)測(cè)試圖像，并將它們放在文件夾中。然后，我用圖像中期望的數(shù)字來命名每個(gè)文件，并用小數(shù)點(diǎn)“ A”表示。應(yīng)用程序可以加載該目錄中的每個(gè)圖像并預(yù)測(cè)數(shù)字，然后將其與文件名中的數(shù)字進(jìn)行比較以確定是否匹配。這使我們可以針對(duì)所有不同的圖像快速嘗試更改。

自動(dòng)測(cè)試輸出

更進(jìn)一步，我創(chuàng)建了此腳本的不同版本，該腳本將嘗試對(duì)這組圖像進(jìn)行模糊，閾值等變量的幾乎每種組合，并找出最優(yōu)化的變量集將具有最佳的性能。準(zhǔn)確性。該腳本在計(jì)算機(jī)上花費(fèi)了相當(dāng)長(zhǎng)的時(shí)間才能運(yùn)行，大約需要7個(gè)小時(shí)，但是最后提出了一組不同的變量，這些變量在我們手動(dòng)測(cè)試時(shí)找不到。

結(jié)論

這是否是任何人實(shí)際上都會(huì)使用的功能尚待確定，但這在實(shí)現(xiàn)某些機(jī)器學(xué)習(xí)概念和使用OpenCV方面是一個(gè)有趣的練習(xí)。到目前為止，在我們的測(cè)試中，應(yīng)用程序最大的問題是泵顯示屏上的眩光。根據(jù)泵上的照明和手機(jī)的角度，可能會(huì)導(dǎo)致某些掃描失效。

代碼鏈接：https://github.com/kazmiekr/G...

聲明：轉(zhuǎn)載請(qǐng)說明出處
推薦專欄文章

• 基于OpenCV的實(shí)時(shí)睡意檢測(cè)系統(tǒng)
• 【CUDA學(xué)習(xí)筆記】第一篇：一個(gè)基本的CUDA C程序（附配置方法和安裝包下載方式）
• 【最強(qiáng)模型之道】AWS Auto-Aug:通過Weight共享改進(jìn)自動(dòng)數(shù)據(jù)增廣，打造最高精度單模型

審核編輯：符乾江