從古至今,鐘情于實(shí)木家具的人群不在少數(shù)。在他們眼中,實(shí)木家具就像一件藝術(shù)品,時(shí)間越久越能夠煥發(fā)出高貴的氣質(zhì)。
可是木材作為天然材料,總免不了存在著變色、腐朽、油脂、木毛、木節(jié)、裂縫、蟲(chóng)眼等缺陷。
目前,木材缺陷的分類(lèi)識(shí)別尚未智能化,人工檢測(cè)依然比較普遍,光靠人工檢測(cè)不僅分類(lèi)效率低,而且處理效果不夠理想。
因此需要計(jì)算機(jī)來(lái)參與處理,很多學(xué)者在原有圖像處理技術(shù)上不斷研究、結(jié)合新的方法和理論,以實(shí)現(xiàn)木材缺陷的自動(dòng)分類(lèi)識(shí)別。
支持向量機(jī)(support vector machine,SVM)是Vapnik提出的一種基于結(jié)構(gòu)化風(fēng)險(xiǎn)最小化的統(tǒng)計(jì)學(xué)習(xí)方法,通過(guò)在特征空間構(gòu)建具有最大間隔的最佳超平面而實(shí)現(xiàn)對(duì)訓(xùn)練樣本集的最佳劃分。層次支持向量機(jī)在木材孔洞缺陷檢測(cè)中的應(yīng)用,提取相關(guān)的統(tǒng)計(jì)信息作為識(shí)別特征,再輸入到層次支持向量機(jī)中進(jìn)行識(shí)別。
神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)均屬于淺層結(jié)構(gòu)的算法,而深度學(xué)習(xí)作為更加貼近于人類(lèi)大腦的一種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法,縱觀過(guò)去兩年,“深度學(xué)習(xí)”領(lǐng)域已經(jīng)呈現(xiàn)出巨大發(fā)展勢(shì)頭。在計(jì)算機(jī)視覺(jué)領(lǐng)域,深度學(xué)習(xí)已經(jīng)有了較大進(jìn)展,其中卷積神經(jīng)網(wǎng)絡(luò)是運(yùn)用最早和最廣泛的深度學(xué)習(xí)模型。
卷積神經(jīng)網(wǎng)絡(luò)
卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)是一種特殊的深度前饋神經(jīng)網(wǎng)絡(luò),它的設(shè)計(jì)選擇局部連接,符合生物神經(jīng)元的稀疏響應(yīng)特性,可以降低網(wǎng)絡(luò)模型的參數(shù)規(guī)模,相對(duì)而言,對(duì)訓(xùn)練數(shù)據(jù)量的依賴(lài)性降低。
南京林業(yè)大學(xué)范佳楠,劉英等采用深度學(xué)習(xí)算法替代傳統(tǒng)的淺層學(xué)習(xí)算法,提出了一種快速深度神經(jīng)網(wǎng)絡(luò)(faster region-based convolutional neural networks, Faster R CNN)的實(shí)木板材缺陷識(shí)別模型。
01
實(shí)木板材缺陷檢測(cè)
本研究利用Chroma+Scan3350激光輪廓和色澤集成掃描儀(圖1)采集實(shí)木板材的圖像,其規(guī)格參數(shù)見(jiàn)表1。實(shí)木板材通過(guò)掃描儀正下方時(shí),上、下兩個(gè)Chroma+Scan3350型激光掃描儀開(kāi)始工作,對(duì)經(jīng)過(guò)的實(shí)木板材進(jìn)行掃描,并與電腦進(jìn)行實(shí)時(shí)通信,以便直觀反映所采集到的信息(圖2)。檢測(cè)的實(shí)木板材種類(lèi)是杉木,規(guī)格是1000mm×100mm×10mm,檢測(cè)時(shí)杉木運(yùn)行速度是48m/min。
02
實(shí)木板材缺陷檢測(cè)原理
近年來(lái),神經(jīng)網(wǎng)絡(luò)成為目標(biāo)檢測(cè)的主要手段,Ross等在深度學(xué)習(xí)的浪潮下提出了一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別方法—R-CNN(region based convolutional neural networks),這是一種將卷積網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測(cè)中的方法。R-CNN使用選擇性搜索,預(yù)先提取一些可能包含物體的候選區(qū)域,接著對(duì)該區(qū)域進(jìn)行特征提取,從而判斷是否為目標(biāo),顯著提高了算法的效率,但是這種方法在每一個(gè)候選區(qū)都要提取一遍特征,而且區(qū)域會(huì)有重疊度,易出現(xiàn)大量的重復(fù)計(jì)算,導(dǎo)致檢測(cè)速度較慢。為了解決這一問(wèn)題,本研究采用Faster R-CNN算法,F(xiàn)aster R-CNN通過(guò)輸入整個(gè)圖像一次通過(guò)特征提取器,然后從中間層裁剪,從而減輕了處理難度,使裁剪特征提取所需要的計(jì)算能夠共享。Faster R-CNN可以看作是由生成目標(biāo)候選區(qū)的區(qū)域生成網(wǎng)絡(luò)(RPN)和利用這些候選區(qū)的Faster R-CNN(fast region-based convolutional neural networks)檢測(cè)器組成的,這樣整個(gè)目標(biāo)候選區(qū)域提取、深度特征提取、目標(biāo)識(shí)別和檢測(cè)過(guò)程都融入一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型中,從而在不降低檢測(cè)精度的基礎(chǔ)上顯著提高了整個(gè)檢測(cè)速度。從R-CNN到Faster R-CNN再到Faster R-CNN,目標(biāo)檢測(cè)的4個(gè)基本步驟(候選區(qū)域生成,特征提取,分類(lèi),位置精修)被統(tǒng)一到一個(gè)深度網(wǎng)絡(luò)框架之內(nèi)。Faster R-CNN模型只需要輸入一張圖片,以及圖片中目標(biāo)的類(lèi)別和對(duì)應(yīng)的邊界框類(lèi)別。隨后通過(guò)CNN模型對(duì)圖像做特征提取,并將輸出的特征用RPN(region proposal network)做候選區(qū)域的預(yù)測(cè),再用預(yù)測(cè)到的候選區(qū)域邊框?qū)μ卣鲌D做Rol操作,以達(dá)到目標(biāo)識(shí)別和邊界框回歸。其中RPN是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò),其輸入前一層為任一大小的特征圖,輸出為一系列的矩形目標(biāo)候選區(qū)。為了生成候選區(qū)域,一個(gè)小型網(wǎng)絡(luò)在共享卷積網(wǎng)絡(luò)的最后一層卷積層的輸出特征圖上進(jìn)行了滑窗選擇。該網(wǎng)絡(luò)的輸入為特征圖的一個(gè)n×n的窗口。對(duì)于每個(gè)窗口,同時(shí)預(yù)測(cè)k個(gè)目標(biāo)候選區(qū),這k個(gè)候選區(qū)都與這個(gè)窗口存在關(guān)聯(lián),稱(chēng)為anchors。每個(gè)anchor 都有著對(duì)應(yīng)的尺度和比例。卷積特征圖中的每一個(gè)點(diǎn)都是一個(gè)anchors中心,有K個(gè)對(duì)應(yīng)的anchors。每個(gè)窗口被映射為一個(gè)低維的向量,該特征向量被傳送到兩個(gè)子網(wǎng)絡(luò)中:邊框回歸網(wǎng)絡(luò)和邊框分類(lèi)網(wǎng)絡(luò)。邊框回歸網(wǎng)絡(luò)輸出的是每個(gè)anchor的平移縮放值,對(duì)每個(gè)窗口,有4k個(gè)輸出;邊框分類(lèi)網(wǎng)絡(luò)輸出的是每個(gè)anchor屬于目標(biāo)或背景的概率,對(duì)于每個(gè)窗口有2k個(gè)輸出。RPN的訓(xùn)練過(guò)程是端到端的。使用的優(yōu)化方法是反向傳播和隨機(jī)梯度下降,損失函數(shù)是分類(lèi)誤差和回歸誤差的聯(lián)合損失:
式中:i表示第i個(gè)anchor點(diǎn);pi*表示第i個(gè)anchor目標(biāo)的預(yù)測(cè)概率;pi*表示第i個(gè)anchor點(diǎn)為正樣本;ti*是一個(gè)向量,表示預(yù)測(cè)包圍盒的4個(gè)參數(shù)化坐標(biāo);ti*表示候選區(qū)域邊框和真實(shí)目標(biāo)邊框之間的偏差;Lcls表示分類(lèi)誤差函數(shù);Ncls表示分類(lèi)誤差函數(shù)的個(gè)數(shù);Lreg表示回歸誤差函數(shù);Nreg表示回歸誤差函數(shù)的個(gè)數(shù)。
03
實(shí)木板材缺陷檢測(cè)算法實(shí)現(xiàn)
3.1實(shí)木板材缺陷圖像預(yù)處理主要流程
系統(tǒng)首先采集實(shí)木板材圖像,對(duì)圖像進(jìn)行分析處理,剔除干擾,方便之后對(duì)缺陷提取特征,實(shí)木板材缺陷圖像預(yù)處理主要流程如圖3所示。
3.2實(shí)木板材缺陷圖像特征提取
首先需要選用合適的特征提取器來(lái)對(duì)實(shí)木板材缺陷圖像進(jìn)行特征提取,網(wǎng)絡(luò)結(jié)構(gòu)層的數(shù)量和參數(shù)直接影響檢測(cè)框架的存儲(chǔ)效率、檢測(cè)速度和檢測(cè)效果,共選用Inception Resnet V2, Inception V2,Resnet V2,MobileNet這4種特征提取器來(lái)進(jìn)行比較檢測(cè),這些網(wǎng)絡(luò)結(jié)構(gòu)tensorflow上都有開(kāi)源的實(shí)現(xiàn)方式,通過(guò)多種特征提取網(wǎng)絡(luò)的實(shí)驗(yàn)對(duì)比,選出最適合實(shí)木板材缺陷檢測(cè)的檢測(cè)框架,值得注意的是, 這里采用的是Resnet V2結(jié)構(gòu)在tensorflow中實(shí)現(xiàn)實(shí)木板材缺陷圖像的特征提取。Faster R-CNN框架結(jié)構(gòu)見(jiàn)圖4,首先利用一個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)待測(cè)圖像進(jìn)行特征提取,生成特圖,接著利用一個(gè)區(qū)域生成網(wǎng)絡(luò)(region proposal network, RPN)對(duì)特征圖進(jìn)行處理并輸出多種尺度和寬高比的目標(biāo)候選區(qū)域,最后利用一個(gè)分類(lèi)回歸網(wǎng)絡(luò)根據(jù)候選區(qū)域內(nèi)的特征進(jìn)行判別輸出。
采用ZF-Net作為Faster R-CNN算法的特征提取網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
采用ZF-Net作為Faster R-CNN算法的特征提取網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。
Sigmoid函數(shù)是一種常用的非線(xiàn)性激活函數(shù),函數(shù)在能夠?qū)⑤斎氲倪B續(xù)變量值映射到0到1之間。當(dāng)輸入變量值非常大或者非常小時(shí),會(huì)出現(xiàn)飽和現(xiàn)象,Sigmoid函數(shù)的導(dǎo)數(shù)趨向于O。在反向傳播過(guò)程中,計(jì)算每一層網(wǎng)絡(luò)的梯度需要乘以一個(gè)Sigmoid函數(shù)的導(dǎo)數(shù),若Sigmoid函數(shù)的導(dǎo)數(shù)趨向于O,那么隨著梯度向后傳播,梯度會(huì)變得越來(lái)越小,出現(xiàn)梯度消失現(xiàn)象,導(dǎo)致網(wǎng)絡(luò)變得難以學(xué)習(xí)。在ZF-Net中,相對(duì)于Sigmoid函數(shù),ReLU函數(shù)在反向傳導(dǎo)過(guò)程中計(jì)算量少,同時(shí)使用ReLU作為激活函數(shù)時(shí),部分神經(jīng)元輸出將為0,使得神經(jīng)網(wǎng)絡(luò)具有稀疏性,抑制過(guò)擬合問(wèn)題,并且其收斂速度較快,故使用ReLU作為激活函數(shù)。在Faster R-CNN算法中,候選區(qū)域生成網(wǎng)絡(luò)是一個(gè)卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)以特征提取網(wǎng)絡(luò)輸出的特征圖作為輸入,輸出多種尺度和寬高比的矩形候選區(qū)域。該網(wǎng)絡(luò)首先使用一個(gè)滑動(dòng)窗口在特征圖上進(jìn)行滑動(dòng),將滑動(dòng)窗口經(jīng)過(guò)的每個(gè)位置上的特征映射成一個(gè)256維(選用ZF-Net作為特征提取網(wǎng)絡(luò)時(shí)為256維,選用其他網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)時(shí),該值會(huì)有變化)的特征向量,然后將每個(gè)特征向量輸入到兩個(gè)全連接層當(dāng)中,一個(gè)全連接層輸出2×9=18個(gè)分?jǐn)?shù),另一個(gè)全連接層輸出4×9=36個(gè)坐標(biāo)。Faster R-CNN算法為每個(gè)滑動(dòng)窗口位置定義了9個(gè)錨點(diǎn),得到每個(gè)滑動(dòng)窗口位置的坐標(biāo)之后,利用坐標(biāo)對(duì)基準(zhǔn)矩形框進(jìn)行修正,每個(gè)基準(zhǔn)矩形框分別對(duì)應(yīng)4個(gè)坐標(biāo),最后每個(gè)滑動(dòng)窗口位置得到9個(gè)候選區(qū)域。上述18個(gè)分?jǐn)?shù)為候選區(qū)域的評(píng)分,每個(gè)候選區(qū)域?qū)?yīng)2個(gè)分?jǐn)?shù),分別代表該候選區(qū)域內(nèi)包含和不包含待測(cè)目標(biāo)的可能性。實(shí)木板材通過(guò)CNN特征提取得到的結(jié)果見(jiàn)圖6,實(shí)木板材缺陷最終檢測(cè)結(jié)果見(jiàn)圖7。本研究構(gòu)建了Faster R-CNN檢測(cè)框架,使用tensorflow開(kāi)發(fā)平臺(tái)可以有效地更換特征提取器,實(shí)現(xiàn)在多種不同的特征提取網(wǎng)絡(luò)下不同種檢測(cè)框架的檢測(cè)效果。本實(shí)驗(yàn)采用2000張杉木缺陷圖像,通過(guò)旋轉(zhuǎn)30°,60°,90°,120°,150°和180°對(duì)原始圖像進(jìn)行數(shù)據(jù)擴(kuò)充,擴(kuò)充后圖像的80%作為訓(xùn)練集,20%作為驗(yàn)證集來(lái)進(jìn)行仿真。Faster R-CNN采用隨機(jī)梯度下降法(SGD)來(lái)對(duì)參數(shù)進(jìn)行更新,量大小(bitch size)設(shè)置為1,SGD動(dòng)量設(shè)置均為0.8,初始學(xué)習(xí)率設(shè)定為0.001,迭代總次數(shù)設(shè)定為10萬(wàn)次,步長(zhǎng)設(shè)定為15。
從表3可以看出:Faster R-CNN對(duì)實(shí)木板材節(jié)子缺陷檢測(cè)正確率是98%,對(duì)實(shí)木板材孔洞缺陷檢測(cè)正確率是95%。相比SVM和BP算法,缺陷檢測(cè)正確率有明顯提高,表明本系統(tǒng)可以應(yīng)用于實(shí)木板材的缺陷檢測(cè)與剔除。
04
實(shí)木板材缺陷檢測(cè)識(shí)別系統(tǒng)
界面實(shí)木板材檢測(cè)系統(tǒng)能實(shí)現(xiàn)圖像采集、圖像處理、查詢(xún)等功能。圖像采集包括圖像信息輸入、圖像采集、圖像特征提取和圖像存儲(chǔ)功能;圖像處理包括缺陷、紋理、顏色識(shí)別,主要研究實(shí)木板材缺陷檢測(cè)識(shí)別;查詢(xún)包括按圖像編號(hào)查詢(xún)、按材料類(lèi)型查詢(xún)和按規(guī)格查詢(xún)。圖像信息輸入界面,可以記錄采集圖像的日期,實(shí)木板材種類(lèi)及規(guī)格。實(shí)木板材圖像處理界面,點(diǎn)擊采集圖像按鈕,就可以顯示實(shí)木板材圖像,進(jìn)而可以對(duì)采集到的圖像進(jìn)行預(yù)處理和特征提取。圖8是實(shí)木板材缺陷位置檢測(cè)識(shí)別界面,點(diǎn)擊開(kāi)始運(yùn)行按鈕,系統(tǒng)將會(huì)對(duì)特征提取后的實(shí)木板材缺陷圖像進(jìn)行檢測(cè)識(shí)別,表面檢測(cè)后的圖像會(huì)顯示在界面中,表面缺陷的位置信息也會(huì)實(shí)時(shí)顯示,以便之后對(duì)缺陷進(jìn)行剔除。實(shí)木板材缺陷位置檢測(cè)系統(tǒng)共處理了12000張缺陷圖像,其中一張缺陷圖像運(yùn)行結(jié)果如圖8所示:該實(shí)木板材圖像機(jī)器學(xué)習(xí)識(shí)別到6個(gè)缺陷并做出標(biāo)志,缺陷位置信息也已經(jīng)顯示,人工識(shí)別該實(shí)木板材圖像也有6個(gè)缺陷,故而對(duì)該實(shí)木板材圖像的缺陷能做到準(zhǔn)確識(shí)別。該系統(tǒng)處理并檢測(cè)識(shí)別一張缺陷圖片的時(shí)間是3s,對(duì)實(shí)木板材節(jié)子缺陷檢測(cè)正確率是98%,對(duì)實(shí)木板材孔洞缺陷檢測(cè)正確率是95%。
結(jié) 論
我國(guó)人口數(shù)量眾多,森林資源匱乏,人均占有量偏少,木材的利用率遠(yuǎn)低于發(fā)達(dá)國(guó)家,木材缺陷分類(lèi)識(shí)別還不能完全做到機(jī)器化,仍有人工檢測(cè)方法的存在,識(shí)別率低。針對(duì)該問(wèn)題,本研究采用深度學(xué)習(xí)方法對(duì)實(shí)木板材缺陷進(jìn)行研究,利用ResnetV2結(jié)構(gòu)對(duì)采集到的節(jié)子、孔洞等實(shí)木板材缺陷圖像進(jìn)行特征提取,應(yīng)用基于快速深度神經(jīng)網(wǎng)絡(luò)的實(shí)木板材缺陷識(shí)別模型對(duì)提取到的缺陷特征進(jìn)行訓(xùn)練學(xué)習(xí),最后使用tensorflow 作為實(shí)驗(yàn)平臺(tái)構(gòu)建了Faster R-CNN檢測(cè)框架對(duì)節(jié)子、孔洞等實(shí)木板材缺陷進(jìn)行預(yù)測(cè)仿真。本算法具體采用了2000 張杉木缺陷圖像,通過(guò)旋轉(zhuǎn)30°,60°,90°,120°,150°和180°對(duì)原始圖像進(jìn)行數(shù)據(jù)擴(kuò)充,擴(kuò)充后圖像的80%作為訓(xùn)練集,20%作為驗(yàn)證集來(lái)進(jìn)行仿真,結(jié)果表明:對(duì)實(shí)木板材節(jié)子缺陷檢測(cè)正確率是98%,對(duì)實(shí)木板材孔洞缺陷檢測(cè)正確率是95%,驗(yàn)證算法應(yīng)用在實(shí)木板材缺陷檢測(cè)方面的有效性。筆者構(gòu)建實(shí)木板材缺陷檢測(cè)系統(tǒng)界面,該系統(tǒng)能實(shí)現(xiàn)圖像采集、圖像處理、特征提取和分類(lèi)識(shí)別等功能,對(duì)每張杉木缺陷圖像有效地進(jìn)行分類(lèi)識(shí)別并能將結(jié)果保存到數(shù)據(jù)庫(kù)以便后期查詢(xún)。
責(zé)任編輯:lq
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103432 -
算法
+關(guān)注
關(guān)注
23文章
4708瀏覽量
95262 -
智能化
+關(guān)注
關(guān)注
15文章
5124瀏覽量
57200
原文標(biāo)題:基于Faster R-CNN的實(shí)木板材缺陷檢測(cè)識(shí)別系統(tǒng)
文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺(jué)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
智能體AI面臨非結(jié)構(gòu)化數(shù)據(jù)難題:IBM推出解決方案
DDN攜手NVIDIA釋放非結(jié)構(gòu)化數(shù)據(jù)的AI價(jià)值
使用MATLAB進(jìn)行無(wú)監(jiān)督學(xué)習(xí)

PanDao:實(shí)際約束條件下成像系統(tǒng)的初始結(jié)構(gòu)的生成
從零到一:如何利用非結(jié)構(gòu)化數(shù)據(jù)中臺(tái)快速部署AI解決方案
一種無(wú)刷直流電機(jī)霍耳信號(hào)與定子繞組關(guān)系自學(xué)習(xí)方法
VirutualLab Fusion應(yīng)用:結(jié)構(gòu)光照明的顯微鏡系統(tǒng)
非結(jié)構(gòu)化數(shù)據(jù)中臺(tái):企業(yè)AI應(yīng)用安全落地的核心引擎
傳統(tǒng)機(jī)器學(xué)習(xí)方法和應(yīng)用指導(dǎo)

戴爾數(shù)據(jù)湖倉(cāng)助力企業(yè)數(shù)字化轉(zhuǎn)型
為什么最小化光纖電纜中的DB損耗很重要
結(jié)構(gòu)化布線(xiàn)在AI數(shù)據(jù)中心的關(guān)鍵作用
基于深度學(xué)習(xí)的三維點(diǎn)云分類(lèi)方法

基于分布式對(duì)象存儲(chǔ)WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)

評(píng)論