一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

主流的機器視覺技術(shù)又有哪些呢?

新機器視覺 ? 來源:長虹AI實驗室 ? 2023-05-26 14:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

導(dǎo)語:視覺是人類最敏感、最直接的感知方式,在不進行實際接觸的情況下,視覺感知可以使得我們獲取周圍環(huán)境的諸多信息。由于生物視覺系統(tǒng)非常復(fù)雜,目前還不能使得某一機器系統(tǒng)完全具備這一強大的視覺感知能力。

當(dāng)下,機器視覺的目標(biāo)即,構(gòu)建一個在可控環(huán)境中處理特定任務(wù)的機器視覺系統(tǒng)。由于工業(yè)中的視覺環(huán)境可控,并且處理任務(wù)特定,所以現(xiàn)如今大部分的機器視覺被應(yīng)用在工業(yè)當(dāng)中。

人類視覺感知是通過眼睛視網(wǎng)膜的椎體和桿狀細(xì)胞對光源進行捕捉,而后由神經(jīng)纖維將信號傳遞至大腦視覺皮層,形成我們所看到的圖像,而機器視覺卻不然。機器視覺系統(tǒng)的輸入是圖像,輸出是對這些圖像的感知描述。這組描述與這些圖像中的物體或場景息息相關(guān),并且這些描述可以幫助機器來完成特定的后續(xù)任務(wù),指導(dǎo)機器人系統(tǒng)與周圍的環(huán)境進行交互。

3f8e3a2a-fb83-11ed-90ce-dac502259ad0.png

那么,迄今為止,主流的機器視覺技術(shù)又有哪些呢?

3f98be3c-fb83-11ed-90ce-dac502259ad0.png

中流砥柱

卷積神經(jīng)網(wǎng)絡(luò)

3f98be3c-fb83-11ed-90ce-dac502259ad0.png

卷積神經(jīng)網(wǎng)絡(luò)是目前計算機視覺中使用最普遍的模型結(jié)構(gòu)。引入卷積神經(jīng)網(wǎng)絡(luò)進行特征提取,既能提取到相鄰像素點之間的特征模式,又能保證參數(shù)的個數(shù)不隨圖片尺寸變化。上圖是一個典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),多層卷積和池化層組合作用在輸入圖片上,在網(wǎng)絡(luò)的最后通常會加入一系列全連接層,ReLU激活函數(shù)一般加在卷積或者全連接層的輸出上,網(wǎng)絡(luò)中通常還會加入Dropout來防止過擬合。

自2012年AlexNet在ImageNet比賽上獲得冠軍,卷積神經(jīng)網(wǎng)絡(luò)逐漸取代傳統(tǒng)算法成為了處理計算機視覺任務(wù)的核心。

在這幾年,研究人員從提升特征提取能力,改進回傳梯度更新效果,縮短訓(xùn)練時間,可視化內(nèi)部結(jié)構(gòu),減少網(wǎng)絡(luò)參數(shù)量,模型輕量化, 自動設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)等這些方面,對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有了較大的改進,逐漸研究出了AlexNet、ZFNet、VGG、NIN、GoogLeNet和Inception系列、ResNet、WRN和DenseNet等一系列經(jīng)典模型,MobileNet系列、ShuffleNet系列、SqueezeNet和Xception等輕量化模型。

3fa3acc0-fb83-11ed-90ce-dac502259ad0.png

·卷積網(wǎng)絡(luò)示意圖

經(jīng)典模型(AlexNet):

AlexNet是第一個深度神經(jīng)網(wǎng)絡(luò),其主要特點包括:

1. 使用ReLU作為激活函數(shù)。

2. 提出在全連接層使用Dropout避免過擬合。注:當(dāng)BN提出后,Dropout就被BN替代了。

3. 由于GPU顯存太小,使用了兩個GPU,做法是在通道上分組。

4. 使用局部響應(yīng)歸一化(Local Response Normalization --LRN),在生物中存在側(cè)抑制現(xiàn)象,即被激活的神經(jīng)元會抑制周圍的神經(jīng)元。在這里的目的是讓局部響應(yīng)值大的變得相對更大,并抑制其它響應(yīng)值相對比較小的卷積核。例如,某特征在這一個卷積核中響應(yīng)值比較大,則在其它相鄰卷積核中響應(yīng)值會被抑制,這樣一來卷積核之間的相關(guān)性會變小。LRN結(jié)合ReLU,使得模型提高了一點多個百分點。

5. 使用重疊池化。作者認(rèn)為使用重疊池化會提升特征的豐富性,且相對來說會更難過擬合。

3fab6ac8-fb83-11ed-90ce-dac502259ad0.png

集大成之作(ResNet):

一般而言,網(wǎng)絡(luò)越深越寬會有更好的特征提取能力,但當(dāng)網(wǎng)絡(luò)達到一定層數(shù)后,隨著層數(shù)的增加反而導(dǎo)致準(zhǔn)確率下降,網(wǎng)絡(luò)收斂速度更慢。

傳統(tǒng)的卷積網(wǎng)絡(luò)在一個前向過程中每層只有一個連接,ResNet增加了殘差連接從而增加了信息從一層到下一層的流動。FractalNets重復(fù)組合幾個有不同卷積塊數(shù)量的并行層序列,增加名義上的深度,卻保持著網(wǎng)絡(luò)前向傳播短的路徑。相類似的操作還有Stochastic depth和Highway Networks等。這些模型都顯示一個共有的特征,縮短前面層與后面層的路徑,其主要的目的都是為了增加不同層之間的信息流動。

后起之秀

Transformers

3fbd3cbc-fb83-11ed-90ce-dac502259ad0.png

Transformer是一種self-attention(自注意力)模型架構(gòu),2017年之后在NLP領(lǐng)域取得了很大的成功,尤其是序列到序列(seq2seq)任務(wù),如機器翻譯和文本生成。2020年,谷歌提出pure transformer結(jié)構(gòu)ViT ,在ImageNet分類任務(wù)上取得了和CNN可比的性能。之后大量ViT衍生的Transformer架構(gòu)在ImageNet上都取得了成功。

Transformer 與 CNN相比優(yōu)點是具有較少的歸納性與先驗性,因此可以被認(rèn)為是不同學(xué)習(xí)任務(wù)的通用計算原語,參數(shù)效率與性能增益與 CNN 相當(dāng)。不過缺點是在預(yù)訓(xùn)練期間,對大數(shù)據(jù)機制的依賴性更強,因為 Transformer 沒有像 CNN 那樣定義明確的歸納先驗。因此當(dāng)下出現(xiàn)了一個新趨勢:當(dāng) self-attention 與 CNN 結(jié)合時,它們會建立強大的基線( BoTNet )。

Vision Transformer(ViT)將純Transformer架構(gòu)直接應(yīng)用到一系列圖像塊上進行分類任務(wù),可以取得優(yōu)異的結(jié)果。它在許多圖像分類任務(wù)上也優(yōu)于最先進的卷積網(wǎng)絡(luò),同時所需的預(yù)訓(xùn)練計算資源大大減少。

3fc52c24-fb83-11ed-90ce-dac502259ad0.png

DETR是第一個成功地將Transformer作為pipeline中的主要構(gòu)建塊的目標(biāo)檢測框架。它與以前的SOTA方法(高度優(yōu)化的Faster R-CNN)的性能匹配,具有更簡單和更靈活的pipeline。

3fcc0abc-fb83-11ed-90ce-dac502259ad0.png

Transformer的變體模型是目前的研究熱點,主要分為以下幾個類型:1)模型輕量化;2)加強跨模塊連接;3)自適應(yīng)的計算時間;4)引入分而治之的策略;4)循環(huán)Transformers;5)等級化的Transformer。

欺騙機器的眼睛

對抗性示例

最近引起研究界注意的一個問題是這些系統(tǒng)對對抗樣本的敏感性。一個對抗性的例子是一個嘈雜的圖像,旨在欺騙系統(tǒng)做出錯誤的預(yù)測。為了在現(xiàn)實世界中部署這些系統(tǒng),它們必須能夠檢測到這些示例。為此,最近的工作探索了通過在訓(xùn)練過程中包含對抗性示例來使這些系統(tǒng)更強對抗性攻擊的可能性。

現(xiàn)階段對模型攻擊的分類主要分為兩大類,即攻擊訓(xùn)練階段和推理階段。

訓(xùn)練階段的攻擊

訓(xùn)練階段的攻擊(Training in Adversarial Settings),主要的方法就是針對模型的參數(shù)進行微小的擾動,從而達到讓模型的性能和預(yù)期產(chǎn)生偏差的目的。例如直接通過對于訓(xùn)練數(shù)據(jù)的標(biāo)簽進行替換,讓數(shù)據(jù)樣本和標(biāo)簽不對應(yīng),從而最后訓(xùn)練的結(jié)果也一定與預(yù)期的產(chǎn)生差異,或者通過在線的方式獲得訓(xùn)練數(shù)據(jù)的輸入權(quán),操縱惡意數(shù)據(jù)來對在線訓(xùn)練過程進行擾動,最后的結(jié)果就是產(chǎn)出脫離預(yù)期。

推理階段的攻擊

推理階段的攻擊(Inference in Adversarial Settings),是當(dāng)一個模型被訓(xùn)練完成后,可以將該模型主觀的看作是一個盒子,如果該盒子對我們來說是透明的則可以將其看成“白盒”模型,若非如此則看成“黑盒”模型。所謂的“白盒攻擊”,就是我們需要知道里面所有的模型參數(shù),但這在實際操作中并不現(xiàn)實,卻有實現(xiàn)的可能,因此我們需要有這種前提假設(shè)。黑盒攻擊就比較符合現(xiàn)實生活中的場景:通過輸入和輸出猜測模型的內(nèi)部結(jié)構(gòu);加入稍大的擾動來對模型進行攻擊;構(gòu)建影子模型來進行關(guān)系人攻擊;抽取模型訓(xùn)練的敏感數(shù)據(jù);模型逆向參數(shù)等等。

對抗攻擊的防御機制。抵御對抗樣本攻擊主要是基于附加信息引入輔助塊模型(AuxBlocks)進行額外輸出來作為一種自集成的防御機制,尤其在針對攻擊者的黑盒攻擊和白盒攻擊時,該機制效果良好。除此之外防御性蒸餾也可以起到一定的防御能力,防御性蒸餾是一種將訓(xùn)練好的模型遷移到結(jié)構(gòu)更為簡單的網(wǎng)絡(luò)中,從而達到防御對抗攻擊的效果。

對抗學(xué)習(xí)的應(yīng)用舉例,1、自動駕駛;2、金融欺詐。

自動駕駛是未來智能交通的發(fā)展方向,但在其安全性獲得完全檢驗之前,人們還難以信任這種復(fù)雜的技術(shù)。雖然許多車企、科技公司已經(jīng)在這一領(lǐng)域進行了許多實驗,但對抗樣本技術(shù)對于自動駕駛?cè)匀皇且粋€巨大的挑戰(zhàn)。幾個攻擊實例:對抗攻擊下的圖片中的行人在模型的面前隱身,對抗樣本使得模型“無視”路障;利用 AI 對抗樣本生成特定圖像并進行干擾時,特斯拉的 Autopilot 系統(tǒng)輸出了「錯誤」的識別結(jié)果,導(dǎo)致車輛雨刷啟動;在道路的特定位置貼上若干個對抗樣本貼紙,可以讓處在自動駕駛模式的汽車并入反向車道;在Autopilot 系統(tǒng)中,通過游戲手柄對車輛行駛方向進行控制;對抗樣本使得行人對于機器學(xué)習(xí)模型“隱身”。

自學(xué)也能成才

自監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)需要干凈的標(biāo)記數(shù)據(jù),這對于許多應(yīng)用程序來說很難獲得。注釋大量數(shù)據(jù)需要大量的人力勞動,這是耗時且昂貴的。此外,數(shù)據(jù)分布在現(xiàn)實世界中一直在變化,這意味著模型必須不斷地根據(jù)不斷變化的數(shù)據(jù)進行訓(xùn)練。自監(jiān)督方法通過使用大量原始未標(biāo)記數(shù)據(jù)來訓(xùn)練模型來解決其中的一些挑戰(zhàn)。在這種情況下,監(jiān)督是由數(shù)據(jù)本身(不是人工注釋)提供的,目標(biāo)是完成一個間接任務(wù)。間接任務(wù)通常是啟發(fā)式的(例如,旋轉(zhuǎn)預(yù)測),其中輸入和輸出都來自未標(biāo)記的數(shù)據(jù)。定義間接任務(wù)的目標(biāo)是使模型能夠?qū)W習(xí)相關(guān)特征,這些特征稍后可用于下游任務(wù)(通常有一些注釋可用)。

自監(jiān)督學(xué)習(xí)是一種數(shù)據(jù)高效的學(xué)習(xí)范式。監(jiān)督學(xué)習(xí)方法教會模型擅長特定任務(wù)。另一方面,自監(jiān)督學(xué)習(xí)允許學(xué)習(xí)不專門用于解決特定任務(wù)的一般表示,而是為各種下游任務(wù)封裝更豐富的統(tǒng)計數(shù)據(jù)。在所有自監(jiān)督方法中,使用對比學(xué)習(xí)進一步提高了提取特征的質(zhì)量。自監(jiān)督學(xué)習(xí)的數(shù)據(jù)效率特性使其有利于遷移學(xué)習(xí)應(yīng)用。

目前的自監(jiān)督學(xué)習(xí)領(lǐng)域可大致分為兩個分支。一個是用于解決特定任務(wù)的自監(jiān)督學(xué)習(xí),例如上次討論的場景去遮擋,以及自監(jiān)督的深度估計、光流估計、圖像關(guān)聯(lián)點匹配等。另一個分支則用于表征學(xué)習(xí)。有監(jiān)督的表征學(xué)習(xí),一個典型的例子是ImageNet分類。而無監(jiān)督的表征學(xué)習(xí)中,最主要的方法則是自監(jiān)督學(xué)習(xí)。

自監(jiān)督學(xué)習(xí)方法依賴于數(shù)據(jù)的空間和語義結(jié)構(gòu),對于圖像,空間結(jié)構(gòu)學(xué)習(xí)是極其重要的,因此在計算機視覺領(lǐng)域中的應(yīng)用廣泛。一種是將旋轉(zhuǎn)、拼接和著色在內(nèi)的不同技術(shù)被用作從圖像中學(xué)習(xí)表征的前置任務(wù)。對于著色,將灰度照片作為輸入并生成照片的彩色版本。另一種廣泛用于計算機視覺自監(jiān)督學(xué)習(xí)的方法是放置圖像塊。一個例子包括 Doersch 等人的論文。在這項工作中,提供了一個大型未標(biāo)記的圖像數(shù)據(jù)集,并從中提取了隨機的圖像塊對。在初始步驟之后,卷積神經(jīng)網(wǎng)絡(luò)預(yù)測第二個圖像塊相對于第一個圖像塊的位置。還有其他不同的方法用于自監(jiān)督學(xué)習(xí),包括修復(fù)和判斷分類錯誤的圖像。

自2012年AlexNet問世這十年來,機器視覺領(lǐng)域的技術(shù)可以說是日新月異。機器視覺在諸多領(lǐng)域也逐漸接近甚至超越了我們?nèi)祟惖难劬?。隨著技術(shù)的不斷進步,機器視覺技術(shù)也一定會變得更加的強大,無論是安全防護、自動駕駛、缺陷檢測還是目標(biāo)識別等領(lǐng)域,相信機器視覺會帶給我們更多的驚喜。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    勵展博覽集團與機器視覺產(chǎn)業(yè)聯(lián)盟(CMVU)關(guān)于VisionChina(深圳)達成戰(zhàn)略合作

    在全球制造業(yè)加速智能化、自動化轉(zhuǎn)型的浪潮中,機器視覺技術(shù)作為智能制造領(lǐng)域的關(guān)鍵技術(shù)之一,正成為推動產(chǎn)業(yè)升級的關(guān)鍵力量。勵展博覽集團(以下簡稱“勵展”)與
    的頭像 發(fā)表于 07-17 16:47 ?504次閱讀
    勵展博覽集團與<b class='flag-5'>機器</b><b class='flag-5'>視覺</b>產(chǎn)業(yè)聯(lián)盟(CMVU)關(guān)于VisionChina(深圳)達成戰(zhàn)略合作

    主流機器視覺軟件開發(fā)平臺介紹及對比?

    機器視覺作為工業(yè)自動化的核心技術(shù),其軟件開發(fā)平臺的選擇直接影響項目的開發(fā)效率、成本及最終性能。本文將對比當(dāng)前主流視覺開發(fā)平臺,包括LabV
    的頭像 發(fā)表于 07-14 09:44 ?115次閱讀
    <b class='flag-5'>主流</b><b class='flag-5'>機器</b><b class='flag-5'>視覺</b>軟件開發(fā)平臺介紹及對比?

    EtherCAT科普系列(8):EtherCAT技術(shù)機器視覺領(lǐng)域的應(yīng)用

    機器視覺是基于軟件與硬件的組合,通過光學(xué)裝置和非接觸式的傳感器自動地接受一個真實物體的圖像,并利用軟件算法處理圖像以獲得所需信息或用于控制機器人運動的裝置。機器
    的頭像 發(fā)表于 05-15 17:09 ?654次閱讀
    EtherCAT科普系列(8):EtherCAT<b class='flag-5'>技術(shù)</b>在<b class='flag-5'>機器</b><b class='flag-5'>視覺</b>領(lǐng)域的應(yīng)用

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】視覺實現(xiàn)的基礎(chǔ)算法的應(yīng)用

    閱讀心得體會:ROS2機器視覺與地圖構(gòu)建技術(shù) 通過對本書第7章(ROS2視覺應(yīng)用)和第8章(ROS2地圖構(gòu)建)的學(xué)習(xí),我對機器
    發(fā)表于 05-03 19:41

    機器視覺照明的技術(shù)選擇與應(yīng)用

    機器視覺照明的關(guān)鍵特點包括對比度增強、亮度調(diào)整、魯棒性控制、反射控制、可預(yù)測性、表面因素影響以及光源位置。
    的頭像 發(fā)表于 04-09 09:59 ?238次閱讀

    友思特邀您相約2025上海機器視覺

    上海機器視覺展暨機器視覺技術(shù)及工業(yè)應(yīng)用研討會將于2025年3月26-28日在上海新國際博覽中心舉辦。
    的頭像 發(fā)表于 03-26 14:01 ?490次閱讀

    工業(yè)自動化中機器視覺技術(shù)的演變和未來發(fā)展趨勢

    機器視覺是一項使機器或工業(yè)設(shè)備能夠解釋和分析視覺數(shù)據(jù)的技術(shù),它將計算機科學(xué)與圖像處理技術(shù)相結(jié)合,
    的頭像 發(fā)表于 03-06 11:39 ?942次閱讀
    工業(yè)自動化中<b class='flag-5'>機器</b><b class='flag-5'>視覺</b><b class='flag-5'>技術(shù)</b>的演變和未來發(fā)展趨勢

    紅外熱成像技術(shù)推動機器視覺向智能化、精準(zhǔn)化發(fā)展

    如今,機器視覺作為人工智能領(lǐng)域的重要分支,正逐步滲透到各行各業(yè),從智能制造到智能安防,從醫(yī)療健康到智能駕駛,其應(yīng)用廣泛且深入。而紅外熱成像技術(shù),作為機器
    的頭像 發(fā)表于 02-28 13:29 ?519次閱讀
    紅外熱成像<b class='flag-5'>技術(shù)</b>推動<b class='flag-5'>機器</b><b class='flag-5'>視覺</b>向智能化、精準(zhǔn)化發(fā)展

    DLP160CP DMD是否可以應(yīng)用于機器視覺應(yīng)用?

    關(guān)于DLP160CPDMD芯片有一個疑問, 請問該芯片是否可以應(yīng)用在機器3D視覺(結(jié)構(gòu)光)場景應(yīng)用?我在TI TLP機器視覺,“3D掃描
    發(fā)表于 02-20 07:39

    機器視覺技術(shù):照亮工業(yè)4.0未來征途,報名火熱進行中

    中國(上海)機器視覺展暨機器視覺技術(shù)及工業(yè)應(yīng)用研討會將于 2025年3月26-28日在上海新國際博覽中心W4&W5館 舉辦。
    發(fā)表于 12-20 14:09 ?207次閱讀
    <b class='flag-5'>機器</b><b class='flag-5'>視覺</b><b class='flag-5'>技術(shù)</b>:照亮工業(yè)4.0未來征途,報名火熱進行中

    適用于機器視覺應(yīng)用的智能機器視覺控制平臺

    工控機在機器視覺系統(tǒng)設(shè)計中是不可或缺的核心組件,在機器視覺中發(fā)揮著至關(guān)重要的作用,其強大的計算能力、高度的穩(wěn)定性和可靠性、實時性以及圖像處理和識別能力,為
    的頭像 發(fā)表于 11-23 01:08 ?552次閱讀
    適用于<b class='flag-5'>機器</b><b class='flag-5'>視覺</b>應(yīng)用的智能<b class='flag-5'>機器</b><b class='flag-5'>視覺</b>控制平臺

    機器視覺要面臨的挑戰(zhàn)及其解決方法

    機器視覺是指使用計算機和圖像處理技術(shù)從圖像中提取信息,并將其轉(zhuǎn)換為機器可理解的格式。這種方法已經(jīng)被廣泛應(yīng)用于自動化生產(chǎn)、質(zhì)量控制、測量和檢測等領(lǐng)域。然而,
    的頭像 發(fā)表于 11-11 01:03 ?999次閱讀

    視覺檢測是什么意思?機器視覺檢測的適用行業(yè)及場景有哪些?

    在快速迭代的工業(yè)世界中,機器視覺檢測以其精準(zhǔn)、高效的力量,已成為眾多產(chǎn)業(yè)不可或缺的技術(shù)支持。本文將深入探討機器視覺檢測的含義、應(yīng)用行業(yè)及具體
    的頭像 發(fā)表于 08-30 11:20 ?895次閱讀

    焊接機器視覺控制技術(shù)有哪些組成

    焊接機器人在現(xiàn)代制造業(yè)中扮演著重要角色,它們提高了焊接的自動化程度和生產(chǎn)效率。然而,如何精確地控制焊接過程,以確保焊接質(zhì)量,是一個重要的難題。隨著技術(shù)的發(fā)展,視覺控制技術(shù)在焊接
    的頭像 發(fā)表于 08-15 16:23 ?664次閱讀

    機器視覺在焊接質(zhì)量檢測中的應(yīng)用

    焊接作為連接不同材料的關(guān)鍵工藝,其質(zhì)量直接影響到結(jié)構(gòu)的強度和可靠性。隨著工業(yè)技術(shù)的發(fā)展,如何高效、精準(zhǔn)地檢測焊接質(zhì)量,成為了工業(yè)制造領(lǐng)域急需解決的問題。機器視覺技術(shù)的引入,為焊接質(zhì)量檢
    的頭像 發(fā)表于 08-13 16:33 ?629次閱讀