面板AOI檢測(cè)之ROI自動(dòng)提取算法解析 -智空 act視覺(jué)系統(tǒng)設(shè)計(jì)

液晶面板、OLED面板的AOI自動(dòng)缺陷檢測(cè)設(shè)備，核心算法第一步就是ROI（感興趣區(qū)域）自動(dòng)提取。

什么是ROI自動(dòng)提取技術(shù)？

如下圖所示，光學(xué)相機(jī)獲取到的原始圖像，藍(lán)框部分為AOI感興趣的面板檢測(cè)區(qū)域，其他部分，均為無(wú)效區(qū)域，需要將AOI部分摳圖，進(jìn)行接下來(lái)的缺陷檢測(cè)步驟。

難度究竟在哪呢？

對(duì)于部分面板產(chǎn)品，紋理?xiàng)l紋現(xiàn)象較多，形成了類(lèi)似摩爾效應(yīng)，嚴(yán)重干擾了ROI的自動(dòng)提取，很容易造成分割失敗。

（PS. 這么復(fù)雜的紋理，去提取ROI感興趣邊緣，你說(shuō)難不難？）

展示一下這個(gè)圖片放大后的邊緣細(xì)節(jié)，你就知道，壓根沒(méi)法用常規(guī)的邊緣提取...

優(yōu)秀的自動(dòng)ROI技術(shù)價(jià)值體現(xiàn)在哪里？

1)對(duì)產(chǎn)品對(duì)應(yīng)的載具對(duì)位精度要求降低，減少載具精確對(duì)位產(chǎn)生的機(jī)構(gòu)成本；（實(shí)在的降成本，劃重點(diǎn)1）

2)對(duì)光學(xué)相機(jī)水平面的偏轉(zhuǎn)要求降低，可以允許相機(jī)在水平方向，有一定的旋轉(zhuǎn)Buffer空間，不再要求嚴(yán)格的水平校準(zhǔn)，進(jìn)一步降低相機(jī)的水平調(diào)校機(jī)構(gòu)成本；（實(shí)在的降成本，劃重點(diǎn)2）

3)不用人為做ROI區(qū)域的手動(dòng)設(shè)定，減少人為干預(yù)，提高自動(dòng)化程度；（PK對(duì)手）

4)為后段的AOI缺陷檢測(cè)算法，做好必須且必要的摳圖鋪墊，減輕算法對(duì)全局圖像處理的載荷負(fù)擔(dān)，降低硬件資源消耗和TT。（內(nèi)部矛盾化解）

高紋理對(duì)應(yīng)的ROI自動(dòng)提取技術(shù)，具體是怎么做的？

1)Sobel_dir 邊緣提取

注意，這里的Sobel提取的是邊緣相位，不是邊緣振幅。（敲黑板）

2)閾值分割

為了增強(qiáng)ROI算法的自適應(yīng)性，一類(lèi)產(chǎn)品機(jī)種對(duì)應(yīng)一套參數(shù)，不頻繁修改，將閾值范圍設(shè)為0~250。幾乎除了純白色255，其他區(qū)域都進(jìn)行了閾值分割！

3)區(qū)域連接、填充空洞及選擇區(qū)域

區(qū)域連接和填充空洞，比較好理解，是指閾值分割后區(qū)域的相關(guān)處理，為的是更好的服務(wù)于區(qū)域選擇。通過(guò)區(qū)域選擇函數(shù)select_shape，以及面積特征，快速的分割出候選的ROI面板區(qū)域。其中，面積特征可以選擇大于總體圖像的1%的區(qū)域，此參數(shù)比較好設(shè)置。

4) 區(qū)域最小外接矩形

由于面板的矩形度較好，圖像分割出的外輪廓與最小外接矩形高度重合。

5)ROI區(qū)域提取

至此，從原圖摳出ROI感興趣區(qū)域，你以為工作結(jié)束了么..

然，并不是，請(qǐng)繼續(xù)陪我搬磚。（因?yàn)槿毕輽z測(cè)算法對(duì)邊緣部分敏感，上圖的ROI提取區(qū)域，包含了一些黑色無(wú)效區(qū)域，容易對(duì)后續(xù)的缺陷分割造成誤判）

6)ROI區(qū)域旋轉(zhuǎn)、拆減

計(jì)算外接矩形的Phi偏轉(zhuǎn)角度，然后反向旋轉(zhuǎn)Phi角度，即可將偏轉(zhuǎn)（歪的）圖像，進(jìn)行校正。一般四周邊緣的黑色部分像素距離是固定的，裁剪黑色部分后，就可以得到純凈的、校正后的ROI區(qū)域！如上圖所示。

至此，高紋理圖像的自動(dòng)ROI提取完畢。

理論學(xué)習(xí)深度

理論學(xué)習(xí)深度學(xué)習(xí)是讓不同平臺(tái)的多個(gè)學(xué)科之間無(wú)法互相配合地執(zhí)行，在不同理論上都能看到了深度學(xué)習(xí)的學(xué)習(xí)。通過(guò)這系列理論來(lái)改善計(jì)算機(jī)網(wǎng)絡(luò)模型的發(fā)展，讓計(jì)算機(jī)技術(shù)在知識(shí)中的每一個(gè)小計(jì)算機(jī)技術(shù)構(gòu)成了一個(gè)結(jié)構(gòu)，計(jì)算機(jī)視覺(jué)的結(jié)構(gòu)需要在一定的層面，并給出了一套復(fù)雜的學(xué)習(xí)。計(jì)算機(jī)技術(shù)在包含數(shù)字視覺(jué)預(yù)處理、語(yǔ)音、自然語(yǔ)言處理、大數(shù)據(jù)等多個(gè)領(lǐng)域中的復(fù)雜結(jié)構(gòu)，并以一定的技術(shù)為核心，通過(guò)多模態(tài)聚類(lèi)來(lái)描述具體的計(jì)算機(jī)系。

計(jì)算機(jī)視覺(jué)是通過(guò)采集特征值和方法，生成具有實(shí)時(shí)獲取數(shù)據(jù)的框架，并且從質(zhì)編處介紹如何使用數(shù)據(jù)挖掘、疾病自動(dòng)診斷和經(jīng)濟(jì)評(píng)價(jià)。學(xué)習(xí)是通過(guò)結(jié)合決策所發(fā)現(xiàn)的大規(guī)模樣本對(duì)于大型模型和計(jì)算機(jī)視覺(jué)領(lǐng)域進(jìn)行聚合，從而得到研究對(duì)象的大規(guī)?；A(chǔ)。M域感知域感知域感知，是指用于識(shí)別數(shù)據(jù)流生成的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法，可以讓過(guò)域感知浮點(diǎn)、不斷優(yōu)

The Imaging Source 相機(jī)幫助降低無(wú)塵室受污染的機(jī)率--機(jī)器視覺(jué)網(wǎng)

晶圓半導(dǎo)體制程必須嚴(yán)密監(jiān)控且無(wú)塵的工作環(huán)境中進(jìn)行，只要有一點(diǎn)污染可能就會(huì)影響整批晶圓，影響產(chǎn)能，現(xiàn)今半導(dǎo)體無(wú)塵室中配備多臺(tái)自主機(jī)器人多進(jìn)行搬運(yùn)工作以減少人工帶來(lái)的污染。The Imaging Source及經(jīng)銷(xiāo)商與晶圓廠合作，運(yùn)用機(jī)器視覺(jué)系統(tǒng)的方式進(jìn)行檢測(cè)及數(shù)值記錄回報(bào)，大幅降低無(wú)塵室受污染的機(jī)率，也令檢測(cè)過(guò)程更有效率。

無(wú)塵室自主機(jī)器人臟污檢測(cè)

晶圓片價(jià)格昂貴且價(jià)值高，在半導(dǎo)體無(wú)塵室中，晶圓的制程小劃分為好幾個(gè)階段與步驟，就像生產(chǎn)流水線(xiàn)，每個(gè)階段都有自己的工作站，而因?yàn)榫A脆弱易損，在工作站間運(yùn)送晶圓變成了很大的課題，現(xiàn)大部分的半導(dǎo)體無(wú)塵室導(dǎo)入自動(dòng)化系統(tǒng)，利用自主機(jī)器人的靈敏度來(lái)提取并運(yùn)送晶圓至下一個(gè)工作站，搭配工作人員進(jìn)行機(jī)臺(tái)設(shè)定及檢

機(jī)器視覺(jué)系統(tǒng)中光源的重要性--機(jī)器視覺(jué)網(wǎng)

光源

機(jī)器視覺(jué)系統(tǒng)主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。而圖像的獲取是機(jī)器視覺(jué)的核心，圖像的獲取系統(tǒng)則是由光源、鏡頭、相機(jī)三部分組成。光源的選取與打光合理與否可直接影響至少30%的成像質(zhì)量。所以光源是機(jī)器視覺(jué)系統(tǒng)中非常重要的一部分。

作用

通過(guò)適當(dāng)?shù)墓庠凑彰髟O(shè)計(jì)，使圖像中的目標(biāo)信息與背景信息得到最佳分離，可以大大降低圖像處理算法分割、識(shí)別的難度，同時(shí)提高系統(tǒng)的定位、測(cè)量精度，使系統(tǒng)的可靠性和綜合性能得到提高。反之，如果光源設(shè)計(jì)不當(dāng)，會(huì)導(dǎo)致在圖像處理算法設(shè)計(jì)和成像系統(tǒng)設(shè)計(jì)中事倍功半。因此，光源及光學(xué)系統(tǒng)設(shè)計(jì)的成敗是決定系統(tǒng)成敗的首要因素。

照亮目標(biāo)，提高目標(biāo)亮度；突出測(cè)量特征，簡(jiǎn)化圖像處理算法；克服環(huán)境光的干擾，保證圖

優(yōu)傲機(jī)器人全球員工突破千人大關(guān) 中國(guó)團(tuán)隊(duì)及本地生態(tài)進(jìn)一步發(fā)展，持續(xù)賦能制造業(yè)自動(dòng)化轉(zhuǎn)型升級(jí)

優(yōu)傲機(jī)器人全球員工突破千人大關(guān) 中國(guó)團(tuán)隊(duì)及本地生態(tài)進(jìn)一步發(fā)展，持續(xù)賦能制造業(yè)自動(dòng)化轉(zhuǎn)型升級(jí)

丹麥協(xié)作機(jī)器人制造商優(yōu)傲機(jī)器人（以下簡(jiǎn)稱(chēng)“優(yōu)傲”）宣布，經(jīng)過(guò)持續(xù)發(fā)展，其全球員工人數(shù)突破1000人大關(guān)。在千禧年后創(chuàng)立的所有丹麥企業(yè)中，僅有幾家目前達(dá)成了這一里程碑。

【優(yōu)傲丹麥總部】

2005年，南丹麥大學(xué)三位年輕的研究員Esben ?stergaard，Kasper St?y和Kristian Kassow有感于當(dāng)時(shí)的機(jī)器人實(shí)在過(guò)于笨重、昂貴、復(fù)雜，于是在大學(xué)的地下室創(chuàng)辦了優(yōu)傲，希望打造更靈活、安全、易于安裝和編程的機(jī)器人。2008年，優(yōu)傲率先推出全球首臺(tái)商用協(xié)作機(jī)器人UR5，隨后開(kāi)發(fā)了一系列產(chǎn)品組合，逐步成長(zhǎng)為全球協(xié)作機(jī)器人市場(chǎng)的領(lǐng)先企業(yè)，其總部所在地丹麥歐登塞也已成為全球領(lǐng)先的機(jī)器人研發(fā)中心之一。如今，優(yōu)傲

.

移動(dòng)機(jī)器人需求強(qiáng)勁，未來(lái)五年復(fù)合增長(zhǎng)率將達(dá)30%

數(shù)據(jù)顯示，我國(guó)制造業(yè)增加值從2012年的16.98萬(wàn)億元增加到2021年的31.4萬(wàn)億元，占全球比重從22.5%提高到了30%，持續(xù)保持世界第一制造大國(guó)的地位。

龐大的制造業(yè)，也孕育出了全球最龐大的物流需求，國(guó)家郵政局?jǐn)?shù)據(jù)顯示，2021年全國(guó)快遞量突破了1000億件，是5年前的1.7倍，面對(duì)數(shù)量眾多的快遞包裹量，依靠人手進(jìn)行分揀、包裝、搬運(yùn)根本難以應(yīng)對(duì)，因此應(yīng)用移動(dòng)機(jī)器人打造智能物流系統(tǒng)就成為了許多企業(yè)的選擇。

如今在許許多多的物流倉(cāng)庫(kù)和制造工廠中，正上演著一場(chǎng)史無(wú)前例的物流變革，在整齊切割的智能倉(cāng)庫(kù)中，靈活往返運(yùn)輸貨物的是一臺(tái)臺(tái)移動(dòng)機(jī)器人，從商品入庫(kù)到分揀、出庫(kù)，都充斥著它們的身影，一個(gè)龐大的倉(cāng)庫(kù)，往往只需要少數(shù)幾個(gè)員工。

移動(dòng)機(jī)器人助力企業(yè)降本增效

一文了解prompt learning在計(jì)算機(jī)視覺(jué)領(lǐng)域進(jìn)展

本文是對(duì)prompt Learning在CV領(lǐng)域的文獻(xiàn)總結(jié)，讀者閱讀完全文會(huì)對(duì)prompt learning在CV的各種用法有所了解，希望能對(duì)大家未來(lái)研究工作有所啟發(fā)。

CLIP（Learning Transferable Visual Models From Natural Language Supervision）

CLIP是OpenAI的一個(gè)非常經(jīng)典的工作，從網(wǎng)上收集了4億個(gè)圖片文本對(duì)用于訓(xùn)練，最后進(jìn)行zero-shot transfer到下游任務(wù)達(dá)到了非常好的效果，主要流程如下：

在訓(xùn)練階段，文本會(huì)通過(guò)Text Encoder（Transformer）編碼成一些文本Embedding向量，圖像會(huì)通過(guò)Image Encoder（ResNet50或VIT）編碼成一些圖像Embedding向量，然后將文

10億元砸向研發(fā)，小冰到底要搞什么？

意外。

今年科技圈的“寒冬”大潮還在持續(xù)上演著，而有這么一則消息卻與這股大勢(shì)“背道而馳”：

小冰公司，完成10億元新一輪融資。

這家公司，很多友友們并不陌生。

因?yàn)榻鼛啄瓿鲎运业谋姸嗵摂M人，經(jīng)?；钴S出現(xiàn)在人們的熱議話(huà)題中。

而隨著這次最新消息的曝光，新融資的歸去來(lái)，也成了外界最關(guān)心的問(wèn)題，特別還是大環(huán)境不好的當(dāng)前。

對(duì)此，小冰公司在官宣中也直接做了解答：

用于加速AI Being小冰框架技術(shù)研發(fā)。

未來(lái)一個(gè)季度內(nèi)，完成框架中正在運(yùn)行的30萬(wàn)名虛擬員工（AI Being Employee）的升級(jí)。

更進(jìn)一步的，小冰公司更是直言了這些動(dòng)作背后的一個(gè)“小目標(biāo)”——

推動(dòng)虛擬員工的普及。

至此，新的疑問(wèn)也接

蘋(píng)果頭顯團(tuán)隊(duì)放出多個(gè)招聘：面向AR/VR應(yīng)用開(kāi)發(fā)，看重游戲、虛擬效果方面能力

硅谷寒氣逼人，但是蘋(píng)果頭顯團(tuán)隊(duì)卻是熱火朝天。

剛剛過(guò)去的周末，他們一口氣發(fā)布3個(gè)崗位招聘，全部面向AR/VR應(yīng)用開(kāi)發(fā)。

還被曝出有兩位重磅人員加盟，同樣擅長(zhǎng)應(yīng)用領(lǐng)域。

其一曾在蘋(píng)果自動(dòng)駕駛部門(mén)任職，擅長(zhǎng)醫(yī)療健康、機(jī)器人方面應(yīng)用開(kāi)發(fā)。

另一位則是蘋(píng)果內(nèi)部高級(jí)工程主管，供職超過(guò)20年，此前一直負(fù)責(zé)Pages、Keynote等蘋(píng)果基本應(yīng)用的開(kāi)發(fā)。

此外還有消息稱(chēng)，一家MR移動(dòng)游戲工作室的兩位聯(lián)合創(chuàng)始人，都被蘋(píng)果挖來(lái)做AR/VR內(nèi)容了。

種種現(xiàn)象來(lái)看，蘋(píng)果憋了很久的MR頭顯，這回真的快來(lái)了。

知名蘋(píng)果爆料人Mark Gurman透露，這一重磅產(chǎn)品或在2023年發(fā)布。

它將具備哪些能力？

透過(guò)如上招聘動(dòng)向，或許就能

審核編輯 ：李倩