項(xiàng)目簡(jiǎn)介

01

項(xiàng)目背景

本課題來(lái)源于航天某公司實(shí)際項(xiàng)目需求，擬完成火箭燃料貯箱人孔口蓋的自動(dòng)裝配。

人孔口為航空航天器儲(chǔ)箱上的開(kāi)口，用于技術(shù)人員進(jìn)入航空器內(nèi)部進(jìn)行檢修。在火箭燃料加注完畢后需要人孔口蓋將所有人孔口進(jìn)行封鎖。

航空器中的每一個(gè)艙段均有人孔口和人孔口蓋，方便工人進(jìn)行在檢查和維修任務(wù)，從生產(chǎn)到運(yùn)行到回收，這種人孔口和人孔口蓋都是必需的。所以高質(zhì)量地實(shí)現(xiàn)人孔口蓋與人孔的組裝是至關(guān)重要的。

為了減少人工操作，保證人孔口蓋裝配的穩(wěn)定性，需要實(shí)現(xiàn)人孔口蓋裝配系統(tǒng)自動(dòng)化。

02

擬解決關(guān)鍵問(wèn)題

壹

/自動(dòng)巡航，尋找目標(biāo)位置。

人孔口蓋安裝的工廠面積較大，且人孔口蓋在9個(gè)位置有分布。需要選取適合本項(xiàng)目的自動(dòng)巡航小車，搭載人孔口蓋裝配的核心系統(tǒng)，快速定位，自動(dòng)運(yùn)行到合適的安裝位置進(jìn)行自動(dòng)化裝配。

貳

/利用機(jī)器視覺(jué)進(jìn)行工件位姿求取與定位

人孔法蘭與箱體軸線有不同的角度，所以需要對(duì)其進(jìn)行位姿和角度的識(shí)別，用于引導(dǎo)機(jī)械臂進(jìn)行后續(xù)操作。另外要實(shí)現(xiàn)人孔口蓋與人孔法蘭的對(duì)接需要獲取螺孔位置。這需要利用視覺(jué)系統(tǒng)進(jìn)行特征檢測(cè)，對(duì)圖像識(shí)別的算法進(jìn)行研究，還需要將結(jié)果轉(zhuǎn)化到機(jī)械臂坐標(biāo)系中。

叁

/利用可編程機(jī)械臂進(jìn)行工件抓取及安裝

裝配要求人孔口蓋安裝各邊間隙基本一致，按照對(duì)稱性原則對(duì)螺母逐級(jí)、對(duì)稱施加力矩。為滿足裝配要求，減輕工人負(fù)擔(dān)，提高裝配的精度和穩(wěn)定性，本項(xiàng)目將利用機(jī)械臂代替人工進(jìn)行裝配操作。

總體擬裝配動(dòng)畫展示

這個(gè)視頻是根據(jù)裝配需求以及后續(xù)詳細(xì)介紹的總體方案制作的人孔口蓋自動(dòng)裝配系統(tǒng)工作流程動(dòng)畫。能夠幫助大家更好地了解這個(gè)系統(tǒng)，提高后續(xù)閱讀的流暢性。

自動(dòng)裝配總體方案

01

總體結(jié)構(gòu)

本方案設(shè)計(jì)的火箭燃料貯箱人孔口蓋裝配系統(tǒng)，如圖所示，由自動(dòng)巡航小車（AGV）、引導(dǎo)抓取視覺(jué)系統(tǒng)（簡(jiǎn)稱視覺(jué)系統(tǒng)1）和螺孔精定位視覺(jué)系統(tǒng)（簡(jiǎn)稱視覺(jué)系統(tǒng)2）、六軸機(jī)器人、機(jī)器人控制柜、電氣柜、工具快換架、抓具、擰緊工具、人孔口蓋閥門組件及工裝臺(tái)組成。

可將系統(tǒng)分為運(yùn)動(dòng)執(zhí)行系統(tǒng)、工作臺(tái)及視覺(jué)檢測(cè)系統(tǒng)。其中運(yùn)動(dòng)執(zhí)行系統(tǒng)以機(jī)器人及AGV系統(tǒng)為核心，執(zhí)行各種運(yùn)動(dòng)任務(wù)，如AGV搭載整體系統(tǒng)前往裝配位置，機(jī)器人抓取、裝配口蓋，擰緊螺母等。工作臺(tái)由靜置在AGV上的工具快換架、人孔口蓋工裝臺(tái)、電氣柜等組成，用于放置各種工具、人孔口蓋閥門組件及控制器等，方便收納器件，輔助機(jī)器人工作。

02

車間布局及裝配流程

車間布局

人孔口蓋的裝配任務(wù)將在車間進(jìn)行，為提高裝配效率需提前布局好火箭燃料貯箱的放置位置。將貯箱在裝配車間等間隔放置，AGV行進(jìn)軌道與貯箱所在軸平行或垂直且有一定距離，給機(jī)器人運(yùn)動(dòng)留足空間的同時(shí)保證人孔法蘭位置在機(jī)器人工作范圍內(nèi)。AGV沿導(dǎo)航磁條行進(jìn)至待裝配箱體以完成裝配任務(wù)。總體布局如上圖所示。

裝配流程

根據(jù)火箭燃料貯箱人孔口蓋自動(dòng)裝配車間的總體布局及總體系統(tǒng)的機(jī)械模型，對(duì)裝配工作過(guò)程進(jìn)行詳細(xì)介紹，如下圖所示。

視覺(jué)檢測(cè)系統(tǒng)

經(jīng)過(guò)上面的介紹，大家對(duì)人孔口蓋自動(dòng)裝配系統(tǒng)的大致組成和檢測(cè)原理有了初步的認(rèn)識(shí)。下面將著重介紹一下該系統(tǒng)中視覺(jué)檢測(cè)的部分。

01

視覺(jué)系統(tǒng)結(jié)構(gòu)

本方案配備兩個(gè)視覺(jué)系統(tǒng)，分別用于裝配前人孔口蓋與人孔法蘭位置及螺柱、螺孔信息的識(shí)別和人孔口蓋螺孔精準(zhǔn)位置識(shí)別。由于人孔口蓋為金屬材料，邊緣與裝配平面難以區(qū)分，常用在機(jī)器視覺(jué)中的三維雙目視覺(jué)系統(tǒng)不再適用。故采用高精度激光位移傳感器與機(jī)器人的數(shù)據(jù)傳輸進(jìn)行位姿的檢測(cè)與調(diào)整，使裝配面互相平行，再利用相機(jī)進(jìn)行圓心與螺柱2D位置數(shù)據(jù)的采集。下面是兩個(gè)視覺(jué)系統(tǒng)的機(jī)械結(jié)構(gòu)。

引導(dǎo)抓取視覺(jué)系統(tǒng)相機(jī)視覺(jué)系統(tǒng)、長(zhǎng)距離點(diǎn)激光位移傳感器、高精度點(diǎn)激光位移傳感器、安裝支架等組成。

螺孔精定位視覺(jué)系統(tǒng)位于AGV上固定位置，由高精度點(diǎn)激光位移傳感器、相機(jī)視覺(jué)系統(tǒng)、安裝支架等組成。

02

引導(dǎo)視覺(jué)系統(tǒng)主要部件選型

1

相機(jī)

由于檢測(cè)靜止物體，故對(duì)于相機(jī)幀數(shù)要求不需要太高。根據(jù)待測(cè)物體最大直徑為580mm，選擇視場(chǎng)為600mm×600mm，檢測(cè)精度設(shè)為0.25mm，則

本方案選取的工業(yè)相機(jī)，幀率大于16fps，兩個(gè)方向分辨率為5496和3672均大于2400。

2

鏡頭

首先根據(jù)放大倍數(shù)選取合適的焦距，視場(chǎng)大小設(shè)為600mm×600mm，選取的工業(yè)相機(jī)的感光元件的尺寸為12.7mm×9.6mm，所以短邊為9.6mm，由于視場(chǎng)較大，為保證工作距離較小，選取焦距較短的鏡頭，綜合考慮與相機(jī)的匹配問(wèn)題。選取焦距為8mm，2000萬(wàn)像素級(jí)鏡頭。

3

長(zhǎng)距離激光位移傳感器

激光位移傳感器是利用激光技術(shù)進(jìn)行測(cè)量的傳感器。它由激光器、激光檢測(cè)器和測(cè)量電路組成。激光傳感器是新型測(cè)量?jī)x表。能夠精確非接觸測(cè)量被測(cè)物體的位置、位移、振動(dòng)、距離、直徑等。激光有直線度好的優(yōu)良特性，同樣激光位移傳感器相對(duì)于我們已知的超聲波傳感器有更高的精度。

機(jī)器人抓取人孔口蓋后，根據(jù)預(yù)設(shè)的程序，機(jī)器人末端停在與燃料貯箱人孔口裝配平面大致平行的位置，此時(shí)需用長(zhǎng)距離激光器探測(cè)燃料貯箱位置，由于艙體具有光反射性，故選用長(zhǎng)距離回歸反射型不帶反射鏡型激光器，檢測(cè)距離高達(dá)4m。

4

高精度點(diǎn)激光位移傳感器

利用高精度點(diǎn)激光檢測(cè)貯箱人孔法蘭平面的平面位置，及法蘭圓心位置。人孔法蘭平面高出基準(zhǔn)弧面約15mm，又考慮到檢測(cè)法蘭圓心需較高精度，故本方選取光點(diǎn)類型為小光點(diǎn)型的高精度點(diǎn)激光位移傳感器，可以中和因表面粗糙物體的表面不規(guī)則性所產(chǎn)生的漫反射，防止數(shù)據(jù)波動(dòng)，測(cè)量范圍為80±15mm。

相機(jī)

長(zhǎng)距離激光位移傳感器

鏡頭

高精度點(diǎn)激光位移傳感器

·選取部件實(shí)物圖·

螺孔精定位視覺(jué)系統(tǒng)主要部件選型過(guò)程類似，就不在此贅述。

03

特征提取算法

本方案為避免相機(jī)位姿檢測(cè)帶來(lái)的誤差，采用激光位移傳感器檢測(cè)對(duì)接端面是否平行，機(jī)器人根據(jù)反饋信息調(diào)整姿態(tài)，直至對(duì)接端面平行。此時(shí)2D相機(jī)視覺(jué)系統(tǒng)采集圖像，進(jìn)行圖像處理。

在圖像采集過(guò)程中，很多外在因素會(huì)影響采集圖像的質(zhì)量，使其有噪聲干擾，為盡量避免圖像噪聲給檢測(cè)精度和準(zhǔn)度帶來(lái)的影響，可以尋找合適的光源強(qiáng)度、入射角度等以使采集圖像質(zhì)量達(dá)到較好效果。另外的圖像預(yù)處理過(guò)程中，針對(duì)特定的噪聲采取對(duì)應(yīng)的解決算法對(duì)圖像噪聲進(jìn)行處理，也可提高檢測(cè)精度。預(yù)處理包括小波降噪、Otsu二值化、形態(tài)學(xué)處理，在保留原信號(hào)的條件下盡可能減少噪聲，隨后進(jìn)行Canny邊緣檢測(cè)，對(duì)圖像輪廓進(jìn)行提取，并用空間矩求質(zhì)心的方法檢測(cè)圓心坐標(biāo)，下圖為視覺(jué)檢測(cè)流程圖。

1

小波閾值降噪

●模型圖像為RGB彩色圖像，為避免條帶失真，方便后續(xù)圖像處理，提高運(yùn)算速度，將其轉(zhuǎn)化為灰度圖。本算法用cvtColor函數(shù)進(jìn)行灰度圖轉(zhuǎn)化。

經(jīng)過(guò)灰度處理后，進(jìn)行圖像降噪處理。本方案采用基于小波變換的去噪方法，它主要特性為在時(shí)頻域有多分辨率，所以適合去除圖像的高斯噪聲，同時(shí)保留圖像高頻信息。采用一種可調(diào)半軟閾值函數(shù)，見(jiàn)下式，在節(jié)省運(yùn)算時(shí)間的同時(shí)，綜合軟閾值方法和硬閾值方法的優(yōu)勢(shì)。小波基選用Haar小波。

2

最大類間方差法(Otsu)圖像二值化

●最大類間方差法(Otsu)是將灰度圖像分為兩個(gè)部分，選取閾值T使前景和背景與圖像平均灰度的差值值達(dá)到最大，用類間方差表示

其中P0和P1分別為前景和背景的像素?cái)?shù)量占比，u0和u1分別為前景和背景的平均灰度值，u為圖像全局平均灰度值。

3

圖像輪廓去除和填補(bǔ)

●經(jīng)過(guò)二值化處理后有一些小裂縫需要填補(bǔ)，且工件一些邊緣凸起輪廓和螺孔接近，需要去除。本算法采用形態(tài)學(xué)處理中的開(kāi)、閉運(yùn)算進(jìn)行微小輪廓線的去除和填補(bǔ)，關(guān)鍵函數(shù)為getStructuringElement。開(kāi)運(yùn)算用于消除小物體如物體表面的突起；閉運(yùn)算用于除去小型黑洞。由于本設(shè)計(jì)中要檢測(cè)圓孔特征，故選取尺寸為3×3的圓形核進(jìn)行卷積操作，保證邊緣平滑，并保留螺孔及圓特征。

4

Canny算子邊緣檢測(cè)及輪廓提取

●前四步為圖像預(yù)處理，下面提取輪廓。首先進(jìn)行邊緣檢測(cè)，常見(jiàn)的邊緣提取算子有Canny、Sobel、Prewitt等，經(jīng)測(cè)試Canny算子的邊緣檢測(cè)效果最好。直接采用OpenCV庫(kù)中自帶的Canny函數(shù)進(jìn)行輪廓提取。

用findContours函數(shù)，對(duì)輪廓的檢索模式采用RETR_LIST模式，檢測(cè)內(nèi)圍、外圍所有輪廓，不建立等級(jí)關(guān)系，彼此獨(dú)立。采用CHAIN_APPROX_SIMPLE的表達(dá)方式，壓縮水平，垂直或斜的部分，只保存最后一個(gè)點(diǎn)。再利用drawContours和存儲(chǔ)有輪廓信息的自定義矩陣counter將輪廓繪制出來(lái)。

5

圓心坐標(biāo)提取

●繪制出輪廓后進(jìn)行最后一步，即圓心坐標(biāo)的提取?；舴蜃儞Q對(duì)噪音的魯棒性強(qiáng)，結(jié)果可行度高，常用于圓特征的提取，但是其計(jì)算量大，實(shí)用性差。由于最終得到的輪廓已經(jīng)過(guò)降噪處理且只保留了圓形部分，可直接提取輪廓中心即為圓心。圓具有中心對(duì)稱的特性，采用計(jì)算空間/幾何矩的方法來(lái)計(jì)算圓心，可以減小由圖像處理帶來(lái)的誤差，用到的函數(shù)為moments。

最終求得各螺柱孔的圓心坐標(biāo)及人孔法蘭和人孔口蓋的質(zhì)心坐標(biāo)，并顯示在圖中。

特征提取過(guò)程效果圖

下圖為利用3D打印的縮小版模型搭建的實(shí)驗(yàn)室測(cè)試平臺(tái)，進(jìn)行完搭建和像素當(dāng)量標(biāo)定后，將人孔口蓋縮小版模型靠著互相垂直的兩個(gè)定位塊放置，使得兩切線的垂直線交于人孔口蓋模型圓心。進(jìn)入軟件的視覺(jué)檢測(cè)模塊加載像素當(dāng)量，打開(kāi)相機(jī)進(jìn)行圖像采集和特征位置提取，獲得人孔口蓋縮小版模型中心的X、Y坐標(biāo)。人孔口蓋縮小版模型在實(shí)驗(yàn)臺(tái)的理論值由游標(biāo)卡尺測(cè)得的定位塊距離及模型直徑獲得。測(cè)試15組數(shù)據(jù)后，從實(shí)驗(yàn)結(jié)果得出X、方向定位的最大絕對(duì)誤差的絕對(duì)值為0.23mm，Y方向定位的最大絕對(duì)誤差的絕對(duì)值為0.27mm，均小于預(yù)設(shè)的視覺(jué)定位誤差。

火箭燃料貯箱人孔口蓋自動(dòng)裝配中的視覺(jué)檢測(cè)技術(shù)研究

目前火箭燃料貯箱人孔口蓋自動(dòng)裝配中的視覺(jué)檢測(cè)技術(shù)研究部分已形成文字，收錄在CTISC 2022 論文集中。大家感興趣的話可以前往EI進(jìn)行檢索，題目為：Research on Visual Inspection Technology in Automatic Assembly for Manhole Cover of Rocket Fuel Tank。或者點(diǎn)擊最下方閱讀原文查看。

結(jié) 語(yǔ)

實(shí)現(xiàn)火箭燃料貯箱人孔口蓋自動(dòng)裝配是火箭成功發(fā)射的又一重要保障。本文介紹了裝配系統(tǒng)的總體設(shè)計(jì)，并著重介紹了其中的兩個(gè)視覺(jué)檢測(cè)系統(tǒng)，主要運(yùn)用的傳感器為高精度點(diǎn)激光位移傳感器和工業(yè)相機(jī)。可以實(shí)現(xiàn)自動(dòng)尋找艙體法蘭面、調(diào)平、螺孔螺柱位置提取、孔軸自動(dòng)裝配等功能。該視覺(jué)系統(tǒng)稍加改進(jìn)也可運(yùn)用到其他的自動(dòng)檢測(cè)方案中。

我們團(tuán)隊(duì)還有很多的實(shí)際工程項(xiàng)目，其中各式的傳感器發(fā)揮著重要作用，以后小編會(huì)慢慢整理并發(fā)到公眾號(hào)上。今天的介紹就到這里了，大家還想要了解哪方面的科研實(shí)例或者傳感器應(yīng)用可以在評(píng)論區(qū)留言哦~

審核編輯：郭婷