描述

SeparAItor 是一個(gè)自主回收機(jī)器人的概念證明，它利用深度學(xué)習(xí)的力量來增強(qiáng)人類在一項(xiàng)既至關(guān)重要又嚴(yán)重未被充分利用的任務(wù)中的能力（大約 9% 的塑料廢物被回收，79% 進(jìn)入垃圾填埋場或到環(huán)境）。

由于回收主要是一種分類工作，而深度學(xué)習(xí)的主要應(yīng)用之一是對不同圖像進(jìn)行分類，因此這是一個(gè)非常自然的過程。Keras（在TensorFlow2中）用于機(jī)器學(xué)習(xí)部分，主要是因?yàn)樗暮唵涡?，以及一些用于圖像預(yù)處理的OpenCV。

根據(jù)

底座由一個(gè)簡單的平移和傾斜系統(tǒng)組成，頂部有一個(gè)盒子。它通過藍(lán)牙與計(jì)算機(jī)通信，并由板載電池供電，因此執(zhí)行器部分是完全獨(dú)立的。Lazy Susan 轉(zhuǎn)盤軸承和 608zz 軸向軸承為系統(tǒng)提供了機(jī)械穩(wěn)定性。

為了簡化電子設(shè)備，使用兩個(gè)伺服系統(tǒng)來控制底座，因此搖攝伺服系統(tǒng)的齒輪與底座中的齒輪之間的比例為 2:1，以便能夠旋轉(zhuǎn) 360 度。

最后，兩個(gè)超級(jí)粘性的防滑硅膠墊（例如用于將手機(jī)固定在汽車儀表盤上的墊子）既用于支撐頂部的紙板箱，又用于將底座牢牢固定到位并防止其旋轉(zhuǎn)和移動(dòng)左右滑動(dòng)。

?

?

訓(xùn)練

組裝好底座并設(shè)置好 cental 相機(jī)后，下一步就是數(shù)據(jù)集采集。雖然我最初從互聯(lián)網(wǎng)上下載圖像進(jìn)行訓(xùn)練，但這些圖像要么是渲染圖，要么是旨在銷售產(chǎn)品的具有專業(yè)外觀的圖片，通常只顯示帶有徽標(biāo)的一面。因?yàn)槲倚枰屗c現(xiàn)實(shí)生活中的物體一起工作，所以我認(rèn)為最好的方法是在真實(shí)條件下拍照。

使用“take_picture, py”腳本，我可以通過按鍵保存圖片。這些圖像首先被預(yù)處理以將它們調(diào)整到足夠的尺寸，然后去除它們的背景，只保留圖像的相關(guān)部分用于訓(xùn)練。

最后，由于添加一個(gè)對象不僅會(huì)改變該部分，還會(huì)產(chǎn)生陰影并使底座傾斜，因此只有最大的單個(gè)斑點(diǎn)被視為對象的一部分。

?

?

由于這種以不同角度重復(fù)添加對象的方法非常耗時(shí)，我只為六個(gè)類別中的每個(gè)類別拍攝了 300 張圖像，這使得數(shù)據(jù)集非常小。為了彌補(bǔ)這一點(diǎn)，我使用預(yù)訓(xùn)練的 VGG19 網(wǎng)絡(luò)作為網(wǎng)絡(luò)的卷積部分，并使用 K 折交叉驗(yàn)證來更好地了解訓(xùn)練過程。

最后，由于最后一種方法涉及創(chuàng)建模型的多個(gè)實(shí)例并將其加載到 GPU 中，如果以順序方式運(yùn)行，后者會(huì)很快耗盡內(nèi)存，因此每個(gè)折疊都在不同的進(jìn)程中運(yùn)行，以便能夠釋放迭代之間的 VRAM。

?

?

排序

一旦神經(jīng)網(wǎng)絡(luò)表現(xiàn)得相當(dāng)好，只需編寫一些代碼來完成系統(tǒng)。通過藍(lán)牙連接到串口后，腳本加載訓(xùn)練好的模型并初始化相機(jī)。

這里也使用了MOG2背景減法器來檢測圖像中的運(yùn)動(dòng)，這表明添加了新的物體，一旦出現(xiàn)下降沿（之前檢測后沒有發(fā)現(xiàn)運(yùn)動(dòng)，物體不再運(yùn)動(dòng)）圖像是已處理并標(biāo)識(shí)了類別以及相應(yīng)的 bin。

然后將此信息發(fā)送到基地，基地會(huì)將物品放入正確的垃圾箱中，并在完成后發(fā)送一條消息。然后更新空托盤的背景圖像，系統(tǒng)準(zhǔn)備好進(jìn)行新的檢測。

?