當(dāng)然是苦苦尋找某個形狀的積木卻找不到。當(dāng)你興致勃勃地打開包裝時，眼前的一切卻是這樣，內(nèi)心會作何感想？

現(xiàn)在好了，國外一位樂高愛好者Daniel West用AI解決了這個難題。他使用自己開發(fā)的“樂高分類器”，不到2秒時間就能給一塊積木歸類。

（注：實際分類速度快一倍，為了方便展示，作者將動圖速度減半。）

這個分類器由樹莓派和1萬塊樂高積木組成，耗時2年打造，真的是“用樂高搞定樂高”，堪稱最硬核的“套娃”。

我們先來感受一下它龐大的外形：

最近，如此硬核的設(shè)備也得到了樹莓派官方轉(zhuǎn)發(fā)。

Daniel的技術(shù)是在前人的基礎(chǔ)上完成，但更加先進：它可以識別出所有曾經(jīng)使用過的樂高積木，甚至是從未見過的積木。

因此Daniel把它叫做世界上第一臺“通用樂高分類器”（universal LEGO sorting machine）。

工作過程

首先把一桶樂高積木倒入分類器中，在履帶的傳送下，積木分批少量地落入V形槽。

在V形槽的抖動下，積木又被一塊塊分別抖入傳送帶中。

傳送帶上方的攝像頭會拍下多幀畫面，并在此過程中完成積木種類的識別。

而后，不同形狀的積木分裝在不同的桶里。

最后再根據(jù)拼裝的設(shè)定，將積木按照需要裝入各個物料盒中。

看完這套設(shè)備后，有網(wǎng)友表示：能不能借我回去用幾天？

技術(shù)實現(xiàn)

其實Daniel所用的技術(shù)并不復(fù)雜，他甚至還為此寫過兩篇教程。

這臺機器用到的硬件有：樹莓派3B+，樹莓派攝像頭模塊V2，9臺伺服電機，6臺樂高電機。不過，最復(fù)雜的硬件應(yīng)該是Daniel設(shè)計的1萬塊積木的拼裝。

首先開始的是圖像數(shù)據(jù)標(biāo)注工作，Daniel先讓機器運行了幾天，收集了大約30萬張未標(biāo)記的樂高積木圖像。

用手工給30萬張圖片一一打上標(biāo)簽顯然是不切實際的，而相機會給一塊積木拍攝10~20張照片，通過打包標(biāo)注的方法，可以將效率提高10~20倍。

但即便如此，也有上萬組照片需要標(biāo)記。一次次將標(biāo)簽內(nèi)容填入csv文件顯然是個笨辦法。而且樂高種類繁多，比如2×2的方塊種類就有很多，沒必要分得太細(xì)。

因此，Daniel決定利用自己的Web開發(fā)經(jīng)驗，花幾個小時來編寫了一個簡單的Web應(yīng)用程序。速度又提高了2~5倍。

即便如此，效率仍然太低。Daniel再次想到用AI“打輔助”，讓AI給出TOP-5，自己在App里選中正確的選項，這樣每秒5就能標(biāo)記10張圖片，整體效率提升了40~1000倍。

在軟件的設(shè)計上，Daniel遇到了更大的挑戰(zhàn)，那就是樹莓派的AI運算能力并不強，如何實現(xiàn)實時的目標(biāo)檢測。

最初，他想到使用YOLO或Faster R-CNN，然而很難在樹莓派上達(dá)到90fps的處理速度，如果將圖像流式傳輸?shù)絇C上處理，網(wǎng)絡(luò)帶寬又會成為性能瓶頸。

Daniel不得不使用“老式”計算機視覺技術(shù)——OpenCV庫里的MOG2背景扣除器，即使在樹莓派3B+上它也能快速處理數(shù)據(jù)。

但是，直接將視頻幀發(fā)送到MOG2并不能正常工作。淺灰色和白色積木的亮度與傳送帶背景過于相似，難以識別。需要做的是在圖像傳遞給MOG2之前增加圖像的飽和度。

另外，RGB圖像的傳輸帶寬也太高，Daniel只好使用YUV格式將圖像帶寬壓縮一半，并把目標(biāo)檢測框外的像素裁剪掉。

經(jīng)過重重簡化，這套系統(tǒng)達(dá)到了70~80fps的處理速度。

最后，在樹莓派的官方博客下面的回復(fù)中，還有一位高人。他在4年前就設(shè)計過一款分類器，給兩噸的樂高積木進行分類。

這年頭，不懂點AI技術(shù)都不敢玩樂高了。

責(zé)任編輯：xj

原文標(biāo)題：「樹莓派+1萬塊樂高」打造樂高分類器，樹莓派官方轉(zhuǎn)發(fā)，網(wǎng)友：我想借來用兩天

文章出處：【微信公眾號：Linux愛好者】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。