描述

我的妻子對我不斷地打開車庫門感到沮喪。老鼠會在一夜之間進(jìn)來，我們會在房子的陷阱里找到它們。當(dāng)然，我可以為我的車庫開門器買一個便宜的 Wifi 適配器，然后通過應(yīng)用程序遠(yuǎn)程關(guān)閉它們，但那有什么樂趣呢？我想我可以使用我新購買的 Google AIY Vision 套件，看看我可以用計算機(jī)視覺做什么！

對于那些想要熟悉 Vision Kit 的人，它由一個 Raspberry Pi Zero WH、一個 Raspberry Pi V2 相機(jī)和一個 Vision Bonnet（一個 Myriad 2450 ML 加速器）以及其他一些東西（LED、蜂鳴器）組成。在嘗試了微笑檢測器和其他示例之后，我想使用該套件。

我將套件放在一個小架子上，??該架子安裝在車庫中，面向車庫門。完全可選，但我將套件插入智能插頭，因此它可以在晚上斷電并在早上啟動（它在一夜之間運行有什么意義？）。

首先，我需要為計算機(jī)視覺模型收集一些數(shù)據(jù)。我編寫了一個簡單的 Python 腳本來拍攝照片并使用時間戳保存。然后我設(shè)置了一個 cron 作業(yè)，從日出到日落每小時運行一次該腳本。我這樣做了大約一周，以獲得模型的良好照明范圍和不同狀態(tài)（一扇門打開，兩扇門打開，兩扇門都關(guān)閉，車庫空，車庫里有 1 或 2 輛車）。Python腳本代碼如下：

#!/usr/bin/env python3
#Take some photos of the garage to further improve the image classifier
#Run hourly as a cron job during daylight hours

from datetime import datetime
from picamera import PiCamera, Color


#set the filename path for the garage photos
timenow = datetime.now()
timeStr = timenow.strftime("%m-%d-%Y-%H%M%S")
file_path = '/home/pi/garage_screenshots/garage_' + timeStr + '.jpg'

with PiCamera(sensor_mode=4, resolution=(1640, 1232), framerate=30) as camera:
    camera.capture(file_path)

一旦我有足夠的照片，我就利用了 Vision Kit教程中的Google Colab 。它運行一個默認(rèn)的花卉分類模型，所以我不得不用我車庫里的照片替換花卉照片。鑒于 Colab 只是一個臨時實例，您必須在每次運行時將照片上傳到 Colab。能夠使用 Google GPU 來訓(xùn)練您的模型需要付出很小的代價。我創(chuàng)建了一個帶有 2 個子文件夾的garage_photos 文件夾：打開和關(guān)閉。這些子文件夾與您將從模型中獲得的推理標(biāo)簽對齊。我在打開的文件夾中填充了至少一個車庫門打開的照片，并在關(guān)閉的文件夾中填充了兩扇門都關(guān)閉的照片這是我在 Colab 中所做的更改：

python scripts/retrain.py \
--bottleneck_dir=tf_files/bottlenecks \
--how_many_training_steps=500 \
--model_dir=tf_files/models/ \
--summaries_dir=tf_files/training_summaries/$ARCHITECTURE \
--output_graph=tf_files/retrained_graph.pb \
--output_labels=tf_files/retrained_labels.txt \
--architecture=$ARCHITECTURE \
--image_dir=tf_files/garage_photos

所有其他步驟保持不變。我將 Google Colab 的本地副本保存到我的 Google Drive，這樣我就不必每次運行 Colab 時都更新它。根據(jù)輸出，我的模型在驗證和測試數(shù)據(jù)方面的準(zhǔn)確度低于 90 年代。對我來說已經(jīng)足夠好了，我可以不斷添加更多照片來改進(jìn)模型結(jié)果。

Colab 完成后，我下載了模型（創(chuàng)建了兩個文件：retrained_graph.binaryproto 和 retrained_labels.txt）并將它們復(fù)制到 Raspberry Pi Zero。

現(xiàn)在，檢查車庫門狀態(tài)的腳本！我也保持這個簡單，添加一個 cron 作業(yè)來只運行一次腳本（接近黃昏，所以我改變時間，因為我們得到更多或更少的陽光）。我*大量*利用 Google 的mobilenet_based_classifier.py Python 腳本來輸入模型參數(shù)并運行推理。結(jié)果出來后，我拍攝了一張相機(jī)（只是為了驗證推理結(jié)果）并使用 smtplib 將車庫門的狀態(tài)和照片通過電子郵件發(fā)送給我和我的妻子。我還設(shè)置了一個 Twilio 試用帳戶，以使用 Twilio API 發(fā)送車庫門狀態(tài)的文本消息（雖然沒有圖像，以保持更便宜）。當(dāng) cronjob 運行時，成功！

我在一天結(jié)束時收到的電子郵件的屏幕截圖。

?

我們收到的短信截圖。

?

未來的改進(jìn)？

下一個是什么？我認(rèn)為下一步對我來說是自動化它！如果車庫門是開著的，我還是得下樓把它關(guān)上。那是多大的痛苦？:) 如果程序檢測到車庫門是打開的，為什么不讓程序關(guān)閉它呢？

這將是該項目的第 2 版。我開始使用視覺套件測試一個 2 通道繼電器開關(guān)，并且我能夠運行一個簡單的腳本來打開和關(guān)閉每個繼電器（但是男孩，鑒于它是一個Raspberry Pi 上帶有 3.3V 邏輯的 5V 繼電器！）。我計劃將繼電器的電線連接到車庫門開啟器的按鈕，并在程序檢測到門打開時觸發(fā)它們。我還必須更新模型以區(qū)分兩個車庫門。現(xiàn)在我的模型只關(guān)心一扇門是開著還是關(guān)著。

版本 2 涉及 2 通道繼電器！

?

我希望你喜歡這個項目。了解 Vision Kit 的內(nèi)部工作原理，然后將其重新用于我家的實用工具，這很有趣。隨時給我留下任何評論和/或反饋。謝謝！