使用機(jī)器學(xué)習(xí)的應(yīng)用程序通常需要高計(jì)算能力。這些計(jì)算通常發(fā)生在顯卡的GPU上。Raspberry Pi并不專門設(shè)計(jì)用于運(yùn)行計(jì)算密集型應(yīng)用程序。但Google Coral USB加速器能在此提供幫助！借助此設(shè)備，我們可以在視頻中實(shí)現(xiàn)實(shí)時(shí)計(jì)算，如對(duì)象識(shí)別。

在本教程中，我們將探討如何在Raspberry Pi上集成和使用Google Coral。然后，我們將利用Raspberry Pi攝像頭中的視頻流創(chuàng)建實(shí)時(shí)對(duì)象檢測(cè)。

所需硬件部件

我在本教程中使用了以下硬件部件。許多組件在之前的教程中已經(jīng)使用過。

Raspberry Pi*

Edge TPU：Google Coral USB加速器

官方Raspberry Pi攝像頭模塊 或 USB網(wǎng)絡(luò)攝像頭

用于識(shí)別的簡(jiǎn)單對(duì)象（辦公用品、水果等）

最佳選擇：一個(gè)為Raspberry Pi和USB加速器配備散熱器的外殼（也可3D打?。?。

Google Coral USB加速器比Raspberry Pi4小，應(yīng)通過USB 3.0端口連接。

Google Coral USB加速器用于什么？

Google Coral USB加速器包含一個(gè)專門為神經(jīng)網(wǎng)絡(luò)計(jì)算而設(shè)計(jì)的處理器。這個(gè)處理器被稱為Edge-TPU（Tensor Processing Unit）。

以下視頻對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了很好的解釋，包括它們到底是什么，以及為什么你經(jīng)常在閱讀機(jī)器學(xué)習(xí)相關(guān)內(nèi)容時(shí)會(huì)看到它們：

因此，主要任務(wù)之一是解決這些神經(jīng)網(wǎng)絡(luò)（以矩陣的形式），而Edge TPU特別擅長(zhǎng)于此。Google提供了特殊的庫，以便我們可以利用Coral USB加速器的特性。

在Raspberry Pi上安裝Google Coral Edge TPU

為了使用Coral Edge TPU的處理能力，我們需要安裝一些軟件包。為此，我們主要遵循TPU網(wǎng)站的步驟。使用 USB 加速器入門：https://coral.ai/docs/accelerator/get-started/使用 SSH 和 Putty 遠(yuǎn)程訪問樹莓派：https://tutorials-raspberrypi.com/raspberry-pi-remote-access-by-using-ssh-and-putty/打開終端（或通過SSH連接），然后輸入以下命令：

echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" | sudo tee /etc/apt/sources.list.d/coral-edgetpu.listcurl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -sudo apt-get update

之后，我們可以安裝Edge TPU運(yùn)行時(shí)：

sudo apt-get install libedgetpu1-std

注意：如果你想安裝一個(gè)“更快”的運(yùn)行時(shí)（意味著：頻率更高），請(qǐng)使用以下命令：sudo apt-get install libedgetpu1-max。但是，請(qǐng)記住，不能同時(shí)安裝這兩個(gè)版本。此外，高頻版本會(huì)使工作溫度升高，因此你應(yīng)僅在具備足夠好的散熱條件時(shí)使用它。

安裝完成后，你可以將USB加速器連接到Raspberry Pi（最好連接到藍(lán)色的USB 3.0端口）。如果在安裝之前已經(jīng)連接，請(qǐng)暫時(shí)斷開并重新連接。

現(xiàn)在，我們安裝Python軟件包。為此，以下命令已足夠：

sudo apt-get install python3-pycoral --yes

安裝TensorFlow Lite

我們還需要TensorFlow Lite。首先，我們檢查版本：

pip3 show tflite_runtime

我的結(jié)果如下：

Name: tflite-runtimeVersion: 2.5.0Summary: TensorFlow Lite is for mobile and embedded devices.Home-page: https://www.tensorflow.org/lite/Author: Google, LLCAuthor-email: packages@tensorflow.orgLicense: Apache 2.0Location: /usr/lib/python3/dist-packagesRequires:Required-by: pycoral

如果你尚未安裝TensorFlow，可以按以下方式操作，然后再次運(yùn)行命令：

echo "deb https://packages.cloud.google.com/apt coral-edgetpu-stable main" | sudo tee /etc/apt/sources.list.d/coral-edgetpu.listcurl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -sudo apt-get updatesudo apt-get install python3-tflite-runtime

使用Google Coral和Raspberry Pi攝像頭在視頻中進(jìn)行對(duì)象識(shí)別

接下來，我們希望在視頻流中實(shí)時(shí)激活對(duì)象檢測(cè)。計(jì)算將在Edge TPU上運(yùn)行。為了顯示圖像，我們有幾個(gè)選項(xiàng)。我們可以使用例如PyGame、PiCamera或OpenCV等軟件包。我更喜歡OpenCV，因?yàn)樗试S我們使用計(jì)算機(jī)視覺領(lǐng)域的更多功能。

首先，我們通過CSI連接Raspberry Pi攝像頭，或通過USB連接網(wǎng)絡(luò)攝像頭。大多數(shù)網(wǎng)絡(luò)攝像頭會(huì)自動(dòng)被檢測(cè)到

讓我們從一個(gè)示例項(xiàng)目開始。再次打開終端：

mkdir google-coral && cd google-coralgit clone https://github.com/google-coral/examples-camera --depth 1

下一步，我們加載預(yù)訓(xùn)練模型。您也可以選擇使用自己訓(xùn)練的模型。然而，在我們這個(gè)簡(jiǎn)單的例子中，我們只加載了MobileNet SSD300模型：，它已經(jīng)可以識(shí)別許多物體。

MobileNet SSD300模型：https://resources.wolframcloud.com/NeuralNetRepository/resources/SSD-MobileNet-V2-Trained-on-MS-COCO-Data

cd examples-camerash download_models.sh

這個(gè)過程需要幾分鐘。之后，我們切換到OpenCV文件夾并安裝依賴項(xiàng)（如果你想使用另一個(gè)示例，這里有這個(gè)選項(xiàng)）。

cd opencvbash install_requirements.sh

現(xiàn)在我們可以啟動(dòng)示例應(yīng)用程序了。為此，你需要一個(gè)桌面環(huán)境。如果你不是直接在Raspberry Pi上工作，我建議使用遠(yuǎn)程桌面連接。

如何建立 Raspberry Pi 遠(yuǎn)程桌面連接：https://tutorials-raspberrypi.com/raspberry-pi-remote-desktop-connection/

python3 detect.py

這會(huì)打開一個(gè)新的窗口，顯示視頻流。在視頻流中，檢測(cè)到的物體會(huì)用矩形標(biāo)記出來。你還可以看到計(jì)算出的物體被檢測(cè)到的概率（以百分比表示）（即根據(jù)算法，這個(gè)物體被識(shí)別為特定物體的可能性有多大）。

現(xiàn)在讓我們仔細(xì)查看代碼，以了解發(fā)生了什么：

# Copyright 2019 Google LLC## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may obtain a copy of the License at## https://www.apache.org/licenses/LICENSE-2.0## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License. """A demo that runs object detection on camera frames using OpenCV. TEST_DATA=../all_models Run face detection model:python3 detect.py \ --model ${TEST_DATA}/mobilenet_ssd_v2_face_quant_postprocess_edgetpu.tflite Run coco model:python3 detect.py \ --model ${TEST_DATA}/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite \ --labels ${TEST_DATA}/coco_labels.txt """import argparseimport cv2import os from pycoral.adapters.common import input_sizefrom pycoral.adapters.detect import get_objectsfrom pycoral.utils.dataset import read_label_filefrom pycoral.utils.edgetpu import make_interpreterfrom pycoral.utils.edgetpu import run_inference def main(): default_model_dir = '../all_models' default_model = 'mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite' default_labels = 'coco_labels.txt' parser = argparse.ArgumentParser() parser.add_argument('--model', help='.tflite model path', default=os.path.join(default_model_dir,default_model)) parser.add_argument('--labels', help='label file path', default=os.path.join(default_model_dir, default_labels)) parser.add_argument('--top_k', type=int, default=3, help='number of categories with highest score to display') parser.add_argument('--camera_idx', type=int, help='Index of which video source to use. ', default = 0) parser.add_argument('--threshold', type=float, default=0.1, help='classifier score threshold') args = parser.parse_args() print('Loading {} with {} labels.'.format(args.model, args.labels)) interpreter = make_interpreter(args.model) interpreter.allocate_tensors() labels = read_label_file(args.labels) inference_size = input_size(interpreter) cap = cv2.VideoCapture(args.camera_idx) while cap.isOpened(): ret, frame = cap.read() if not ret: break cv2_im = frame cv2_im_rgb = cv2.cvtColor(cv2_im, cv2.COLOR_BGR2RGB) cv2_im_rgb = cv2.resize(cv2_im_rgb, inference_size) run_inference(interpreter, cv2_im_rgb.tobytes()) objs = get_objects(interpreter, args.threshold)[:args.top_k] cv2_im = append_objs_to_img(cv2_im, inference_size, objs, labels) cv2.imshow('frame', cv2_im) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() def append_objs_to_img(cv2_im, inference_size, objs, labels): height, width, channels = cv2_im.shape scale_x, scale_y = width / inference_size[0], height / inference_size[1] for obj in objs: bbox = obj.bbox.scale(scale_x, scale_y) x0, y0 = int(bbox.xmin), int(bbox.ymin) x1, y1 = int(bbox.xmax), int(bbox.ymax) percent = int(100 * obj.score) label = '{}% {}'.format(percent, labels.get(obj.id, obj.id)) cv2_im = cv2.rectangle(cv2_im, (x0, y0), (x1, y1), (0, 255, 0), 2) cv2_im = cv2.putText(cv2_im, label, (x0, y0+30), cv2.FONT_HERSHEY_SIMPLEX, 1.0, (255, 0, 0), 2) return cv2_im if __name__ == '__main__': main()

• 首先，包含了所需的PyCoral庫。
  
• 在主函數(shù)中，定義了可以從命令行傳遞的參數(shù)（如指定模型等）。
  
• 加載模型及其標(biāo)簽，并根據(jù)模型確定尺寸（此處為300×300）。
• 然后打開視頻流（cap = cv2.VideoCapture(args.camera_idx)）。

接下來是核心部分：

objs = get_objects(interpreter, args.threshold)[:args.top_k]

• 此過程中會(huì)確定“分類分?jǐn)?shù)”最高的3個(gè)元素（且分?jǐn)?shù)需高于閾值）。
• 隨后，在圖像上標(biāo)記每個(gè)檢測(cè)到的物體。

響應(yīng)特定對(duì)象

如果我們想在檢測(cè)到某個(gè)特定對(duì)象（例如一個(gè)人）時(shí)立即觸發(fā)一個(gè)動(dòng)作，現(xiàn)在應(yīng)該怎么做呢？

為此，我們首先來看一下get_objects函數(shù)的返回值：

[Object(id=16, score=0.5, bbox=BBox(xmin=-2, ymin=102, xmax=158, ymax=296)), Object(id=0, score=0.16015625, bbox=BBox(xmin=6, ymin=114, xmax=270, ymax=300)), Object(id=61, score=0.12109375, bbox=BBox(xmin=245, ymin=166, xmax=301, ymax=302))]

我們看到，每個(gè)檢測(cè)到的對(duì)象都包含一個(gè)ID、一個(gè)分?jǐn)?shù)以及一個(gè)帶有坐標(biāo)的邊界框。為了確定檢測(cè)到了哪個(gè)對(duì)象，我們需要查看標(biāo)簽：

{0: 'person', 1: 'bicycle', 2: 'car', 3: 'motorcycle', 4: 'airplane', 5: 'bus', 6: 'train', 7: 'truck', 8: 'boat', 9: 'traffic light', 10: 'fire hydrant', 12: 'stop sign', 13: 'parking meter', 14: 'bench', 15: 'bird', 16: 'cat', 17: 'dog', 18: 'horse', 19: 'sheep', 20: 'cow', 21: 'elephant', 22: 'bear', 23: 'zebra',24: 'giraffe', 26: 'backpack', 27: 'umbrella', 30: 'handbag', 31: 'tie', 32: 'suitcase', 33: 'frisbee', 34: 'skis', 35: 'snowboard', 36: 'sports ball', 37: 'kite', 38: 'baseball bat', 39: 'baseball glove', 40: 'skateboard', 41: 'surfboard', 42: 'tennis racket', 43: 'bottle', 45: 'wine glass', 46: 'cup', 47: 'fork', 48: 'knife', 49: 'spoon', 50: 'bowl', 51: 'banana', 52: 'apple', 53: 'sandwich', 54: 'orange', 55: 'broccoli', 56: 'carrot', 57: 'hot dog', 58: 'pizza', 59: 'donut', 60: 'cake', 61: 'chair', 62: 'couch', 63: 'potted plant',64: 'bed', 66: 'dining table', 69: 'toilet', 71: 'tv', 72: 'laptop', 73: 'mouse', 74: 'remote', 75: 'keyboard', 76: 'cell phone', 77: 'microwave', 78: 'oven', 79: 'toaster', 80: 'sink', 81: 'refrigerator', 83: 'book', 84: 'clock', 85: 'vase', 86: 'scissors', 87: 'teddy bear', 88: 'hair drier', 89: 'toothbrush'}

在我的案例中，識(shí)別到的對(duì)象有貓（ID=16）、人（ID=0）和椅子（ID=61）。

如果你想知道這些標(biāo)簽是從哪里來的：它們是在模型中訓(xùn)練的，因此被包含在內(nèi)。如果你創(chuàng)建自己的模型，也可以只包含對(duì)你而言重要的一個(gè)或幾個(gè)對(duì)象。例如，識(shí)別你自己的臉也是可能的。在上面的例子中，我們想在檢測(cè)到某個(gè)特定對(duì)象（例如ID=5的公交車）時(shí)立即觸發(fā)一個(gè)動(dòng)作。為此，我們首先查找該對(duì)象的ID。接下來，我們需要檢查是否找到了具有該ID的對(duì)象。我們還可以為分?jǐn)?shù)添加一個(gè)閾值（例如0.8）。偽代碼看起來像這樣：

found_scores = [o.score for o in objs if o.id == 5]if len(found_scores) > 0 and max(found_scores) >= 0.8:# do something

正如你所見，對(duì)其做出反應(yīng)非常簡(jiǎn)單。之后，我們可以保存照片。

結(jié)論

對(duì)于那些覺得Raspberry Pi的計(jì)算能力不夠的人來說，Google的Edge TPU提供了一個(gè)很好的機(jī)會(huì)。與高端顯卡相比，USB加速器也非常便宜。高端顯卡的平均價(jià)格超過一千美元。

以300x300px的分辨率運(yùn)行對(duì)象檢測(cè)非常流暢。也可以使用更高的分辨率，但你必須注意設(shè)備的溫度。我建議為連續(xù)運(yùn)行增加一個(gè)額外的風(fēng)扇。

此外，Google還提供了其他包含學(xué)習(xí)內(nèi)容的存儲(chǔ)庫。對(duì)于Coral的其他用例，這個(gè)存儲(chǔ)庫仍然很有趣，并且除了其他內(nèi)容外，還配備了圖像識(shí)別的示例。

https://github.com/google-coral/pycoral順便說一下，我們也可以使用TensorFlow創(chuàng)建自己的對(duì)象識(shí)別模型。為此，我們首先需要標(biāo)注圖像，然后訓(xùn)練一個(gè)模型。如果你感興趣，未來將提供相關(guān)的教程。