描述

?

以下指南將引導(dǎo)您完成EMAR 迷你緊急救援機(jī)器人的設(shè)置和安裝。

Raspberry Pi 4 包含 EMAR Mini 軟件并為英特爾硬件提供動力。

免責(zé)聲明

使用電子產(chǎn)品時，您應(yīng)該始終非常小心！對于因全部或部分使用本教程而對硬件或您自己造成的任何損害，我們概不負(fù)責(zé)。使用本教程需要您自擔(dān)風(fēng)險，并采取措施確保您自己的安全。

V1 所需硬件

• 1 個樹莓派 4
• 1 個英特爾? 實感? D415
• 1 個英特爾? 神經(jīng)計算棒 2
• 1 個面包板
• 4 x Tower Pro SG90 伺服系統(tǒng)
• 跳線

先決條件

HIAS 服務(wù)器

該系統(tǒng)需要一個功能齊全的HIAS 服務(wù)器。在繼續(xù)本教程之前，請按照HIAS 服務(wù)器安裝指南設(shè)置您的 HIAS 服務(wù)器。

用于 3D 打印的 STL

對于本教程，您需要已經(jīng)打印了您的 EMAR Mini。按照STLs For 3D Printing指南完成該項目的 3D 打印部分。

樹莓派操作系統(tǒng)精簡版

在本教程中，我們將使用 Raspberry Pi OS Lite (Buster)。首先從樹莓派OS下載頁面下載鏡像，解壓鏡像文件，寫入SDK卡。在我們的項目中，我們使用了 64GB SD 卡。

完成此操作后，將其插入 Raspberry Pi 4，登錄后，使用以下命令更新您的設(shè)備，然后打開 Raspberry Pi 配置應(yīng)用程序。您需要擴(kuò)展文件系統(tǒng)、設(shè)置鍵盤首選項并將 RPI4 連接到網(wǎng)絡(luò)。

sudo apt-get update && sudo apt-get upgrade
sudo raspi-config

安裝

現(xiàn)在您需要安裝 EMAR Mini 硬件、軟件和依賴項。

設(shè)備安全

首先，您將加強(qiáng)設(shè)備的安全性。

遠(yuǎn)程用戶

您將創(chuàng)建一個新用戶來遠(yuǎn)程訪問您的服務(wù)器。使用以下命令為您的機(jī)器設(shè)置新用戶。按照提供的說明進(jìn)行操作，并確保使用安全密碼。

sudo adduser YourUsername

現(xiàn)在授予用戶 sudo 權(quán)限：

usermod -aG sudo YourUsername

現(xiàn)在打開一個新終端并使用您設(shè)置的新憑據(jù)登錄到您的服務(wù)器。

ssh YourNewUser@YourServerIP

SSH 訪問

現(xiàn)在讓我們加強(qiáng)服務(wù)器安全。使用以下命令設(shè)置您的公鑰和私鑰。確保在您的開發(fā)機(jī)器上執(zhí)行此步驟，而不是在您的服務(wù)器上。

提示

• 回車確認(rèn)默認(rèn)文件。
• 按兩次回車跳過密碼（可選，您可以根據(jù)需要使用密碼）。

ssh-keygen

你應(yīng)該最終得到這樣的屏幕：

Generating public/private rsa key pair.
Enter file in which to save the key (/home/genisys/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/genisys/.ssh/id_rsa.
Your public key has been saved in /home/genisys/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:5BYJMomxATmanduT3/d1CPKaFm+pGEIqpJJ5Z3zXCPM genisys@genisyslprt
The key's randomart image is:
+---[RSA 2048]----+
|.oooo..          |
|o .o.o . .       |
|.+..    +        |
|o o    o .       |
|  .o .+ S . .    |
| =..+o = o.o . . |
|= o =oo.E .o..o .|
|.. + ..o.ooo+. . |
|        .o++.    |
+----[SHA256]-----+

現(xiàn)在您要將密鑰復(fù)制到服務(wù)器：

ssh-copy-id YourNewUser@YourServerIP

輸入新用戶帳戶的密碼后，您的密鑰將保存在服務(wù)器上。現(xiàn)在嘗試在新終端中再次登錄服務(wù)器，您應(yīng)該直接登錄而無需輸入密碼。

ssh YourNewUser@YourServerIP

最后，您將關(guān)閉登錄密碼驗證。使用以下命令編輯 ssh 配置。

sudo nano /etc/ssh/sshd_config

更改以下內(nèi)容：

#PasswordAuthentication yes

至：

PasswordAuthentication no

然后重啟ssh：

sudo systemctl restart ssh

如果您使用 ssh 執(zhí)行上述步驟，請保持當(dāng)前終端連接。打開一個新終端，嘗試登錄到您的服務(wù)器。如果您可以登錄，則上述步驟成功。

本教程的其余部分假設(shè)您已登錄到您的設(shè)備。從您的開發(fā)機(jī)器上，使用 ssh 連接到您的設(shè)備，或者如果直接在機(jī)器上工作，則打開您的本地終端。

ssh YourUser@YourServerIP

UFW防火墻

現(xiàn)在您將設(shè)置防火墻：

sudo ufw enable
sudo ufw disable

現(xiàn)在打開所需的端口，這些端口將在您的服務(wù)器上打開，但不對外開放：

sudo ufw allow 22
sudo ufw allow OpenSSH

最后啟動并檢查狀態(tài)：

sudo ufw enable
sudo ufw status

您應(yīng)該看到以下內(nèi)容：

Status: active
To                         Action      From
--                         ------      ----
OpenSSH                    ALLOW       Anywhere
22                         ALLOW       Anywhere
OpenSSH (v6)               ALLOW       Anywhere (v6)
22 (v6)                    ALLOW       Anywhere (v6)

Fail2Ban

Fail2Ban 通過掃描服務(wù)器日志和查找異常活動增加了額外的安全層。Fail2Ban 默認(rèn)配置為與 IPTables 一起使用，因此我們將進(jìn)行一些重新配置以使其與我們的防火墻 UFW 一起使用。

sudo apt install fail2ban
sudo mv /etc/fail2ban/jail.conf /etc/fail2ban/jail.local
sudo rm /etc/fail2ban/action.d/ufw.conf
sudo touch /etc/fail2ban/action.d/ufw.conf
echo "[Definition]" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
echo "  enabled  = true" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
echo "  actionstart =" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
echo "  actionstop =" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
echo "  actioncheck =" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
echo "  actionban = ufw insert 1 deny from  to any" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
echo "  actionunban = ufw delete deny from  to any" | sudo tee -a /etc/fail2ban/action.d/ufw.conf
sudo nano /etc/fail2ban/action.d/ufw.conf
sudo sed -i -- "s#banaction = iptables-multiport#banaction = ufw#g" /etc/fail2ban/jail.local
sudo nano /etc/fail2ban/jail.local
sudo fail2ban-client restart
sudo fail2ban-client status

您應(yīng)該看到以下內(nèi)容：

Shutdown successful
Server readyStatus
|- Number of jail:      1
`- Jail list:   sshd

Python 依賴項

sudo apt install python3-pip
sudo pip3 install geolocation
sudo pip3 install paho-mqtt
sudo pip3 install psutil
sudo pip3 install numpy
sudo pip3 install requests
sudo pip3 install zmq

在 HIAS 中創(chuàng)建 EMAR 設(shè)備

前往您的 HIAS 服務(wù)器并導(dǎo)航至Robotics->EMAR->Create 。在設(shè)備設(shè)置中，選擇所需的 iotJumpWay 位置和區(qū)域、EMAR 設(shè)備的名稱、Raspberry Pi 的 IP 和 MAC 地址。實時對象檢測和深度設(shè)置可以保留默認(rèn)設(shè)置。如果您修改端口和目錄名稱，則在更新下面的HIAS 服務(wù)器代理設(shè)置時需要更改這些。

HIAS 服務(wù)器代理

您需要更新 HIAS 服務(wù)器代理設(shè)置，以便proxy_pass可以正確地將流量重定向到您的 Raspberry Pi。

為此，您需要編輯 NGINX 配置。在您的 HIAS 服務(wù)器上使用以下命令使用 Nano 編輯文件：

sudo nano /etc/nginx/sites-available/default

在文件的頂部，您將找到控制 EMAR/EMAR Mini 代理的設(shè)置。您需要將###.###.#.##更改為您的 Raspberry Pi 的 IP 地址。

如果您在 HIAS EMAR UI 中更改了 Stream Port、Stream Directory 或 Socket Port 設(shè)置，您還需要在此處更新這些設(shè)置。

location ~* ^/Robotics/EMAR/Live/(.*)$ {
auth_basic "Restricted";
auth_basic_user_file /etc/nginx/tass/htpasswd;
proxy_pass http://###.###.#.##:8282/$1;
}

保存并退出配置后，您需要重新加載 NGINX 服務(wù)器：

sudo systemctl reload nginx

更新設(shè)備設(shè)置

現(xiàn)在您需要使用 HIAS UI 中提供的憑據(jù)更新設(shè)備設(shè)置。如果您更改了 Stream Port 和 Socket Port 設(shè)置，您還應(yīng)該在此配置文件中更新它們。

sudo nano confs.json{
    "iotJumpWay": {
        "host": "",
        "port": 8883,
        "ip": "localhost",
        "lid": 0,
        "zid": 0,
        "did": 0,
        "dn": "",
        "un": "",
        "pw": ""
    },
    "EMAR": {
        "ip": ""
    },
    "Realsense": {
        "server": {
            "port": 8282
        },
        "socket": {
            "port": 8383
        }
    },
    "MobileNetSSD": {
        "bin": "Model/MobileNetSSD_deploy.bin",
        "classes": [
            "background",
            "aeroplane",
            "bicycle",
            "bird",
            "boat",
            "bottle",
            "bus",
            "car",
            "cat",
            "chair",
            "cow",
            "diningtable",
            "dog",
            "horse",
            "motorbike",
            "person",
            "pottedplant",
            "sheep",
            "sofa",
            "train",
            "tvmonitor"
        ],
        "inScaleFactor": 0.007843,
        "meanVal": 127.53,
        "size": 300,
        "threshold": 0.6,
        "xml": "Model/MobileNetSSD_deploy.xml"
    }
}

英特爾? 實感? D415

現(xiàn)在我們將為英特爾? 實感? D415 安裝軟件。

確保您的真實感未插入

在按照英特爾的一些教程在 Raspberry Pi 3 和 Raspberry Pi 4 和多個操作系統(tǒng)上安裝 Realsense 失敗后，我終于被指向了LibUVC-backend 安裝的方向。為了使我們的項目能夠正常工作，您需要修改下載的libuvc_installation.sh文件并執(zhí)行額外的步驟。

根據(jù)指南，首先下載文件：

wget https://github.com/IntelRealSense/librealsense/raw/master/scripts/libuvc_installation.sh

然后修改：

cmake ../ -DFORCE_LIBUVC=true -DCMAKE_BUILD_TYPE=release

至：

cmake ../ -DFORCE_LIBUVC=true -DCMAKE_BUILD_TYPE=release DBUILD_PYTHON_BINDINGS=bool:true

這將安裝我們運行PyRealsense所需的 Python 綁定。現(xiàn)在繼續(xù)：

chmod +x ./libuvc_installation.sh
./libuvc_installation.sh

最后打開你的bashrc文件

sudo nano ~/.bashrc

并在保存和關(guān)閉之前將以下內(nèi)容添加到文件末尾。

export PYTHONPATH=$PYTHONPATH:/usr/local/lib

您現(xiàn)在可以將 Realsense 插入 Raspberry Pi 并使用以下命令進(jìn)行測試，以檢查您的設(shè)備是否被識別并成功打開：

rs-enumerate-devices

最后是以下測試 PyRealsense 是否正常工作：

python3
import pyrealsense
exit()

如果您沒有從import pyrealsense中得到任何錯誤，那么您的 Realsense 的一切設(shè)置都是正確的。

英特爾? OpenVINO? 工具套件分發(fā)版

英特爾官方教程再次以某種方式失敗，我終于在PyImageSearch上遇到了一個非常好的教程。以下指南使用與我們項目相關(guān)的部分，并允許您在 Raspberry 4 上快速設(shè)置 OpenVINO。

sudo apt-get install build-essential cmake unzip pkg-config
sudo apt-get install libjpeg-dev libpng-dev libtiff-dev
sudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get install libxvidcore-dev libx264-dev
sudo apt-get install libgtk-3-dev
sudo apt-get install libcanberra-gtk*
sudo apt-get install libatlas-base-dev gfortran
sudo apt-get install python3-dev
cd
wget https://download.01.org/opencv/2020/openvinotoolkit/2020.1/l_openvino_toolkit_runtime_raspbian_p_2020.1.023.tgz
tar -xf l_openvino_toolkit_runtime_raspbian_p_2020.1.023.tgz
mv l_openvino_toolkit_runtime_raspbian_p_2020.1.023 openvino
nano ~/.bashrc

現(xiàn)在在保存和關(guān)閉之前將以下行添加到 bashrc 文件的底部。

source ~/openvino/bin/setupvars.sh

英特爾? 神經(jīng)計算棒 2

我們再次使用PyImageSearch教程中提供的說明在 Raspberry Pi 上安裝 NCS2。

sudo usermod -a -G users "$(whoami)"
cd
sh openvino/install_dependencies/install_NCS_udev_rules.sh

連接脖子

首先，將您的最終伺服器推入Body-Middle.stl的頂部并將其擰入到位。接下來將伺服臂擰到頸部底部并連接到伺服器上。您可能需要一些膠水來保持這部分的安全。

組裝頭部

接下來讓我們組裝頭部、Face.stl 、Head-Back.stl和Camera-Cover.stl 。在臉上你會看到 3 個孔。使用這些孔將臉部擰到后腦勺上，然后將相機(jī)蓋放在臉部的大方形孔上。

將頭部連接到頸部

現(xiàn)在您需要使用頸部側(cè)面的兩個螺釘來固定頭部。首先擰緊螺釘，使其穿過另一側(cè)，然后將頭部放在頸部內(nèi)并繼續(xù)擰緊直到頭部連接。

樹莓派 4 支架

現(xiàn)在我們將設(shè)置您的 Raspberry Pi 4 支架，使 Raspberry Pi 在 EMAR Mini 內(nèi)保持直立位置。

相關(guān)文件為RPI4-Base.stl和RPI4-Stand.stl 。首先將支架滑入底座。

現(xiàn)在將您的 Raspberry Pi 4 擰到支架上，端口朝上。

樹莓派 4 引腳分配

資源

面包板

我們將在電路中使用面包板。第一步是從 Raspberry Pi 4 的 PWM 引腳連接電線。使用 Raspberry Pi 引腳圖，將 GPIO 18、13 和 12 連接到面包板。

舵機(jī)的 PWM 信號線是橙色的，在上圖中，我們使用橙色公頭->公頭跳線將 PWM 引腳連接到面包板。

還要從 5v 電源引腳添加一根紅線，從地線添加一根黑線。但不要連接它們。

添加英特爾? 神經(jīng)計算棒 2

現(xiàn)在將您的神經(jīng)計算棒 2 插入 Raspberry Pi 上的頂部 USB3。

將 Raspberry Pi 4 支架連接到 EMAR Mini

在Body-Bottom.stl的底部，您將看到兩個用于將 Raspberry Pi 4 支架連接到 EMAR Mini 內(nèi)部的螺釘孔。

首先擰入螺釘，直到它們剛好穿過另一側(cè)，這將更容易擰入支架。然后將機(jī)身底部翻轉(zhuǎn)到側(cè)面并擰入 Raspberry Pi 4 支架。

將底部向右轉(zhuǎn)，將面包板放在身體頂部。

連接手臂部分

EMAR Mini 的手臂有兩個部分，Arm-Section-1.stl和Arm-Section-2.stl 。

使用您的一個伺服器將第二個臂部分連接到第一個部分，然后使用第二個伺服器將第一個臂部分連接到身體，然后將電線通過孔送入身體內(nèi)部。

將伺服線連接到面包板

現(xiàn)在您將三個伺服器連接到面包板。將主體翻轉(zhuǎn)到側(cè)面并將其放置在靠近主體底部的位置，以便電線可以到達(dá)您留在頂部的面包板。

接下來，我們使用紅色公頭->公頭跳線將伺服電源線連接到面包板上的電源軌，公頭->公頭棕色線將伺服地線連接到面包板上的地軌。

現(xiàn)在我們將 PWM 信號線（橙色）連接到面包板。您需要通過以下方式連接它們。

• 頭部伺服 -> GPIO 18
• 第一臂部分伺服 -> GPIO 12
• 第二臂部分伺服 -> GPIO 13

接下來將 Raspberry Pi 4 的紅色電源線連接到面包板上的電源軌，然后將接地線連接到接地軌。

安裝面包板

現(xiàn)在您需要將面包板輕輕地放在 EMAR 的主體內(nèi)，就在底部的 Raspberry Pi 前面。如果您在將面包板放入內(nèi)部時使身體活躍起來，這樣做會更容易。

安裝實感攝像頭

接下來，將來自 Realsense 攝像頭的 USB C 型導(dǎo)線穿過頸部后部的孔插入機(jī)身，將其拉過并將其連接到 Raspberry Pi 上的第二個 USB3 端口。

整理起來

現(xiàn)在將 USB C 型電源線插入 Raspberry Pi，但暫時不要插入電源。

完成后，您需要將中間主體連接到底部主體。要非常小心，確保不要將任何電線從 Raspberry Pi 或面包板上拉出，并確保 Realsense 的 USB 電纜安裝在機(jī)身頂部，否則可能會導(dǎo)致您無法能夠移動頭部。

最后將 Realsense 攝像頭推入面部前部的孔中，并確保其牢固。在這個版本中，頭部尺寸計算錯誤，可以將相機(jī)楔入頭部，但我們正在為 V2 設(shè)計更大的頭部設(shè)計。使用前確保相機(jī)牢固地嵌入頭部。

繼續(xù)

現(xiàn)在您可以繼續(xù)返回RPI4教程以完成設(shè)置。

貢獻(xiàn)

Peter Moss Acute COVID-19 AI 研究項目鼓勵并歡迎來自 Github 的代碼貢獻(xiàn)、錯誤修復(fù)和增強(qiáng)功能。

請閱讀CONTRIBUTING文檔以獲取有關(guān)分叉存儲庫和提交拉取請求的完整指南。您還可以在此頁面上找到有關(guān)您的行為準(zhǔn)則的信息。

貢獻(xiàn)者

• Adam Milton-Barker - Asociacion De Investigation En Inteligencia Artificial Para La Leucemia Peter Moss西班牙薩瓦德爾總裁兼首席開發(fā)人員
• Jose Mario Garza - Asociacion De Investigation En Inteligencia Artificial Para La Leucemia Peter Moss 3D 設(shè)計師/打印機(jī)，墨西哥

版本控制

您使用 SemVer 進(jìn)行版本控制。有關(guān)可用版本，請參閱版本。

執(zhí)照

這個項目是在MIT 許可下獲得許可的- 有關(guān)詳細(xì)信息，請參閱LICENSE文件。

錯誤/問題

您使用repo 問題來跟蹤與使用此項目相關(guān)的錯誤和一般請求。有關(guān)如何提交錯誤、功能請求和建議的更多信息，請參閱CONTRIBUTING 。