nsh> pwm test -d /dev/pwm_output0 -c 4 -p 

FMUK-66 手動飛行舵機微調(diào)（載具武裝前顯示值）

?

b) HW revC 6 針 PWM 上的 ESC 配置。c) 元器件洗牌、接線整理、配電板固定。

確保電路板已固定以連接 1500mAh 電池、FMU 電源、NAVQ+

?

Software Grind : a)nxp_fmuk66-v3在 Mac M1 上使用 PX4-Autopilot 克服構(gòu)建/編譯/Flash（請參閱要點了解 python3 版本和 conda 要求）

基于 M1 (Rosetta) 構(gòu)建的 PX4 固件

?

b) 使用 UART/TELEM2 在 NavQ+ 和飛行控制器之間建立串行通信（設(shè)備樹分配給/dev/ttymxc2上的 SPI ，使用/dev/ttyUSB0的解決方法） c) NavQ+ 上用于構(gòu)建eIQ工具的 ubuntu 穩(wěn)定版本的 UUU 閃存和MAVSDK

技術(shù)開發(fā)

BME688 固件和傳感器 uORB 主題

需要進行一些調(diào)整來包裝與 Bosch C++ API 通信的 PX4 驅(qū)動程序（I2C/SPI HAL 不可知代碼）。固件端口的詳細信息可以在本教程和Github頁面上找到。

uint64 timestamp          # time since system start (microseconds)
uint64 timestamp_sample

uint32 device_id          # unique device ID for the sensor that does not change between power cycles

uint32 sample_count       # bme688 sample counts
float32 temperature       # temperature in degrees Celsius
float32 pressure          # static pressure measurement in Pascals
float32 humidity          # Humidity in percentage (%)
float32 gas_resistance    # gas resistance (ohm)
uint8 device_status       # byte hex 0xB0

uint32 error_count

uint8 ORB_QUEUE_LENGTH = 4

Use of I2C scan (default address: 0x77 on adafruit BME688 breakout)

nsh> i2cdetect -b 1
Scanning I2C bus: 1
     0  1  2  3  4  5  6  7  8  9  a  b  c  d  e  f
00: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
40: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 
70: -- -- -- -- -- -- -- 77 -- -- -- -- -- -- -- --

nsh> bme688 start -X -f 200000
NFO  [SPI_I2C] adding a running instance -set started to true
bme688 #0 on I2C bus 1 address 0x77
nsh> bme688 status
INFO  [SPI_I2C] Running on I2C Bus 1, Address 0x77
bme688: sample: 108 events, 115304us elapsed, 1067.63us avg, min 884us max 1411us 93.582us rms
bme688: measure: 109 events, 16119470us elapsed, 147885.05us avg, min 147140us max 148614us 266.258us rms
bme688: comms errors: 0 events

傳感器 uORB 主題對 PX4 系統(tǒng)是透明的，并且可以由農(nóng)作物監(jiān)控應(yīng)用程序訂閱，如下所示（下面使用測試listener）

nsh> uorb status
TOPIC NAME                     INST #SUB #Q SIZE PATH
sensor_gas                        0    0  4   48 /obj/sensor_gas0
nsh> listener sensor_gas

TOPIC: sensor_gas
 sensor_gas
    timestamp: 185075367 (0.630325 seconds ago)
    timestamp_sample: 185074305 (1062 us before timestamp)
    device_id: 12744457 (Type: 0xC2, I2C:1 (0x77))
    sample_count: 1
    temperature: 23.7633
    pressure: 101306.1875
    humidity: 59.5401
    gas_resistance: 35814.2148
    error_count: 0
    device_status: 176

By將 app 命令添加到PX4 src/boards/nxp/fmuk66-v3/init/rc.board_sensors，氣體傳感器驅(qū)動程序?qū)⒃谠O(shè)備啟動時啟動 I2C 狀態(tài)機，在測量和收集狀態(tài)之間切換發(fā)布sensor_gas主題 @ 2 Hz（每 500 毫秒）

# auto start BME688 gas sensor on external i2c bus 1 @200k
bme688 start -X -b 1 -f 200000

I2C 總線上的 BME688 傳感器數(shù)據(jù)

?

static constexpr uint32_t   _measure_interval{250 * 1000};  // every 0.5 sec

sensor_gas uORB 采樣和發(fā)布 @ 2Hz

?

數(shù)據(jù)采樣是在強制（而不是并行模式）下完成的，因為我們以高數(shù)據(jù)速率發(fā)布推理決策（不需要長時間的熱分析）以獲取溫度、濕度、氣壓和氣體指標。

Edge ML - 使用 Bosch AI Studio

這個簡短實驗的目標是收集傳感器數(shù)據(jù)并提供可部署到 IoT Edge 的基本分類模型，在我們的例子中是一個相當(dāng)占用的 FMUK-66。Bosch BME688 開發(fā)套件（x8 傳感器）用于收集具有各種傳感配置文件的一些植物的溫度、壓力、濕度和氣體成分，以最大限度地減少數(shù)據(jù)差異并避免 Bosch AI studio 中的 BSEC 訓(xùn)練出現(xiàn)異常。收集階段耗時數(shù)小時，并在控制環(huán)境下進行了兩次（相隔約 1.5 周），一次是在這些植物處于最健康狀態(tài)時，一次是在其易碎、腐爛的狀態(tài)（葉子呈褐色，活力較差，和干腐爛的根

新鮮空氣、腐爛空氣和健康空氣各收集 1.5 小時的傳感器數(shù)據(jù)。

?

在數(shù)據(jù)收集之前，電路板傳感器已經(jīng)穩(wěn)定（準備 24 小時）。加熱器配置文件是使用 8 傳感器評估套件（ESP32 Teensy 模塊）創(chuàng)建的。雖然尚不清楚額外的氣體成分（如 CO、NO2、乙醇、氣體混合物）是否是植物樣本健康惡化的任何因素，但該模型能夠得出一些可靠的結(jié)果，而不是嚴重過度擬合（門控通過工作室訓(xùn)練的混淆矩陣）通過暗示溫度、濕度等其他因素。

導(dǎo)入收集的傳感器數(shù)據(jù)。設(shè)置算法以在 3 個標記類之間進行分類

?

訓(xùn)練方法：批量大小為32 的ADAM ，1024輪，70%/30%數(shù)據(jù)拆分

除了 AI studio 生成的 BSEC 配置頭文件和 .config 二進制文件，我們還需要導(dǎo)入其 cortex-M4庫（FMUK-66 架構(gòu)）以包含在bsec.h分類任務(wù)中。預(yù)測結(jié)果作為 uORB crop_health 主題的一部分發(fā)布，該主題由在 PX4 上開發(fā)的作物監(jiān)測 C++ 應(yīng)用程序推斷

ML模型的混淆矩陣

?

珊瑚相機支架和NAVQ+ 集成

將 FMUK66 拖到后方，以便為 Coral 相機和 NavQ+ 運行

?

pixy2 pan tilt 套件被修改為連接珊瑚短殼并嘗試讓云臺控制相機（物理安裝但未使用，考慮到飛行控制上的 CPU 負載很重 ~91%）設(shè)法在底部鉆了幾個洞NavQ+ 機箱，同時為配套計算機騰出空間。USB 集線器安裝在第一個 PCB 的頂部，它允許 NavQ+ 與 /dev/ttyUSB0 上的 FMUK66 通信以獲取 MAVLink 消息。

接近完整的系統(tǒng)圖示

?

• 。

作物健康監(jiān)測

uORB sensor_gas主題必須由機載農(nóng)作物監(jiān)控應(yīng)用程序定期使用，該應(yīng)用程序在通過 MAVLink 發(fā)送它們之前計算分類結(jié)果和指標。

uint64 timestamp      # time since system start (microseconds)

char[20] crop_type    # type of crops

float32 temperature       # temperature in degrees Celsius
float32 pressure          # static pressure measurement in Pascals
float32 humidity          # Humidity in percentage (%)
float32 gas_resistance    # gas resistance (ohm)

float32 health_index      # general health index
uint8 pred_longevity    # model prediction

1) 添加rcS文件以允許 Edge ML 訂閱、解釋、監(jiān)控農(nóng)作物健康狀況。crops_monitor

2) 添加 MAVLink stream 命令以啟用包流以周期性速率到地面站和 NavQ+ 的串行/遙測（這兩個文件都在ROMFS/px4fmu_common/init.d-posix 下）px4-rc.mavlink

# custom CROPS_MONITOR startup stream for mavlink
mavlink stream -r 2 -s CROPS_MONITOR -d /dev/ttyS1

crops_monitor.cpp

PX4_INFO("Crops monitor evaluate identified plant health using BME688 gas sensor metrics");

// subscribe to sensor_gas topic
int sensor_gas_fd = orb_subscribe(ORB_ID(sensor_gas));
// limit the update rate to 50 Hz
orb_set_interval(sensor_gas_fd, 20);

struct crops_health_s ch{};
orb_advert_t ch_pub = orb_advertise(ORB_ID(crops_health), &ch);

px4_pollfd_struct_t fds[] = {
    { .fd = sensor_gas_fd,   .events = POLLIN },
};

3) health_index作為植物健康的一般指標，由濕度、壓力和溫度的比例值組成。pred_longevity是上述 BSEC 分類模型使用來自 BME688 的實時樣本的推理結(jié)果。

<mavlink>
    <include>development.xmlinclude>
    
    <dialect>1dialect>
    <messages>
        <message id="437" name="CROPS_HEALTH">
            <description>Mavlink Crop Health Metrics sampled and reported by flight controller FMUK66description>
            <field type="uint64_t" name="timestamp">time since system start (microseconds)field>
            <field type="char[20]" name="crop_type">crop typefield>
            <field type="float" name="temperature">temperaturefield>
            <field type="float" name="pressure">pressurefield>
            <field type="float" name="humidity">humidityfield>
            <field type="float" name="gas_resistance">gas resistancefield>
            <field type="float" name="health_index">health indexfield>
            <field type="uint8_t" name="pred_longevity">pred longevityfield>
        message>
    messages>
mavlink>

可以通過流式傳輸使用 QGC 上的視覺指示器來應(yīng)用現(xiàn)場條件和標簽。遠程車輛接近數(shù)據(jù)樣本和目視檢查，因為它們被附近的標簽識別。顏色編碼的指標表示每種植物的健康狀況，如下所示：（來自 QGC 直播的照片）

Crops Monitor App 通過 MAVLink 提供傳感器指標和推理結(jié)果

?

crops_monitor [1360:100]
nsh> INFO  [crops_monitor] Crops monitor evaluate identified plant health using BME688 gas sensor metrics
INFO  [crops_monitor] Sensor Gas:     25.2710     46.7412    102259.9063
INFO  [crops_monitor] Sensor Gas:     25.2710     46.7476    102259.9063
INFO  [crops_monitor] Sensor Gas:     25.2760     46.7610    102263.6484
INFO  [crops_monitor] Sensor Gas:     25.2710     46.7603    102259.9063

1) 添加rcS文件以允許 Edge ML 訂閱、解釋、監(jiān)控農(nóng)作物健康狀況。2) 添加 MAVLink stream 命令以啟用包流以周期性速率到地面站和 NavQ+ 的串行/遙測（這兩個文件都在ROMFS/px4fmu_common/init.d-posix 下）crops_monitorpx4-rc.mavlink

# custom CROPS_MONITOR startup stream for mavlink
mavlink stream -r 2 -s CROPS_MONITOR -d /dev/ttyS1

?

項目事后分析

1. ROS2 集成：一個全面的發(fā)展戰(zhàn)略，以實現(xiàn)哪種方法非常適合我們的家庭和商業(yè)農(nóng)業(yè)用例。考慮到完成時間，硬件測試會有所限制。

2.使用 UCANS32K 板擴展 BME688 的環(huán)境感測（如 NXP Cup Demo 中采用的那樣）：雖然使用 FMUK-66 的機載感測在此處運行良好，但我們顯著限制了傳感器與被監(jiān)控植物之間的探測和測量距離。一旦總線延伸超過幾米，板載 I2C/SPI 噪聲幾乎呈指數(shù)增長。帶有 CAN FD 的 UAVCAN 橋?qū)⒂兄跍蚀_地進行機械探測，但會犧牲更多的外圍設(shè)備。

3.對 YOLO3/MobileNet V3 的訓(xùn)練不足：只有導(dǎo)入 eIQ 用于 NavQ+ 視覺識別的模型是移動網(wǎng)絡(luò)singleShotDetector ，它在大規(guī)模真實世界物體方面表現(xiàn)出色，但在沒有進一步訓(xùn)練和監(jiān)督的情況下無法識別物體類別。訓(xùn)練有素的轉(zhuǎn)換網(wǎng)絡(luò)可能足以滿足我們的用例。