根據(jù)國家安全委員會 (NSC) 的一項研究，每七秒鐘就會發(fā)生一次工傷事故。這一驚人的統(tǒng)計數(shù)字相當于每年約有 450 萬名工人受傷。雖然現(xiàn)場主管可以衡量工人的情緒，但主管無法時刻監(jiān)控工人以防止事故發(fā)生。在此博客中，我們將探討如何使用英特爾? OpenVINO ?工具包的機器操作員監(jiān)視器應用程序，根據(jù)面部表情的視頻輸入自動推斷機器操作員的注意力和情緒水平。有關(guān)機器操作員情緒和注意力水平的信息有助于保護操作員免受嚴重傷害。

機器操作員監(jiān)控數(shù)據(jù)管道

圖 1顯示了 Machine Operator Monitor 深度學習應用程序的管道。讓我們探索這個管道和發(fā)生的活動。

圖 1：操作員姿勢和情緒推理管道圖說明了捕獲的圖像如何通過深度神經(jīng)網(wǎng)絡(luò)和 OpenVINO ?工具包移動，以識別機器操作員的注意力和情緒水平。（來源：作者）

該應用程序使用安裝在制造站上的攝像機捕獲的圖像。捕獲的圖像流經(jīng)一系列三個深度神經(jīng)網(wǎng)絡(luò)（基于卷積神經(jīng)網(wǎng)絡(luò)或 CNN）。CNN 是一種流行的深度神經(jīng)網(wǎng)絡(luò)，通常用于處理圖像。第一個 CNN 識別捕獲的幀中是否存在人臉。如果第一個 CNN 沒有檢測到人臉，那么就沒有必要進一步處理圖像的姿勢或情緒。如果第一個 CNN 檢測到具有用戶可配置檢測閾值的人臉，則該人臉將傳遞到接下來的兩個階段。接下來 CNN 確定操作員是否在看機器。CNN 通過檢測操作員是否面向攝像機來做到這一點。最終的 CNN 檢測操作員的面部表情。

圖 2顯示了深度神經(jīng)網(wǎng)絡(luò)這三個階段的完成過程的示例。

圖 2 ：Machine Operator Monitor 屏幕顯示了 OpenVINO?工具套件應用程序處理捕獲的圖像后生成的輸出示例。（來源：英特爾）

如圖 2 所示，檢測面部以及推斷情緒和姿勢所需的時間約為 140 毫秒。這種速度允許快速響應時間，允許及時警告操作員以最大限度地減少事故和傷害的機會。示例應用程序還說明了消息隊列遙測傳輸 (MQTT) 協(xié)議如何將信息傳送到工業(yè)數(shù)據(jù)分析系統(tǒng)。

為什么這很酷

機器操作員監(jiān)控應用程序是使用 Intel ? OpenVINO ?發(fā)行版和 700 行 Go 或 500 行 C++ 開發(fā)的。此代碼主要是膠水代碼，其中包含在為機器操作員監(jiān)控任務(wù)預訓練的深度神經(jīng)網(wǎng)絡(luò)中進行的復雜工作。第一個網(wǎng)絡(luò)可以檢測人臉并檢查以確保人臉矩形完全位于捕獲的幀內(nèi)——即，不是部分人臉。捕獲的圖像然后通過姿勢網(wǎng)絡(luò)傳遞，檢查頭部是否相對于機器傾斜 45 度角以內(nèi)。最后，將人臉圖像傳入情感網(wǎng)絡(luò)，識別操作員的情緒。當與功能強大的硬件配對時，例如基于第六代Intel ?的硬件Core? 處理器或由 Intel Movidius? X VPU 提供支持的 Intel Neural Compute Stick 2，該應用程序可以提供令人印象深刻的推理速度，從而實現(xiàn)實時分析。

改編這個例子

視線跟蹤是一項具有許多應用的重要新技術(shù)，但當今的一項重要技術(shù)是車輛駕駛員監(jiān)控。艾倫·阿德勒 (Alan Adler) 撰寫的 2018 年卡車運輸死亡人數(shù)達到 29 年來最高水平的文章顯示，雖然機動車事故死亡人數(shù)正在下降（去年為 2%），但去年大型卡車事故死亡人數(shù)上升至 9% 的 29 年來新高。分心駕駛的增加是導致卡車運輸死亡人數(shù)上升的一個因素。

使用深度神經(jīng)網(wǎng)絡(luò)實時跟蹤駕駛員的頭部姿勢是確保駕駛員注意道路的一種方法。使用信息來監(jiān)控駕駛員的視線可以幫助識別風險并確保駕駛員的合規(guī)性，從而減少分心的駕駛員給我們擁擠的道路帶來的風險。

此外，您可以將頭部姿勢檢測與其他技術(shù)（例如心率檢測、體溫測量和呼吸監(jiān)測器）結(jié)合使用來識別睡意。關(guān)注眼睛，監(jiān)測眨眼和眼球運動可用于檢測微睡眠——我們進入一種非常短暫的無意識狀態(tài)，即使我們的眼睛保持睜開并且看起來很專心。

很容易想到頭部姿勢和表情檢測的其他應用。使用提供的示例代碼，您只需要為您的應用程序使用輸出分類，包括修改適當?shù)念^部傾斜度。

M. Tim Jones 是一位資深的嵌入式固件架構(gòu)師，擁有超過 30 年的架構(gòu)和開發(fā)經(jīng)驗。Tim 是多本書籍和多篇文章的作者，涉及軟件和固件開發(fā)領(lǐng)域。他的工程背景從地球同步航天器的內(nèi)核開發(fā)到嵌入式系統(tǒng)架構(gòu)和協(xié)議開發(fā)。

審核編輯黃宇