1. 方案簡(jiǎn)介

人臉檢測(cè)：在圖像中找出人臉，以及每張人臉的landmarks位置。

方案設(shè)計(jì)邏輯流程圖，方案代碼分為分為兩個(gè)業(yè)務(wù)流程，主體代碼負(fù)責(zé)抓取、合成圖像，
算法代碼負(fù)責(zé)人臉檢測(cè)功能。

2. 快速上手

2.1 開(kāi)發(fā)環(huán)境準(zhǔn)備

如果您初次閱讀此文檔，請(qǐng)閱讀《入門指南/開(kāi)發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》，并按照其相關(guān)的操作，進(jìn)行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進(jìn)入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh

2.2 源碼下載以及實(shí)例編譯

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉(cāng)庫(kù)的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過(guò)git工具，在管理目錄內(nèi)克隆遠(yuǎn)程倉(cāng)庫(kù)

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-C-Solution.git

注：

* 此處可能會(huì)因網(wǎng)絡(luò)原因造成卡頓，請(qǐng)耐心等待。

* 如果實(shí)在要在gitHub網(wǎng)頁(yè)上下載，也要把整個(gè)倉(cāng)庫(kù)下載下來(lái)，不能單獨(dú)下載本實(shí)例對(duì)應(yīng)的目錄。

進(jìn)入到對(duì)應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-C-Solution/solu-faceDetect/ ./build.sh

注：

* 由于依賴庫(kù)部署在板卡上，因此交叉編譯過(guò)程中必須保持adb連接。

注：

* 若build.sh腳本不帶任何參數(shù)，則僅會(huì)拷貝solution編譯出來(lái)的可執(zhí)行文件。

* 若build.sh腳本帶有cpres參數(shù)，則會(huì)把Release/目錄下的所有資源都拷貝到開(kāi)發(fā)板上。

* 若build.sh腳本帶有clear參數(shù)，則會(huì)把build/目錄和Release/目錄刪除。

2.3 模型獲取

本方案用到模型：face_detect.model

直接把模型下載到本地Windows主機(jī)，復(fù)制

進(jìn)入PC端Ubuntu創(chuàng)建存放model目錄：

cd /opt mkdir model

然后把模型從本地Windows主機(jī)粘貼到PC端Ubuntu中：

2.4 方案部署

使用下方命令再次回到開(kāi)發(fā)實(shí)例目錄

cd /opt/EASY-EAI-Toolkit-C-Solution/solu-faceDetect/

然后，將EASY-EAI編譯環(huán)境的編譯結(jié)果部署到板卡中（有兩種方法）。

方法一：通過(guò)執(zhí)行以下命令手動(dòng)部署【推薦】

cp Release/solu-* /mnt/userdata/Solu

方法二：在編譯時(shí)加上編譯參數(shù)自動(dòng)部署

./build.sh cpres

最后，將準(zhǔn)備好的模型部署到板卡中（注意：模型要放到編譯結(jié)果的同一目錄中），執(zhí)行命令如下所示。

cp /opt/model/face_detect.model /mnt/userdata/Solu

2.5 示例方案運(yùn)行

通過(guò)按鍵Ctrl+Shift+T創(chuàng)建一個(gè)新窗口，執(zhí)行adb shell命令，進(jìn)入板卡運(yùn)行環(huán)境。

adb shell

進(jìn)入板卡后，定位到例程部署的位置，如下所示：

cd /userdata/Solu

運(yùn)行例程命令如下所示：

./solu-faceDetect

2.6 運(yùn)行效果

運(yùn)行打?。?/p>

用人臉對(duì)準(zhǔn)攝像頭，如果檢測(cè)到人臉，后臺(tái)會(huì)打印出被檢測(cè)到的人臉數(shù)量：

并且會(huì)在圖像上框出每一張人臉，并標(biāo)記出landmarks。如下圖所示。

2.7 開(kāi)機(jī)啟動(dòng)

首先進(jìn)入板卡環(huán)境，執(zhí)行以下命令，在板卡上創(chuàng)建一個(gè)給本例程使用的應(yīng)用目錄：myapp

cd /userdata/apps/ mkdir myapp

然后回到開(kāi)發(fā)環(huán)境中，通過(guò)使用“2.4方案部署”類似的操作方法，把本例程所需要的全部文件，包含：編譯結(jié)果，配置文件，模型等。部署到剛剛新建的myapp目錄中。

最后在板卡上創(chuàng)建一個(gè)run.sh腳本來(lái)管控用戶所有需要的應(yīng)用即可，《入門指南/應(yīng)用程序開(kāi)機(jī)自啟動(dòng)》會(huì)詳細(xì)描述run.sh腳本該如何編寫。

3. 代碼解析

方案主邏輯代碼位于：EASY-EAI-Toolkit-C-Solution/solu-faceDetect/src/main.cpp。代碼實(shí)現(xiàn)主要通過(guò)調(diào)用我司的easyeai-api庫(kù)快速實(shí)現(xiàn)人臉檢測(cè)功能，代碼主體分為主線程和算法分析子線程。

3.1 組件庫(kù)組成

要實(shí)現(xiàn)人臉檢測(cè)功能，需要使用到easyeai-api庫(kù)的以下組件，如下所示。

模組信息如下所示。

這些組件通過(guò)CMakeLists.txt編譯進(jìn)工程，具體請(qǐng)看后續(xù)章節(jié)。

3.2 邏輯框圖

項(xiàng)目的整體邏輯框圖如下所示。

3.3 主線程

主線程處理的業(yè)務(wù)有：

• 初始化外設(shè)；
• 創(chuàng)建算法分析子線程；
• 抓圖發(fā)送給到子線程；
• 抓圖、顯示；

本處附上主要的邏輯功能代碼，其他輔助的、校驗(yàn)型的代碼先忽略。

組件初始化操作如下，本處調(diào)用RGB攝像頭。

// 1.打開(kāi)攝像頭 ret = rgbcamera_init(CAMERA_WIDTH, CAMERA_HEIGHT, 90); pbuf = NULL; pbuf = (char *)malloc(IMAGE_SIZE);

創(chuàng)建線程互斥鎖以及線程，如下所示。

// 2.創(chuàng)建識(shí)別線程，以及圖像互斥鎖 pthread_mutex_init(&img_lock, NULL); pResult = (Result_t *)malloc(sizeof(Result_t)); memset(pResult, 0, sizeof(Result_t)); if(0 != CreateNormalThread(detect_thread_entry, pResult, &mTid)){ free(pResult); }

初始化顯示屏，如下所示。

// 3.顯示初始化 ret = disp_init(SCREEN_WIDTH, SCREEN_HEIGHT);

抓取圖像，調(diào)用clone操作。

// 4.(取流 + 顯示)循環(huán) pthread_mutex_lock(&img_lock); ret = rgbcamera_getframe(pbuf); algorithm_image = Mat(CAMERA_HEIGHT, CAMERA_WIDTH, CV_8UC3, pbuf); image = algorithm_image.clone(); pthread_mutex_unlock(&img_lock);

調(diào)用顯示圖像，將分析的目標(biāo)位置通過(guò)pResult標(biāo)記出來(lái)。

for (int i = 0; i < (int)Result.result.size(); i++) { // 標(biāo)出人臉框 int x = (int)(Result.result[i].box.x); int y = (int)(Result.result[i].box.y); int w = (int)(Result.result[i].box.width); int h = (int)(Result.result[i].box.height); rectangle(image, Rect(x, y, w, h), Scalar(0, 255, 0), 2, 8, 0); // 標(biāo)出人臉定位標(biāo)記 for (int j = 0; j < (int)Result.result[i].landmarks.size(); ++j) { cv::circle(image, cv::Point((int)Result.result[i].landmarks[j].x, (int)Result.result[i].landmarks[j].y), 2, cv::Scalar(0, 255, 0), 3, 8); } } disp_commit(image.data, IMAGE_SIZE);

3.4 算法分析子線程

算法分析子線程，主要完成以下操作：

• 延時(shí)監(jiān)測(cè)是否圖像緩沖區(qū)是否為空；
• 不為空時(shí)，證明主函數(shù)已發(fā)送圖像數(shù)據(jù)過(guò)來(lái)，線程執(zhí)行圖像獲取操作；
• 調(diào)用人臉?lè)治龊瘮?shù)；
• 記錄目標(biāo)框的數(shù)據(jù)，用于后續(xù)圖像合成操作；

延時(shí)監(jiān)測(cè)是否有圖像，操作如下所示。

if(algorithm_image.empty()) { usleep(5); continue; }

獲取圖像操作如下所示。

pthread_mutex_lock(&img_lock); image = algorithm_image.clone(); pthread_mutex_unlock(&img_lock);

調(diào)用人臉檢測(cè)函數(shù)，算法得到的目標(biāo)結(jié)果記錄于pResult內(nèi)，如下所示。

// 算法分析 ret = face_detect_run(ctx, image, pResult->result);

4. 開(kāi)發(fā)指南

4.1 示例文件&目錄結(jié)構(gòu)

Solution git倉(cāng)庫(kù)會(huì)隨著產(chǎn)品迭代更新，不斷新增解決方案代碼，當(dāng)前截圖只作參考。

4.1.1 Solution git倉(cāng)庫(kù)目錄介紹。

Solution工程構(gòu)成如下所示，由功能組件easyeai-api和各個(gè)解決方案構(gòu)成。

單個(gè)“solu-”開(kāi)頭的目錄即為一個(gè)解決方案案例，代碼內(nèi)調(diào)用“EASY EAI-API”來(lái)滿足某一實(shí)際應(yīng)用場(chǎng)景的需求。

功能組件的描述如下所示，easyeai-api是經(jīng)過(guò)高度封裝的易用性組件接口，便于用戶直接調(diào)用板卡資源。

4.1.2 解決方案最基本的目錄構(gòu)成。

每個(gè)解決方案就是一個(gè)獨(dú)立的項(xiàng)目，項(xiàng)目?jī)?nèi)包含部分如下所示，項(xiàng)目使用cmake構(gòu)建自動(dòng)編譯部署。

具體介紹如下所示。

4.1.3 解決方案可拓展的目錄構(gòu)成。

可拓展的目錄是指：開(kāi)發(fā)過(guò)程中增加某些功能模塊，功能代碼。增加模式分為兩種：

• 增加已編譯的第三方庫(kù)，在include、libs目錄內(nèi)添加頭文件和庫(kù)文件；
• 增加用戶自定義的功能模塊，推薦在src目錄內(nèi)增加；

具體情況如下所示，第三方模塊相關(guān)的文件由include/3rd_model/xxx.h、libs/3rd_model/xxx.a。自定義的功能模塊為src/mySrcCode、src/mySrcCode2。

4.2 CMakeLists.txt文件解析

4.2.1 編譯環(huán)境配置部分：

第一部分為配置部分，配置部分如下所示。（獲取當(dāng)前方案目錄、配置工具鏈、提取方案名稱）：

配置信息如下所示。

4.2.2 easyeai-api配置部分

第二部分是引入我司的功能組件庫(kù)（針對(duì)當(dāng)前方案進(jìn)行：配置EASY EAI API頭文件目錄、庫(kù)文件目錄以及配置庫(kù)鏈接參數(shù)）：

配置信息如下所示。

4.2.3 第三方庫(kù)配置部分

第三部分配置第三方的庫(kù)（針對(duì)當(dāng)前方案進(jìn)行：配置第三方頭文件目錄、庫(kù)文件目錄、配置第三方庫(kù)鏈接參數(shù)以及配置源碼目錄）：

配置信息如下所示。

例如添加個(gè)人庫(kù)的目錄組成方式如下所示。

aux_source_directory的修改方式為：

aux_source_directory(./src ./src/mySrcCode ./src/mySrcCode2 dir_srcs)

或

aux_source_directory(./src dir_srcs) aux_source_directory(./src/mySrcCode dir_srcs) aux_source_directory(./src/mySrcCode2 dir_srcs)

4.2.4 本方案配置部分

第四部分配置項(xiàng)目的編譯信息，內(nèi)容如下所示：

配置項(xiàng)如下所示。

4.3 build.sh編譯腳本：

4.3.1路徑定位部分

第一部分用于提取目錄用于編譯操作，內(nèi)容如下所示：（進(jìn)入build.sh腳本所在目錄，并且提取當(dāng)前目錄絕對(duì)路徑，提取當(dāng)前目錄名稱）

4.3.2 清除編譯部分

第二部分清除操作，清除目錄為build、Release，內(nèi)容如下所示：（執(zhí)行build.sh腳本時(shí)，帶入了參數(shù)“clear”，則清空編譯輸出）

4.3.3 編譯操作

第三部分，編譯直接調(diào)用cmake，內(nèi)容如下所示：（重新編譯，成部署目錄，并把資源自動(dòng)部署進(jìn)板卡）