.NET基于虹軟人臉識(shí)別SDK 快速開發(fā)身份驗(yàn)證和自助發(fā)卡應(yīng)用

去年下半年開始，本人從B/S轉(zhuǎn)戰(zhàn)C/S開發(fā)，相繼做了大大小小一些項(xiàng)目。最近的一個(gè)應(yīng)用是運(yùn)輸車輛通行卡自助收發(fā)應(yīng)用，并第一次用到了人臉識(shí)別功能。作為該領(lǐng)域的初學(xué)者，我摸索著把項(xiàng)目搞定了，也復(fù)盤了一些開發(fā)經(jīng)驗(yàn)，總結(jié)出來給其他在項(xiàng)目上初次應(yīng)用人臉識(shí)別的朋友參考。

簡(jiǎn)單來說，這個(gè)項(xiàng)目與社?？ㄗ灾l(fā)卡機(jī)、信用卡自助發(fā)卡機(jī)的原理有些類似，內(nèi)容就是：

借助人臉識(shí)別和身份證讀取，進(jìn)行人證核驗(yàn)。身份核驗(yàn)通過后，發(fā)卡機(jī)會(huì)匹配后端數(shù)據(jù)，并將取卡人、取卡時(shí)間、卡片權(quán)限等信息寫入卡片，隨后吐出卡片，用戶取卡可用于后續(xù)通行的操作。

關(guān)于發(fā)卡機(jī)部分，只需要把一些操作步驟進(jìn)行封裝，通過串口發(fā)送命令就可以實(shí)現(xiàn)功能，身份證信息則通過讀卡器進(jìn)行讀取。在開發(fā)的重點(diǎn)上，我把比較多的精力放在了初次嘗試的人臉識(shí)別功能上，基本流程如下圖：

進(jìn)一步簡(jiǎn)單描述一下項(xiàng)目背景和需求：

第一，之所以引入人臉識(shí)別，主要是為了保證本人取卡，專人?？?，避免代取和冒用，確保信息可準(zhǔn)確回溯。

第2， 這個(gè)項(xiàng)目比較小，在人臉識(shí)別的功能上并沒有額外預(yù)算，所以首選免費(fèi)的人臉識(shí)別算法。

第3， 項(xiàng)目地點(diǎn)的網(wǎng)絡(luò)環(huán)境比較差，為避免因?yàn)榫W(wǎng)絡(luò)故障導(dǎo)致無法取卡，優(yōu)先選擇可離線使用的人臉識(shí)別算法。

第四，因?yàn)槭亲灾】C(jī)，周圍沒人看顧，為避免冒領(lǐng)，人臉識(shí)別算法需要加入活體檢測(cè)功能。

綜合以上幾點(diǎn)，我甄選之后采用了虹軟視覺開發(fā)平臺(tái)的ArcFace SDK。這款算法可以同時(shí)滿足免費(fèi)使用、離線可用的需求，又自帶IR/RGB雙目活體檢測(cè)，可以高效、高質(zhì)量的抵御假臉攻擊。另外，虹軟開發(fā)平臺(tái)最新出的ArcFace SDK 4.0版本，更新了針對(duì)佩戴口罩下的活體檢測(cè)和人臉識(shí)別功能。

另外，ArcFace SDK的使用也比較簡(jiǎn)單。在官網(wǎng)注冊(cè)開發(fā)者之后，新建應(yīng)用，就能得到全新的APP_ID和SDK_KEY，之后下載開發(fā)包配置到程序中。

人臉識(shí)別界面如下，左側(cè)是拍攝畫面，右邊是身份證照片以及識(shí)別反饋。

開發(fā)時(shí)用到了三個(gè)引擎，第一個(gè)是圖片模式下的人臉檢測(cè)引擎：

#region圖片引擎pImageEngine初始化//初始化引擎uintdetectMode=DetectionMode.ASF_DETECT_MODE_IMAGE;//檢測(cè)臉部的角度優(yōu)先值intdetectFaceOrientPriority=ASF_OrientPriority.ASF_OP_0_HIGHER_EXT;//人臉在圖片中所占比例，如果需要調(diào)整檢測(cè)人臉尺寸請(qǐng)修改此值，有效數(shù)值為2-32intdetectFaceScaleVal=16;//最大需要檢測(cè)的人臉個(gè)數(shù)intdetectFaceMaxNum=5;//引擎初始化時(shí)需要初始化的檢測(cè)功能組合intcombinedMask=FaceEngineMask.ASF_FACE_DETECT|FaceEngineMask.ASF_FACERECOGNITION|FaceEngineMask.ASF_AGE|FaceEngineMask.ASF_GENDER|FaceEngineMask.ASF_FACE3DANGLE;//初始化引擎，正常值為0，其他返回值請(qǐng)參考http://ai.arcsoft.com.cn/bbs/forum.php?mod=viewthread&tid=19&_dsign=dbad527eretCode=ASFFunctions.ASFInitEngine(detectMode,detectFaceOrientPriority,detectFaceScaleVal,detectFaceMaxNum,combinedMask,refpImageEngine);if(retCode==0){lbl_msg.Text=("圖片引擎初始化成功!\n");}else{lbl_msg.Text=(string.Format("圖片引擎初始化失敗!錯(cuò)誤碼為:{0}\n",retCode));}#endregion

第二個(gè)是視頻模式下的人臉檢測(cè)引擎:

#region 視頻專用FR引擎

detectFaceMaxNum = 1;

combinedMask = FaceEngineMask.ASF_FACERECOGNITION | FaceEngineMask.ASF_FACE3DANGLE | FaceEngineMask.ASF_LIVENESS;

retCode = ASFFunctions.ASFInitEngine(detectMode, detectFaceOrientPriority, detectFaceScaleVal, detectFaceMaxNum, combinedMask, ref pVideoImageEngine);

Console.WriteLine("InitVideoEngine Result:" + retCode);

if (retCode == 0)

{

lbl_msg.Text = ("視頻專用FR引擎初始化成功!\n");

}

else

{

lbl_msg.Text = (string.Format("視頻專用FR引擎初始化失敗!錯(cuò)誤碼為:{0}\n", retCode));

}

// 攝像頭初始化

filterInfoCollection = new FilterInfoCollection(FilterCategory.VideoInputDevice);

lbl_msg.Text = (string.Format("攝像頭初始化完成...\n"));

#endregion

第三個(gè)是視頻專用FR引擎，進(jìn)行活體檢測(cè)：

#region 視頻專用FR引擎

detectFaceMaxNum = 1;

combinedMask = FaceEngineMask.ASF_FACERECOGNITION | FaceEngineMask.ASF_FACE3DANGLE | FaceEngineMask.ASF_LIVENESS;

retCode = ASFFunctions.ASFInitEngine(detectMode, detectFaceOrientPriority, detectFaceScaleVal, detectFaceMaxNum, combinedMask, ref pVideoImageEngine);

Console.WriteLine("InitVideoEngine Result:" + retCode);

if (retCode == 0)

{

lbl_msg.Text = ("視頻專用FR引擎初始化成功!\n");

}

else

{

lbl_msg.Text = (string.Format("視頻專用FR引擎初始化失敗!錯(cuò)誤碼為:{0}\n", retCode));

}

// 攝像頭初始化

filterInfoCollection = new FilterInfoCollection(FilterCategory.VideoInputDevice);

lbl_msg.Text = (string.Format("攝像頭初始化完成...\n"));

#endregion

視頻處理使用的是AForge.Video 視頻處理類庫，然后在電腦上接上USB攝像頭，通過此類庫就可以調(diào)用攝像頭的開關(guān)了，至于具體的人臉識(shí)別要放在視頻流渲染事件上了。

首先將身份證放在身份證閱讀器上，獲取到身份信息，并把身份信息中的人臉照片拿出來作為人臉注冊(cè)照。利用ArcFcae SDK的相關(guān)接口，可以從注冊(cè)照中提取人臉識(shí)別特征值。

隨后，我們要從攝像頭的視頻流中獲取一幀圖片，作為識(shí)別照也進(jìn)行人臉識(shí)別特征值提取。值得注意的是，ArcFcae本身支持多人臉識(shí)別，但由于人證核驗(yàn)為1:1人臉識(shí)別，因此為了排除多余人臉的干擾，我們可以選取檢測(cè)到的最大人臉，進(jìn)行特征值提取。

在獲得注冊(cè)照和識(shí)別照的特征值之后，就可以交給算法來做比對(duì)，得出一個(gè)相似度。注意，人臉識(shí)別算法是不會(huì)直接告訴你兩張照片是不是同一個(gè)人的，只會(huì)給出一個(gè)可能性。最終輸出的結(jié)果需要人為設(shè)置一個(gè)閾值，譬如相似度超過90%，我們就可以認(rèn)定是同一個(gè)人。當(dāng)然閾值也不是越高越好，具體設(shè)置需要根據(jù)項(xiàng)目的實(shí)際情況來做權(quán)衡。

到這一步功能就算基本跑通了，但活體檢測(cè)功能還沒有加入。缺乏活體檢測(cè)的話，使用身份證照片、紙質(zhì)打印照片甚至手機(jī)屏幕上的照片都能通過人臉識(shí)別。

所以說，在自助設(shè)備這類無人值守場(chǎng)景下，活體檢測(cè)基本上不可或缺。虹軟ArcFace自帶的活體檢測(cè)有單目RGB活體檢測(cè)和IR雙目紅外活體檢測(cè)兩種。我因?yàn)橹挥昧似胀ǖ腞GB攝像頭，所以采用單目RGB活體檢測(cè)，這種算法主要分析采集摩爾紋、成像畸形、反射率等人像破綻，從而獲得活體檢測(cè)所需要的識(shí)別信息，對(duì)屏幕成像和紙張照片類攻擊有著良好防御性。

多說一句，IR雙目紅外活體中會(huì)加入了紅外攝像頭，防攻擊效果是更好的，不過這個(gè)項(xiàng)目暫時(shí)沒有這么高的需求。

int retCode_Liveness = -1;

//RGB活體檢測(cè)

ASF_LivenessInfo liveInfo = FaceUtil.LivenessInfo_RGB(pVideoImageEngine, imageInfo, multiFaceInfo, out retCode_Liveness);

//判斷檢測(cè)結(jié)果

if (retCode_Liveness == 0 && liveInfo.num > 0)

{

int isLive = MemoryUtil.PtrToStructure(liveInfo.isLive);

isLiveness = (isLive == 1) ? true : false;

}

if (isLiveness)//活體檢測(cè)成功

在加入活體檢測(cè)之后，整個(gè)人臉識(shí)別的流程基本就完整了。我發(fā)現(xiàn)在進(jìn)行完所有流程后，還需要進(jìn)行引擎的釋放，否則每次初始化一個(gè)引擎大概會(huì)需要50M左右的內(nèi)存，多次操作之后就會(huì)出現(xiàn)因?yàn)閮?nèi)存泄漏而導(dǎo)致閃退的現(xiàn)象。

這個(gè)做法能達(dá)到目的，但是比較僵硬，在咨詢虹軟開放平臺(tái)的技術(shù)專家后，我發(fā)現(xiàn)應(yīng)該根據(jù)實(shí)際業(yè)務(wù)需求，在程序啟動(dòng)時(shí)，有選擇的初始化對(duì)應(yīng)的算法屬性，避免在運(yùn)行中多次做初始化和反初始化的操作，否則會(huì)導(dǎo)致資源波動(dòng)過大以及產(chǎn)生內(nèi)存碎片。引擎在程序結(jié)束或當(dāng)前界面關(guān)閉時(shí)釋放即可。

總體而言比較順利，雖然是第一次集成人臉識(shí)別，這可能和ArcFace容易上手也有關(guān)系。希望這篇內(nèi)容能對(duì)大家有幫助。

GitHub已開源：https://github.com/yumaster/ReceiveCardAIO