華為發(fā)明的物體檢測方法，通過構(gòu)建跨域知識圖譜，可以捕捉到不同待檢測物體間的內(nèi)在關(guān)系，從而更加精確的進行物體識別，在智能安防等復雜場景中有著極其重要的應用。

2020年10月，由華為技術(shù)有限公司主辦、成都優(yōu)普誠科技有限公司協(xié)辦的“普惠AI，破浪前行”2020華為好望秋季品鑒會在成都首座萬豪酒店成功舉辦，該會就機器視覺、智慧安防等領(lǐng)域展開了交流討論。

其中華為的機器視覺技術(shù)尤其適合應用在智慧安防等領(lǐng)域，尤其是在AI技術(shù)的加持下，可以讓安防變得更加的省心且智能。例如，物體檢測就是一項基本的計算機視覺任務，它可以識別圖像中物體的位置和類別。在實際應用中，研究員和工程師們會根據(jù)應用場景與實際任務需求的不同創(chuàng)建針對不同具體問題的數(shù)據(jù)集，用于訓練高度定制化和獨特的自動物體檢測器。

而在智慧安防領(lǐng)域，物體檢測也是非常重要的一個環(huán)節(jié)，在進行很多任務之前，首要的就是將待檢測物體定位并進行類別識別。為此，華為在20年1月21日申請了一項名為“一種物體檢測方法、裝置以及存儲介質(zhì)”的發(fā)明專利（申請?zhí)枺?02010072238.0），申請人為華為技術(shù)有限公司。

該專利中發(fā)明的系統(tǒng)可以應用在大規(guī)模物體檢測場景中，例如手機人臉識別、手機識別萬物、無人車的感知系統(tǒng)、安防攝像頭、社交網(wǎng)站照片物體識別、智能機器人等等。同時，由于這種物體檢測方法在對物體進行檢測時結(jié)合了跨域知識圖譜，因此其物體檢測效果會更好。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項物體檢測方法吧。

如上圖，為該專利中發(fā)明的系統(tǒng)架構(gòu)的結(jié)構(gòu)示意圖，該架構(gòu)中包括執(zhí)行設備110、訓練設備12、數(shù)據(jù)庫130、客戶設備140、數(shù)據(jù)存儲系統(tǒng)150以及數(shù)據(jù)采集設備160。數(shù)據(jù)采集設備可以采集訓練數(shù)據(jù)，并將數(shù)據(jù)存入數(shù)據(jù)庫中，但是這種用于人工智能訓練的數(shù)據(jù)需要進行人工標注。

訓練設備可以根據(jù)訓練數(shù)據(jù)訓練出目標檢測模型，當其他未知的圖片由用戶傳遞到計算模塊時，就可以由目標模型來進行識別，從而得到物體的類別信息，并將物體的檢測結(jié)果通過I/O接口呈現(xiàn)給客戶設備。

如上圖，為這種芯片的硬件結(jié)構(gòu)圖解，該芯片主要包括神經(jīng)網(wǎng)絡處理器，主CPU和外部存儲器分別用于提供控制指令以及數(shù)據(jù)。配合系統(tǒng)架構(gòu)圖可知，這種芯片就是訓練設備120中所使用的，可以完成訓練設備的訓練任務并輸出物體的類型信息。

神經(jīng)網(wǎng)絡處理器NPU作為協(xié)處理器掛載到主中央處理器上，由主CPU分配任務，NPU的核心部分為運算電路303，控制器304控制運算電路提取存儲器中的數(shù)據(jù)并進行運算。

我們知道在神經(jīng)網(wǎng)絡的計算中是需要大量的矩陣乘加運算的。舉例來說，假設有輸入矩陣A，權(quán)重矩陣B，輸出矩陣C，運算電路從權(quán)重存儲器中取矩陣B相應的數(shù)據(jù)，并緩存在運算電路中每一個PE上。運算電路從輸入存儲器中取矩陣A數(shù)據(jù)與矩陣B進行矩陣運算，得到的矩陣的部分結(jié)果或最終結(jié)果，保存在累加器中。

向量計算單元可以對運算電路的輸出做進一步處理，如：向量乘、加、指數(shù)運算、對數(shù)運算以及大小比較等等，例如向量計算單元可以用于神經(jīng)網(wǎng)絡中非卷積的網(wǎng)絡計算（池化、批歸一化），這些結(jié)構(gòu)則正是進行AI運算的基礎(chǔ)。

如上圖，為該專利中申請的物體檢測方法的識別步驟的流程圖，首先系統(tǒng)會獲取待檢測的圖像，圖像可以通過攝像頭拍攝從街景等場合提取。接著確定待檢測圖像中的待檢測物體的初始圖像特征，這個步驟中，可以對整個圖像進行卷積運算以得到整個圖像的圖像特征，然后再從整個圖像的特征圖中獲取物體的初始圖像特征。

接著根據(jù)跨域知識圖譜信息來確定待檢測物體的增強圖像特征，這個跨域知識圖譜信息包括不同域中待檢測物體對應的物體類別之間的關(guān)聯(lián)關(guān)系，增強圖像特征指示不同域中與待檢測物體相關(guān)聯(lián)的其他物體對應的物體類別的語義信息，這種對應關(guān)系如下圖所示。

從上圖可以看到，這種對應關(guān)系即：兩個類別在同一個圖像中同時出現(xiàn)的概率越大，則認為兩個類別之間有關(guān)聯(lián)關(guān)系。上圖的第一個域中的物體類別包括男人、女人、男孩、女孩和馬路；街道第二個域中的物體類別包括人、手提包、書包、汽車和卡車。

我們認為第一個域中的男人、女人、男孩以及女孩與第二個域中的人之間具有關(guān)聯(lián)關(guān)系，第一個域中的女人和女孩與第二個域中的手提包具有關(guān)聯(lián)關(guān)系。這些關(guān)聯(lián)信息是通過常識來推理出來的，這樣的語義信息可以輔助進行圖像檢測的高級別信息。例如，待檢測物體為女人，待檢測圖像中與女人相關(guān)聯(lián)的其他物體包括手提包，那么，待檢測物體的增強圖像特征指示的可以是手提包的語義信息。

最后，我們再來看看這種物體檢測方法的整體流程圖，待檢測圖像可以先通過傳統(tǒng)的物體檢測器進行處理（例如Faster-RCNN網(wǎng)絡結(jié)構(gòu)），再提取初始候選區(qū)域的初始圖像特征以及分類層的參數(shù)，并構(gòu)建域內(nèi)的區(qū)域圖。

通過構(gòu)建域內(nèi)的區(qū)域圖，利用域間圖卷積網(wǎng)絡傳播節(jié)點上不同域下待檢測物體的高級語義表示，得到經(jīng)過推理推斷后的融合了不同域下待檢測物體高級語義表示的特征。最后將域內(nèi)圖卷積、域間圖卷積經(jīng)過推理推斷后得到的特征投影到相應的待檢測物體的高級語義表示中，并進行分類和回歸，由此來得到待檢測物體的位置信息以及類別信息。

以上就是華為發(fā)明的物體檢測方法，通過構(gòu)建跨域知識圖譜，可以捕捉到不同待檢測物體間的內(nèi)在關(guān)系，由此來提高物體檢測方法的效果。這種方法可以應用在復雜場景下，例如在商場以及商業(yè)街等區(qū)域，可以輔助安保人員對該區(qū)域的行人、物體進行檢測，例如可以幫助尋找遺失物品以及進行可以物體檢測等，有效提高城市安防能力！

關(guān)于嘉德

深圳市嘉德知識產(chǎn)權(quán)服務有限公司由曾在華為等世界500強企業(yè)工作多年的知識產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識產(chǎn)權(quán)法律理論和實務，在全球知識產(chǎn)權(quán)申請、布局、訴訟、許可談判、交易、運營、標準專利協(xié)同創(chuàng)造、專利池建設、展會知識產(chǎn)權(quán)、跨境電商知識產(chǎn)權(quán)、知識產(chǎn)權(quán)海關(guān)保護等方面擁有豐富的經(jīng)驗。
責任編輯:tzh