nvdsanalytics 視頻分析插件是 DeepStream 5.0 添加的功能，對(duì) nvinfer（主檢測(cè)器）和 nvtracker 附加的元數(shù)據(jù)執(zhí)行分析，目前主要針對(duì)涉及感興趣區(qū)域（ROI）的過(guò)濾、過(guò)度擁擠檢測(cè)、方向檢測(cè)和跨線統(tǒng)計(jì)等四大功能，如下表：

功能說(shuō)明

ROI 過(guò)濾此功能檢測(cè) ROI 中是否存在目標(biāo)類(lèi)別的對(duì)象，結(jié)果作為每個(gè)對(duì)象的元數(shù)據(jù)附加，以及每幀 ROI 中的對(duì)象總數(shù)。

擁擠檢測(cè)在“ROI 過(guò)濾”的前提下，檢測(cè)每幀對(duì)象總數(shù)是否處于過(guò)度擁擠的狀態(tài)，就是檢測(cè) ROI 中的對(duì)象數(shù)量是否超過(guò)預(yù)先配置的閾值。

方向檢測(cè)使用對(duì)象位置歷史記錄和當(dāng)前幀信息檢查對(duì)象是否遵循預(yù)配置的方向。結(jié)果作為每個(gè)對(duì)象的元數(shù)據(jù)附加。

跨線統(tǒng)計(jì)此功能檢查對(duì)象是否遵循虛擬線的預(yù)配置方向，以及是否已越過(guò)虛擬線。當(dāng)測(cè)線交叉時(shí)，結(jié)果將附加到對(duì)象上，同時(shí)還會(huì)附加幀元，其中累積計(jì)數(shù)與測(cè)線交叉的每幀計(jì)數(shù)一起附加。

可以看出這是 NVIDIA 經(jīng)過(guò)實(shí)際項(xiàng)目的要求所增加的功能插件，主要就是針對(duì)視頻內(nèi)的我們所指定的“某個(gè)區(qū)塊（興趣區(qū)，ROI）”或“某條線（跨越線）”范圍中的標(biāo)的物件，進(jìn)行“物件動(dòng)向”的分析與統(tǒng)計(jì)（如下圖）。大部分的使用場(chǎng)景是在道路流量分析的應(yīng)用，但這也可以應(yīng)用在營(yíng)建工地、生產(chǎn)工廠、樓宇、校園、消防設(shè)施的危險(xiǎn)區(qū)（danger zone）監(jiān)控，實(shí)用性非常之高。

有經(jīng)驗(yàn)的開(kāi)發(fā)人員就會(huì)很清楚，如果缺少 nvdsanalytics 這個(gè)插件的時(shí)候，則開(kāi)發(fā)者需要自行從 nvtracker 里面抽取相關(guān)數(shù)據(jù)，然后與興趣區(qū)或跨越線進(jìn)行持續(xù)比對(duì)，確認(rèn)是否屬于要列入統(tǒng)計(jì)數(shù)據(jù)的物件，至于“動(dòng)向分析”功能，更需要大量的“前后幀”位置比對(duì)去進(jìn)行判斷，這些開(kāi)發(fā)的工作量是相當(dāng)艱辛、計(jì)算量是非常巨大的，如今在 DeepStream 里面只要輕松調(diào)用 nvdsanalytics 插件，就能輕松地完成很復(fù)雜的工作。

在 DeepStream 開(kāi)發(fā)套件里的 deepstream-nvdsanalytics-test 是 C/C++版本的范例代碼，先前文章里帶著大家安裝過(guò)的 deepstream_python_apps 范例中，也提供 Python 版本的代碼，在范例路徑下面的 deepstream-nvdsanalytics 里面。

Gst-nvdsanalytics 工作原理

DeepStream 一直令人贊賞的一個(gè)特色，就是將插件的接口做得十分簡(jiǎn)單，因此在開(kāi)始執(zhí)行范例代碼之前，我們需要先對(duì)這個(gè)插件有個(gè)初步了解，請(qǐng)參考下面鏈接的原廠說(shuō)明：https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvdsanalytics.html

下圖是 Gst-nvdsanalytics 的基本工作原理圖：

整個(gè)執(zhí)行流程其實(shí)就是很簡(jiǎn)單的四個(gè)步驟：

接受上游（左邊）的 nvinfer 與 nvtracker 元件發(fā)送的批處理緩沖區(qū)（GstBuffer + NvDsBatchMeta），并從中提取元數(shù)據(jù)；

將元數(shù)據(jù)傳遞到低階 nvds_analytics 接口（上圖下方）進(jìn)行處理；

低階接口根據(jù)為每個(gè)流的所制定配置（前面所列的四項(xiàng)功能）的規(guī)則去執(zhí)行分析；

然后返回添加了分析元數(shù)據(jù)的作為輸出，這是每個(gè)跟蹤對(duì)象以及整個(gè)幀的分析結(jié)果。

這個(gè)插件伴隨著 NvDsAnalyticsFrameMeta 與 NvDsAnalyticsObjInfo 兩組元數(shù)據(jù)，可以在 DeepStream 開(kāi)發(fā)包的sources/includes/nvds_analytics_meta.h 找到完整的定義，也可以在https://docs.nvidia.com/metropolis/deepstream/sdk-api/Meta/analytics.html 找到使用說(shuō)明。這里也簡(jiǎn)單說(shuō)明一下，對(duì)于后面說(shuō)明代碼時(shí)會(huì)有幫助：

NvDsAnalyticsFrameMeta：定義“幀級(jí)（frame level）”的數(shù)據(jù)內(nèi)容，配合所提供的四項(xiàng)功能，主要結(jié)構(gòu)如下：

ocStatus（數(shù)據(jù)類(lèi)型：bool）：在給定的ROI 區(qū)域內(nèi)

objInROIcnt（數(shù)據(jù)類(lèi)型：unit32_t）：在ROI 區(qū)域內(nèi)檢測(cè)到的物件總數(shù)

objLCCurrCnt（數(shù)據(jù)類(lèi)型：unit64_t）：保存當(dāng)前幀中跨線物件的數(shù)量objLCCumCnt（數(shù)據(jù)類(lèi)型：unit64_t）：保存已配置線條的累計(jì)跨線物件數(shù)量

unique_id（數(shù)據(jù)類(lèi)型：guint）：保存 nvdsanalytics 實(shí)例的唯一標(biāo)識(shí)符objCnt（數(shù)據(jù)類(lèi)型：unit64_t）：保存每幀里面每個(gè)類(lèi) ID 的對(duì)象總數(shù)

NvDsAnalyticsObjInfo：定義“對(duì)象（object level）”的數(shù)據(jù)內(nèi)容，配合所提供的四項(xiàng)功能，主要結(jié)構(gòu)如下：

roiStatus（數(shù)據(jù)類(lèi)型：字符串?dāng)?shù)組）：保存對(duì)象所在的 ROI 標(biāo)簽數(shù)組

ocStatus（數(shù)據(jù)類(lèi)型：字符串?dāng)?shù)組）：保存對(duì)象所在的 ROI 標(biāo)簽數(shù)組保存對(duì)象所在的過(guò)度擁擠標(biāo)簽數(shù)組

lcStatus（數(shù)據(jù)類(lèi)型：字符串?dāng)?shù)組）：保存對(duì)象已跨越的線交叉標(biāo)簽數(shù)組

dirStatus（數(shù)據(jù)類(lèi)型：字符串）：保存跟蹤對(duì)象的方向字符串

unique_id（數(shù)據(jù)類(lèi)型：guint）：保存 nvdsanalytics 實(shí)例的唯一標(biāo)識(shí)符

前面工作流最右邊的輸出，是以幀級(jí)的 NvDsAnalyticsFrameMeta 結(jié)構(gòu)進(jìn)行封裝，想要調(diào)用時(shí)就定義一個(gè)用戶元，將 meta_type 設(shè)置為NVDS_USER_FRAME_META_NVDSANALYTICS。然后將用戶元添加到 NvDsFrameMeta 的 frame_user_meta_list 成員。

分析（每個(gè)檢測(cè)到的對(duì)象）的輸出結(jié)果封裝在 NvDsAnalyticsObjInfo 結(jié)構(gòu)中，同樣再定義定義一個(gè)用戶元，將類(lèi)型設(shè)置為 NVDS_USER_OBJ_META_NVDSANALYTICS，然后將這個(gè)用戶元添加到 NvDsObjectMeta 的 obj_user_meta_list 成員中。

上述步驟與數(shù)據(jù)結(jié)構(gòu)，已經(jīng)將大部分 nvdsanalytics 插件的工作都部署的差不多了，剩下就是啟動(dòng)并監(jiān)聽(tīng)交互信息的部分。

項(xiàng)目配置文件說(shuō)明

這個(gè)范例的代碼與前面幾個(gè)范例的工作流程是一致的，只是這里接受多個(gè)輸入源，包括 H264/H265 視頻文件與 RTSP 視頻流，因此需要建立多個(gè)隊(duì)列（queue）作為緩沖來(lái)處理，至于 nvanalytics_src_pad_buffer_probe 部分與 test1 的 osd_sink_pad_buffer_probe 代碼結(jié)構(gòu)的邏輯也是相近的，因此請(qǐng)自行根據(jù)先前代碼內(nèi)容進(jìn)行類(lèi)比，這里就不花力氣再重復(fù)那些冗余的內(nèi)容。

不過(guò)這個(gè)項(xiàng)目里面的配置文件與前面的項(xiàng)目有比較大的不同之處，因此這里就花點(diǎn)時(shí)間探索這部分的細(xì)節(jié)。范例的配置文件為 config_nvdsanalytics.txt，一共有 5 個(gè)配置組。

這個(gè)插件一共有以下的 5 個(gè)配置組：

［property］：配置插件的一般行為，這是唯一的強(qiáng)制（必須有的）組

［roi-filtering-stream-《n》］：為第《n》個(gè)流配置 roi 篩選規(guī)則參數(shù)，無(wú)數(shù)量限制

［overcrowding-stream《n》］：為第《n》個(gè)流配置過(guò)度擁擠參數(shù)的閾值

［direction-detection-stream-《n》］：為第《n》個(gè)流配置方向檢測(cè)參數(shù)

［line-crossing-stream-《n》］：為第《n》個(gè)流配置跨線參數(shù)

在［property］組里面的參數(shù)是大家比較熟悉的，其他組里面有幾個(gè)用法比較特殊的參數(shù)，在這里挑出來(lái)說(shuō)明：

roi-《label》：用在［roi-filtering-stream-《n》］與［overcrowding-stream-《n》］這兩個(gè)組，可自行配置《label》名稱(chēng)，例如“RF”、“OC”、“DangerZone”等，后面設(shè)定一組“多（3 以上）邊形”坐標(biāo)，使用“;”作為間隔，坐標(biāo)順序?yàn)椤皒1;y1;x2;y2;x3; y3;。..”，例如“roi-DangerZone=295;643;579;634;642;913;56;828”、“roi-OC=295;643;579; 634;642;913;56;828”等，可以為每個(gè)視頻源指定多個(gè)的興趣區(qū)。

direction-《label》：用在［direction-detection-stream-《n》］組，可自行配置《label》內(nèi)容，例如“South”、“East”、“Forward”等等，后面給定一組（x1;y1;x2;y2）坐標(biāo)來(lái)表示方向，當(dāng)對(duì)象沿這個(gè)方向移動(dòng)時(shí)，前面設(shè)定的標(biāo)簽將作為用戶元數(shù)據(jù)附加到對(duì)象里，可以為每個(gè)視頻源指定多個(gè)方向。

line-crossing-《label》：用在［line-crossing-stream-《n》］組里面，同樣可自行設(shè)定《label》內(nèi)容，例如“Entry”、“Exit”、“Start”等，后面的設(shè)定值定義兩組線的四個(gè)坐標(biāo)，依序?yàn)椋▁1d;y1d;x2d;y2d;x1c;y1c;x2c;y2c），其中第一組（x1d;y1d;x2d;y2d）代表移動(dòng)的方向，如下圖“向下方的黃色箭頭”所表示；第二組（x1c;y1c;x2c;y2c）標(biāo)示“跨越線”的坐標(biāo)，如下圖與黃色箭頭所交叉的“橫向線”。

只有當(dāng)物件“以符合要求的方向通過(guò)跨越線”，才算符合這里的統(tǒng)計(jì)要求，才會(huì)納入這個(gè)視頻分析的計(jì)數(shù)之中，這個(gè)功能定義的十分完善。

同樣的，我們可以為每個(gè)視頻流提供多組這種跨越線的配置。

extended：用在［line-crossing-stream-《n》］組，這個(gè)開(kāi)關(guān)設(shè)定值是為了將上一個(gè)參數(shù)做個(gè)擴(kuò)展，當(dāng)設(shè)置為“0（關(guān)閉）”的時(shí)候，則計(jì)算物件通過(guò)的參考依據(jù)就僅止于“兩條線的交叉點(diǎn)”，如果設(shè)置為“1（開(kāi)啟）”時(shí)，就會(huì)以（x1c;y1c;x2c;y2c）整條線作為參考依據(jù)。

mode：用在［line-crossing-stream-《n》］與［direction-detection-stream-《n》］這兩個(gè)組，設(shè)定“檢測(cè)方向”與“配置方向”一致性的嚴(yán)格程度，有“l(fā)oose（寬松）”、“strict（嚴(yán)格）”、“balance（平衡）”三種選項(xiàng)，例如“l(fā)oose”只檢查物體是否已越過(guò)線，并且該物體保持同一方向行進(jìn)即可，公差可能會(huì)很高。

以上是比較復(fù)雜的參數(shù)與用法的簡(jiǎn)單說(shuō)明，如果需要所有參數(shù)的完整說(shuō)明，請(qǐng)直接參考https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvdsanalytics.html下方的“Configuration File Parameters”內(nèi)容。

接下來(lái)就開(kāi)始執(zhí)行這個(gè)很有用處的范例，透過(guò)修改參數(shù)值來(lái)感受用途。

范例執(zhí)行

由于 deepstream_nvdsanalytics.py 這個(gè)代碼可以接受多個(gè)視頻輸入，因此需要使用“file:///”格式給定輸入文件完整路徑，為了簡(jiǎn)化指令長(zhǎng)度，我們?cè)诠ぷ髂夸浵率褂密涙溄觼?lái)提供視頻文件路徑：

ln -s 。./。./。./。./samples/streams/sample_720p.h264 ~/test.h264python3 deepstream_nvdsanalytics.py file:///home/nvidia/test.h264

下面是這個(gè)范例的執(zhí)行畫(huà)面：

接下去看看所顯現(xiàn)的數(shù)據(jù)代表什么意思，下面是我們截取第 649 幀圖像的檢測(cè)結(jié)果：

##################################################Object 503 moving in direction： NorthObject 499 moving in direction： NorthObject 526 roi status： ［‘RF’］Objs in ROI： {‘RF’： 1}Linecrossing Cumulative： {‘Exit’： 20}Linecrossing Current Frame： {‘Exit’： 0}Frame Number= 649 stream id= 0 Number of Objects= 7 Vehicle_count= 5 Person_count= 2

最上面兩行表示物件編號(hào) 503 與 499 行進(jìn)方向?yàn)椤癗orth”

第 3 行在 RF 興趣區(qū)檢測(cè)到編號(hào) 526 物件（圖左方站立的人）

第 4 行顯示興趣區(qū) RF 目前檢測(cè)到“1”個(gè)物件

第 5 行統(tǒng)計(jì)出“累積通過(guò)”右方黃色線的物件數(shù)量為“20”

第 6 行顯示“正在通過(guò)”右方黃色線的物件數(shù)量為“0”

第 7 行顯示這是“第 649 幀”，檢測(cè)到“7”個(gè)物件，其中有“5”輛車(chē)與“2”個(gè)人

如何？這個(gè)插件的功能很棒吧，可以讓你自由地設(shè)定要監(jiān)控的區(qū)域，并且非常有效率地按照你所設(shè)定的要求，反饋對(duì)應(yīng)的統(tǒng)計(jì)數(shù)據(jù)。

責(zé)任編輯：haq