圖像目標(biāo)檢測是圖像處理領(lǐng)域的基礎(chǔ)。自從2012年CNN的崛起，深度學(xué)習(xí)在Detection的持續(xù)發(fā)力，為這個領(lǐng)域帶來了變革式的發(fā)展：一個是基于RPN的two-stage，RCNN/Fast RCNN/Faster RCNN、RetinaNet、Mask RCNN等，致力于檢測精度的提高。一類是基于SSD和YOLOv1/v2/3的one-stage，致力于提高檢測速度。

視頻目標(biāo)檢測要解決的問題是對于視頻中每一幀目標(biāo)的正確識別和定位。相對于圖像目標(biāo)檢測，視頻是高度冗余的，包含了大量時間局部性（temporal locality，即在不同的時間是相似的）和空間局部性（spatial locality，即在不同場景中看起來是相似的），既Temporal Context（時間上下文）的信息。充分利用好時序上下文關(guān)系，可以解決視頻中連續(xù)幀之間的大量冗余的情況，提高檢測速度；還可以提高檢測質(zhì)量，解決視頻相對于圖像存在的運動模糊、視頻失焦、部分遮擋以及形變等問題。

視頻目標(biāo)檢測和視頻跟蹤不同。兩個領(lǐng)域解決相同點在于都需要對每幀圖像中的目標(biāo)精準(zhǔn)定位，不同點在于視頻目標(biāo)檢測不考慮目標(biāo)的識別問題，而跟蹤需要對初始幀的目標(biāo)精確定位和識別。

圖1 高德地圖車載AR導(dǎo)航可識別前方車輛并提醒

視頻目標(biāo)檢測應(yīng)用廣泛，如自動駕駛，無人值守監(jiān)控，安防等領(lǐng)域。如圖1所示，高德地圖車載AR導(dǎo)航利用視頻目標(biāo)檢測，能夠?qū)^往車輛、行人、車道線、紅綠燈位置以及顏色、限速牌等周邊環(huán)境，進行智能的圖像識別，從而為駕駛員提供跟車距離預(yù)警、壓線預(yù)警、紅綠燈監(jiān)測與提醒、前車啟動提醒、提前變道提醒等一系列駕駛安全輔助。

視頻目標(biāo)檢測算法一般包括單幀目標(biāo)檢測、多幀圖像處理、光流算法、自適應(yīng)關(guān)鍵幀選擇。Google提出基于Slownetwork 和Fast network分別提取不同特征，基于ConvLSTM特征融合后生成檢測框，實現(xiàn)實時性的state-of-art。

論文地址：https://arxiv.org/abs/1903.10172

1 Motivation

物體在快速運動時，當(dāng)人眼所看到的影像消失后，人眼仍能繼續(xù)保留其影像，約0.1-0.4秒左右的圖像，這種現(xiàn)象被稱為視覺暫留現(xiàn)象。人類在觀看視頻時，利用視覺暫留機制和記憶能力，可以快速處理視頻流。借助于存儲功能，CNN同樣可以實現(xiàn)減少視頻目標(biāo)檢測的計算量。

視頻幀具有較高的時序冗余。如圖2所示，模型[1]提出使用兩個特征提取子網(wǎng)絡(luò)：Slow network 和Fast network。Slow network負責(zé)提取視頻幀的精確特征，速度較慢，F(xiàn)ast network負責(zé)快速提取視頻幀的特征提取，準(zhǔn)確率較差，兩者交替處理視頻幀圖像。Fast network和Slow network特征經(jīng)過ConvLSTM層融合并保存特征。檢測器在當(dāng)前幀特征和上下文特征融合基礎(chǔ)上生成檢測框。論文提取基于強化學(xué)習(xí)策略的特征提取調(diào)度機制和需要保存特征的更新機制。

論文提出的算法模型在Pixel 3達到72.3 FPS，在VID 2015數(shù)據(jù)集state-of-art性能。

論文創(chuàng)新點：

1、提出基于存儲引導(dǎo)的交替模型框架，使用兩個特征提取網(wǎng)絡(luò)分別提取不同幀特征，減少計算冗余。

2、提出基于Q-learning學(xué)習(xí)自適應(yīng)交替策略，取得速度和準(zhǔn)確率的平衡。

3、在手機設(shè)備實現(xiàn)迄今為止已知視頻目標(biāo)檢測的最高速度。

圖2 存儲引導(dǎo)的交錯模型

2網(wǎng)絡(luò)架構(gòu)

2.1交錯模型

圖3交錯模型

如圖3所示論文提出的交錯模型（τ = 2），Slow network（Large featureextractor）和Fastnetwork(Small feature extractor)均由MobileNetV2構(gòu)成(兩個模型的depth multiplier不同，前者為1.4，后者為0.35)，anchors比率限制為{1.0,0.5,2.0}。

2.2存儲模型

LSTM可以高效處理時序信息，但是卷積運算量較大，并且需要處理所有視頻幀特征。論文提出改進的ConvLSTM模型加速視頻幀序列的特征處理。

ConvLSTM是一種將CNN與LSTM在模型底層結(jié)合，專門為時空序列設(shè)計的深度學(xué)習(xí)模塊。ConvLSTM核心本質(zhì)還是和LSTM一樣，將上一層的輸出作下一層的輸入。不同的地方在于加上卷積操作之后，為不僅能夠得到時序關(guān)系，還能夠像卷積層一樣提取特征，提取空間特征。這樣就能夠得到時空特征。并且將狀態(tài)與狀態(tài)之間的切換也換成了卷積計算。

圖4 存儲模型LSTM單元

如所示，論文的ConvLSTM有一下改進：

1、增加Bottleneck Gate和output跳躍連接。

2、LSTM單元分組卷積。特征圖HxWxN分為G組，每個LSTM僅處理HxWxN/G的特征，加速ConvLSTM計算。論文中G = 4。

3、LSTM有一固有弱點，sigmoid激活輸入和忘記門很少完全飽和，導(dǎo)致緩慢的狀態(tài)衰減，長期依賴逐漸喪失，更新中無法保留完整的前期狀態(tài)。導(dǎo)致Fast network運行中，Slownetwork特征緩慢消失。論文使用簡單的跳躍連接，既第一個Fast network輸出特征重復(fù)使用。

2.3推斷優(yōu)化

論文提出基于異步模式和量化模型，提高系統(tǒng)的計算效率。

1、異步模式。交錯模型的短板來自于Slow network。論文采用Fastnetwork提取每幀圖像特征，τ = 2幀采用Slow network計算特征和更新存儲特征。Slownetwork和Fast network異步進行，提高計算效率。

2、在有限資源的硬件設(shè)備上布置性能良好的網(wǎng)絡(luò)，就需要對網(wǎng)絡(luò)模型進行壓縮和加速，其中量化模型是一種高效手段?；赱2]算法，論文的ConvLSTM單元在數(shù)學(xué)運算（addition,multiplication, sigmoid and ReLU6）后插入量化計算，確保拼接操作的輸入范圍相同，消除重新縮放的需求。

3 實驗

模型在Imagenet DET 和COCO訓(xùn)練，在Imagenet VID 2015測試結(jié)果如圖5所示。

從測試結(jié)果看，系統(tǒng)只有Slow network模塊時準(zhǔn)確率最高， 只有Fast network模塊時準(zhǔn)確率最低，但是速度沒有交錯模型快，比較詫異。另外基于強化學(xué)習(xí)的adaptive對精度和速度幾乎沒有影響，而異步模式和模型量化提高系統(tǒng)的實時性。

圖5 Imagenet VID 2015測試結(jié)果

4 優(yōu)缺點分析

視頻處理策略

1、基于強化學(xué)習(xí)的交錯模型調(diào)度是偽命題。論文的Slow network提取強特征，F(xiàn)astnetwork提取弱特征，交錯模型的τ越大，模型性能越差。理論上τ=2時模型的準(zhǔn)確率越高。綜合考慮準(zhǔn)確率和實時性，論文中τ=9。

2、視頻具有很強的上下文相關(guān)性。視頻理解領(lǐng)域的目標(biāo)檢測、分割、識別，跟蹤，等領(lǐng)域，都需要提取前后幀的運動信息，而傳統(tǒng)采用光流方式，無法保證實時性。本文提出的分組ConvLSTM，可加速計算，量化模型保持準(zhǔn)確率，具有借鑒意義。

以上僅為個人閱讀論文后的理解、總結(jié)和思考。觀點難免偏差，望讀者以懷疑批判態(tài)度閱讀，歡迎交流指正。

參考文獻

[1] MasonLiu, Menglong Zhu, Marie White, Yinxiao Li, Dmitry Kalenichenko.Looking Fastand Slow: Memory-Guided Mobile Video Object Detection.arXivpreprint arXiv:1903.10172,2019.

[2] B.Jacob, S. Kligys, B. Chen, M. Zhu, M. Tang, A. Howard,H. Adam, and D.Kalenichenko. Quantization and training of neural networks for efficientinteger-arithmetic-only inference. In CVPR, 2018.