對(duì)光流的學(xué)習(xí)和跟蹤是計(jì)算機(jī)視覺領(lǐng)域的基本任務(wù)。在3D目標(biāo)跟蹤、處理和重建等實(shí)際任務(wù)中，經(jīng)常需要對(duì)被遮擋的光流進(jìn)行預(yù)測(cè)。本文介紹在CVPR2019上發(fā)表的一篇論文，在多個(gè)數(shù)據(jù)集的光流預(yù)測(cè)任務(wù)上大幅提升了預(yù)測(cè)性能。

光流是計(jì)算機(jī)視覺的一個(gè)基本任務(wù)，它描述了視頻中的運(yùn)動(dòng)信息，相關(guān)技術(shù)廣泛應(yīng)用于視頻理解和處理、物體跟蹤、三維重建、自動(dòng)駕駛等場(chǎng)景。近日，來自香港中文大學(xué)和騰訊AI實(shí)驗(yàn)室團(tuán)隊(duì)的一篇論文入選了CVPR2019。

論文題為《一種自監(jiān)督的光流學(xué)習(xí)方法》。論文團(tuán)隊(duì)探索了使用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)光流的一個(gè)關(guān)鍵挑戰(zhàn)：預(yù)測(cè)被遮擋像素的光流。

論文地址：

https://arxiv.org/abs/1904.09117

論文第一作者劉鵬鵬詳細(xì)闡述了該論文的意義：“首先，我們提出了一種從沒有標(biāo)注的數(shù)據(jù)中學(xué)習(xí)光流的自監(jiān)督訓(xùn)練框架。這個(gè)方法會(huì)人為創(chuàng)造一些遮擋，然后利用已經(jīng)學(xué)習(xí)到的比較準(zhǔn)確的沒有被遮擋像素的光流去指導(dǎo)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)被遮擋像素的光流。其次，我們?cè)O(shè)計(jì)一個(gè)可以利用多幀圖像時(shí)序連續(xù)性的網(wǎng)絡(luò)結(jié)構(gòu)來更好地學(xué)習(xí)光流。

基于這兩個(gè)原則，我們的方法在MPI Sintel, KITTI 2012和KITTI 2015等數(shù)據(jù)集上取得了最好的無監(jiān)督學(xué)習(xí)效果。更重要的是，我們的無監(jiān)督方法得到的模型為有監(jiān)督的微調(diào)提供了一個(gè)很好的初始化，消除了訓(xùn)練光流神經(jīng)網(wǎng)絡(luò)對(duì)仿真數(shù)據(jù)的依賴。經(jīng)過有監(jiān)督微調(diào)，我們的模型在以上三個(gè)數(shù)據(jù)集上取得了目前最優(yōu)的性能，這是光流研究歷史上第一次不使用額外仿真數(shù)據(jù)達(dá)到的最高準(zhǔn)確度。

我們?cè)趯戇@篇文章的時(shí)候（2018年11月），我們的模型在Sintel評(píng)測(cè)集上取得EPE=4.26，超過來自世界各地研究機(jī)構(gòu)的所有180多種已經(jīng)提交的方法。直到今天，我們的算法在Sintel榜單上還是第一?！?/p>

自監(jiān)督光流學(xué)習(xí)框架SelFlow：刷新多項(xiàng)預(yù)測(cè)精度紀(jì)錄

表1：與基于最先進(jìn)學(xué)習(xí)的光流估計(jì)方法的比較。我們的方法優(yōu)于所有數(shù)據(jù)集上的所有無監(jiān)督光流學(xué)習(xí)方法。我們的監(jiān)督微調(diào)模型在Sintel Final數(shù)據(jù)集和KITTI 2012數(shù)據(jù)集上實(shí)現(xiàn)了最高精度。除KITTI 2012和KITTI 2015測(cè)試集的最后一列外，所有數(shù)字均為EPE，我們報(bào)告了所有像素（Fl-all）上的錯(cuò)誤像素百分比。（ - ）表示未報(bào)告相應(yīng)方法的結(jié)果。括號(hào)表示訓(xùn)練和測(cè)試是在同一數(shù)據(jù)集上執(zhí)行的。粗體字為無監(jiān)督和監(jiān)督方法中的最佳結(jié)果。

圖2 在每個(gè)級(jí)別的網(wǎng)絡(luò)架構(gòu)（類似于PWC-Net）。˙wl表示水平l的初始粗流，F(xiàn) l表示翹曲的特征表示。在每個(gè)級(jí)別，將初始流量和成本量作為輸入交換，以便同時(shí)估計(jì)前向流量和后向流量。再將這些估計(jì)傳遞到l-1層上，估計(jì)更高分辨率的流。

圖3 多幀自訓(xùn)練的數(shù)據(jù)流。為了估計(jì)三幀流學(xué)習(xí)的遮擋圖，我們使用五個(gè)圖像作為輸入。這樣，我們可以進(jìn)行前后一致性檢查，以分別估計(jì)I t和I t + 1之間，I t和I t-1之間的遮擋圖。

圖4 在Sintel和KITTI數(shù)據(jù)集上對(duì)無監(jiān)督結(jié)果進(jìn)行抽樣。圖中由上至下依次為在Sintel Final，KITTI 2012和KITTI 2015數(shù)據(jù)集上的取樣。

圖5 在Sintel Clean培訓(xùn)和Sintel Final測(cè)試數(shù)據(jù)集的不同設(shè)置下的定性比較。遮擋處理，多幀制定和自我監(jiān)督不斷提高性能

實(shí)驗(yàn)結(jié)果與分析：多項(xiàng)數(shù)據(jù)集預(yù)測(cè)性能顯著提升

如表1所示，我們?cè)谒性u(píng)估指標(biāo)下的所有數(shù)據(jù)集上實(shí)現(xiàn)了無監(jiān)督和監(jiān)督光流學(xué)習(xí)的最新結(jié)果。圖4所示為Sintel和KITTI的樣本結(jié)果。

無監(jiān)督學(xué)習(xí)

本文中的方法在基準(zhǔn)測(cè)試中實(shí)現(xiàn)了無監(jiān)督學(xué)習(xí)方法的最高精度。在Sintel Final基準(zhǔn)測(cè)試中，將之前的最佳EPE從7.40 降低到6.57，相對(duì)提升幅度為11.2％。這甚至比包括FlowNetS，F(xiàn)lowNetC和SpyNet在內(nèi)的幾種完全監(jiān)督方法更優(yōu)秀。在KITTI數(shù)據(jù)集上的改進(jìn)更為明顯。

對(duì)于訓(xùn)練數(shù)據(jù)集，我們實(shí)現(xiàn)了EPE = 1.69，KITTI 2012的相對(duì)改進(jìn)幅度為28.1％，EPE = 4.84，與之前最佳無監(jiān)督方法DDFlow相比，KITTI 2015的相對(duì)改進(jìn)為15.3％。在KITTI 2012測(cè)試集中，實(shí)現(xiàn)了Fl-all = 7.68％，這比包括FlowNet2，PWC-Net，ProFlow和MFF在內(nèi)的最先進(jìn)的監(jiān)督學(xué)習(xí)方法實(shí)現(xiàn)了更好的性能。在KITTI 2015基準(zhǔn)測(cè)試中，實(shí)現(xiàn)了Fl-all=14.19％，優(yōu)于所有無監(jiān)督方法。其中一些無監(jiān)督學(xué)習(xí)的結(jié)果也優(yōu)于一些完全監(jiān)督的方法，包括DCFlow和ProFlow等。

監(jiān)督式微調(diào)

使用Ground-truth流程進(jìn)一步對(duì)無監(jiān)督學(xué)習(xí)模型進(jìn)行微調(diào)后，模型在所有三個(gè)數(shù)據(jù)集上都獲得了最先進(jìn)的結(jié)果，KITTI 2012上的Fl-all = 6.19％，KITTI 2015上的Fl-all = 8.42％。最重要的是，我們的方法在Sintel Final數(shù)據(jù)集上實(shí)現(xiàn)了EPE = 4.26 ，在所有提交的方法中實(shí)現(xiàn)Sintel了基準(zhǔn)測(cè)試的最高精度。所有這些都表明，我們的方法減少了預(yù)訓(xùn)練對(duì)合成數(shù)據(jù)集的依賴，不必再遵循不同數(shù)據(jù)集來專門制定訓(xùn)練計(jì)劃。

結(jié)論與未來方向：有效降低對(duì)標(biāo)記數(shù)據(jù)集的依賴

本文提出了一種自我監(jiān)督的方法來學(xué)習(xí)準(zhǔn)確的光流估計(jì)，此方法將噪聲注入到超級(jí)像素中以創(chuàng)建遮擋，讓一個(gè)模型引導(dǎo)另一個(gè)模型來學(xué)習(xí)遮擋像素的光流。我們通過簡(jiǎn)單的CNN有效地聚合來自多個(gè)幀的時(shí)間信息，改進(jìn)流量預(yù)測(cè)精度。大量實(shí)驗(yàn)表明，我們的方法明顯優(yōu)于所有現(xiàn)有的無監(jiān)督光流學(xué)習(xí)方法。在使用我們的無監(jiān)督模型進(jìn)行微調(diào)后，模型在所有領(lǐng)先的基準(zhǔn)測(cè)試中實(shí)現(xiàn)了最先進(jìn)的流量估算精度結(jié)果。我們的研究可以完全降低預(yù)訓(xùn)練過程對(duì)合成標(biāo)記數(shù)據(jù)集的依賴，并通過對(duì)未標(biāo)記數(shù)據(jù)進(jìn)行自監(jiān)督的預(yù)訓(xùn)練，實(shí)現(xiàn)優(yōu)異的預(yù)測(cè)性能。