近日，Yann LeCun 等人發(fā)表了一篇針對(duì)未來(lái)實(shí)例分割預(yù)測(cè)的論文。該論文提出了一種預(yù)測(cè)模型，可通過(guò)預(yù)測(cè)卷積特征來(lái)對(duì)未來(lái)實(shí)例分割進(jìn)行預(yù)測(cè)。該算法有以下幾大優(yōu)勢(shì)：

可以處理模型輸出大小不固定的情況，如對(duì)象檢測(cè)和實(shí)例分割；

不需要使用帶有標(biāo)記的視頻序列進(jìn)行訓(xùn)練，可以直接從未標(biāo)記的數(shù)據(jù)中計(jì)算出中間的 CNN 特征映射圖；

支持可生成多個(gè)場(chǎng)景解釋的模型，如曲面法線、對(duì)象邊界框和人體部分標(biāo)簽，而不需要針對(duì)這些任務(wù)設(shè)計(jì)合適的編碼器和損失函數(shù)。

▌簡(jiǎn)介

預(yù)測(cè)未來(lái)事件是實(shí)現(xiàn)智能行為的一個(gè)重要的先決條件，而視頻預(yù)測(cè)就是其中一項(xiàng)任務(wù)。最近的研究表明，在對(duì)未來(lái)幀進(jìn)行語(yǔ)義分割時(shí)，在語(yǔ)義層面上的預(yù)測(cè)，比先預(yù)測(cè) RGB 幀，然后將其分段更加有效。本文考慮了未來(lái)實(shí)例分割中更具挑戰(zhàn)性的一個(gè)問(wèn)題——將單個(gè)對(duì)象進(jìn)行細(xì)分。為了處理各圖像中不同數(shù)量的輸出標(biāo)簽，我們?cè)?Mask R-CNN 實(shí)例分割模型的固定尺寸卷積特征空間中開(kāi)發(fā)了一個(gè)預(yù)測(cè)模型。

我們將 Mask R-CNN 框架的“探測(cè)頭（detection head）”應(yīng)用于預(yù)測(cè)特征，以產(chǎn)生未來(lái)幀的實(shí)例分割。實(shí)驗(yàn)表明，與基于光流（optical flow）的基線相比，該算法在性能上有顯著提升。

圖 1：預(yù)測(cè)未來(lái) 0.5 秒。 光流基線 （a） 和本文算法 （b） 的實(shí)例分割比較。來(lái)自文獻(xiàn) [8] 的算法 （c） 和本文的實(shí)例語(yǔ)義分割算法 （d） 的語(yǔ)義分割比較。實(shí)例建模顯著提高了單個(gè)行人的分割精度。

我們的貢獻(xiàn)如下：

引入未來(lái)實(shí)例預(yù)測(cè)這一新任務(wù)，在語(yǔ)義上比之前研究的預(yù)期識(shí)別任務(wù)更為豐富。

基于預(yù)測(cè)未來(lái)幀的高維卷積神經(jīng)網(wǎng)絡(luò)特征的自監(jiān)督算法，支持多種預(yù)期識(shí)別任務(wù)。

實(shí)驗(yàn)結(jié)果表明我們的特征學(xué)習(xí)算法相對(duì)于強(qiáng)光流基線有所改進(jìn)。

預(yù)測(cè)未來(lái)實(shí)例分割的特征

本節(jié)簡(jiǎn)要回顧了 Mask R-CNN 框架實(shí)例分割框架，然后介紹了如何通過(guò)預(yù)測(cè)未來(lái)幀的內(nèi)部 CNN 特征，將該框架用于預(yù)期識(shí)別（anticipated recognition）。

使用 Mask R-CNN 進(jìn)行實(shí)例分割

Mask R-CNN 模型主要由三個(gè)主要階段組成。首先，使用一個(gè) CNN 主干框架結(jié)構(gòu)提取高層特征映射圖。其次，候選區(qū)域生成網(wǎng)絡(luò) （RPN） 利用這些特征以包含實(shí)例邊界框坐標(biāo)的形式產(chǎn)生興趣區(qū)域（ROI）。候選邊界框用作興趣區(qū)域?qū)拥妮斎耄ㄟ^(guò)在每個(gè)邊界框中插入高級(jí)特征，為每個(gè)邊界框獲取固定大小的表示（不管大?。?將每個(gè)興趣區(qū)域的特征輸入到檢測(cè)分支，并產(chǎn)生精確的邊界框坐標(biāo)、類(lèi)別預(yù)測(cè)以及用于預(yù)測(cè)類(lèi)別的固定二進(jìn)制掩碼。最后，在預(yù)測(cè)的邊界框內(nèi)將掩碼插入到圖像分辨率中，并報(bào)告為預(yù)測(cè)類(lèi)的一個(gè)實(shí)例分割。

圖2 ：左，自上而下的特征采樣結(jié)合相同分辨率吧的自下而上的特征，從而獲得的 FPN（feature pyramid network） 算法主干框架中的特征。右，為了得到未來(lái)實(shí)例分割，我們從 t-τ 到 t 幀提取 FPN 特征，并預(yù)測(cè) t + 1 幀的 FPN 特征。

預(yù)測(cè)卷積特征

對(duì)處于不同 FPN 層級(jí)的特征進(jìn)行訓(xùn)練，并將其作為共享“探測(cè)頭（detection head）”的輸入。然而，由于分辨率在不同層級(jí)上會(huì)發(fā)生改變，每層上的“空間-時(shí)間”動(dòng)態(tài)特性也會(huì)不同。 因此，我們提出了一種多尺度算法，對(duì)每一級(jí)采用單獨(dú)的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。每級(jí)網(wǎng)絡(luò)都經(jīng)過(guò)訓(xùn)練，彼此完全獨(dú)立地工作。對(duì)于每一級(jí)，我們關(guān)注的是特征維度輸入序列的特征。

實(shí)驗(yàn)評(píng)估

我們使用的是 Cityscapes 數(shù)據(jù)集，數(shù)據(jù)來(lái)自于汽車(chē)在駕駛過(guò)程中錄制的城市環(huán)境視頻，每個(gè)視頻片段時(shí)長(zhǎng) 1.8 秒，一共分為 2,975 個(gè)訓(xùn)練集，500 個(gè)驗(yàn)證集和 1,525 個(gè)測(cè)試集。

我們使用在 MS-COCO 數(shù)據(jù)集上預(yù)先訓(xùn)練好的的 Mask R-CNN 模型，并在 Cityscapes 數(shù)據(jù)集上以端到端的形式對(duì)其進(jìn)行微調(diào)。

未來(lái)實(shí)例分割：表1為未來(lái)特征預(yù)測(cè)算法 （F2F） 的實(shí)例分割結(jié)果，并將其與 Oracle、Copy 和光流基線的性能做比較。由表可知，F(xiàn)2F 算法效果最好，比最佳的中期基線提高了 74％ 以上。

表1：Cityscapes val.數(shù)據(jù)集上實(shí)例分割的精確度

未來(lái)語(yǔ)義分割：我們發(fā)現(xiàn)，F(xiàn)2F 算法在 IoU 方面比所有的短期分割方法都有明顯的改進(jìn)，以61.2 %的成績(jī)排名第一。

表2： 不同算法在 Cityscapes val. 數(shù)據(jù)集上的移動(dòng)對(duì)象（ 8 類(lèi)）短期和中期語(yǔ)義分割表現(xiàn)。

圖4顯示，與 Warp 基線相比， F2F 算法能夠與對(duì)象的實(shí)際布局更好地對(duì)齊，這表明該算法已經(jīng)學(xué)會(huì)了對(duì)場(chǎng)景和對(duì)象的動(dòng)態(tài)建模，且效果比基線好。如預(yù)期所示，預(yù)測(cè)的掩碼也比那些 S2S 算法更加精確。

圖4：對(duì)三個(gè)序列的中期預(yù)測(cè)(未來(lái) 0.5 秒)。

通過(guò)圖5展示的示例，我們可以更好地理解，為什么在語(yǔ)義分割度量標(biāo)準(zhǔn)方面，F(xiàn)2F 和 Warp 基線之間的差異比實(shí)例分割度量標(biāo)準(zhǔn)要小很多。

圖5：用 Warp 基線和 F2F 模型獲得的中期預(yù)測(cè)的實(shí)例和語(yǔ)義分割。不準(zhǔn)確的實(shí)例分割會(huì)導(dǎo)致精確的語(yǔ)義分割區(qū)域，請(qǐng)看圖中的橙色矩形高光部分。

失敗案例討論

在圖6(a) 的第一個(gè)例子中，由于前面的所有模型認(rèn)為白色轎車(chē)完全被另一輛車(chē)遮擋，因此沒(méi)有檢測(cè)到。這是不可避免的一種情況，除非對(duì)象在較早的幀中可見(jiàn)，在這種情況下，長(zhǎng)期記憶機(jī)制可能會(huì)避免不必要的錯(cuò)誤。

在圖 6(b) 中，卡車(chē)和行人的預(yù)測(cè)掩碼在形狀和位置上都不連貫。用明確建模遮擋機(jī)制或許可以獲得更一致的預(yù)測(cè)。

最后，由于對(duì)象本身比較模糊，某些運(yùn)動(dòng)和形狀轉(zhuǎn)換很難得到準(zhǔn)確的預(yù)測(cè)，如圖 6(c)中的行人的腿部，對(duì)于這種情況，確切的姿勢(shì)存在高度的不確定性。