從視頻中估計(jì)3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)是計(jì)算機(jī)視覺中的一個(gè)關(guān)鍵問題，這個(gè)技術(shù)在自動(dòng)駕駛領(lǐng)域有著廣闊的工業(yè)應(yīng)用前景。目前自動(dòng)駕駛的核心技術(shù)是LiDAR（激光雷達(dá)），一種運(yùn)用雷達(dá)原理，采用光和激光作為主要傳感器的汽車視覺系統(tǒng)。LiDAR傳感器賦予了自動(dòng)駕駛汽車能夠看到周邊環(huán)境的“雙眼”，激光雷達(dá)技術(shù)越先進(jìn)，視覺感知的精準(zhǔn)程度越高，這是自動(dòng)駕駛得以實(shí)現(xiàn)的底層技術(shù)基礎(chǔ)。但是最近幾年，放在攝像頭上的深度學(xué)習(xí)研究，發(fā)展很蓬勃。相比之下， 雖然激光雷達(dá) (LiDAR)的數(shù)據(jù)有諸多優(yōu)點(diǎn)，但相關(guān)學(xué)術(shù)進(jìn)展并不太多。相機(jī)+數(shù)據(jù)+神經(jīng)網(wǎng)絡(luò)的組合，正在迅速縮小與LiDAR的能力差距。

無需相機(jī)參數(shù)、單目、以無監(jiān)督學(xué)習(xí)的方式從未標(biāo)記場(chǎng)景視頻中搞定深度圖！

什么是深度圖？

深度圖像（depth image)也被稱為距離影像（range image），由相機(jī)拍攝，是指將從圖像采集器到場(chǎng)景中各點(diǎn)的距離（深度）作為像素值的圖像，它直接反映了景物可見表面的幾何形狀。單位為mm，效果參考下圖：

在場(chǎng)景視頻景深學(xué)習(xí)領(lǐng)域，谷歌AI和機(jī)器人實(shí)驗(yàn)室聯(lián)合公布了三項(xiàng)最新研究突破：

第一，證明了可以以一種無監(jiān)督的方式訓(xùn)練深度網(wǎng)絡(luò)，這個(gè)深度網(wǎng)絡(luò)可以從視頻本身預(yù)測(cè)相機(jī)的內(nèi)在參數(shù)，包括鏡頭失真（見圖1）。

第二，在這種情況下，他們是第一個(gè)以幾何方式從預(yù)測(cè)深度直接解決遮擋的問題。

第三，大大減少了處理場(chǎng)景中移動(dòng)元素所需的語義理解量：只需要一個(gè)覆蓋可能屬于移動(dòng)對(duì)象的像素的單個(gè)掩碼，而不是分割移動(dòng)對(duì)象的每個(gè)實(shí)例并跨幀跟蹤它。

圖1：從未知來源的視頻中學(xué)習(xí)深度的方法的定性結(jié)果，通過同時(shí)學(xué)習(xí)相機(jī)的外在和內(nèi)在參數(shù)來實(shí)現(xiàn)。 由于該方法不需要知道相機(jī)參數(shù)，因此它可以應(yīng)用于任何視頻集。 所有深度圖（在右側(cè)可視化，作為差異）都是從原始視頻中學(xué)習(xí)而不使用任何相機(jī)內(nèi)在函數(shù)。 從上到下：來自YouTube8M的幀，來自EuRoC MAV數(shù)據(jù)集，來自Cityscapes和來自KITTI的幀。

推特網(wǎng)友對(duì)此不吝贊美：“這是我見過的最令人印象深刻的無監(jiān)督結(jié)果之一。來自未標(biāo)記視頻的深度圖對(duì)于自動(dòng)駕駛非常有用:)“

以下是論文具體內(nèi)容：

從視頻中估計(jì)3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)是計(jì)算機(jī)視覺中的一個(gè)關(guān)鍵問題，這個(gè)技術(shù)在自動(dòng)駕駛領(lǐng)域有著廣闊的工業(yè)應(yīng)用前景。

解決該問題的傳統(tǒng)方法依賴于在多個(gè)連續(xù)幀中識(shí)別場(chǎng)景中的相同點(diǎn)，并求解在這些幀上最大程度一致的3D結(jié)構(gòu)和相機(jī)運(yùn)動(dòng)。

但是，幀之間的這種對(duì)應(yīng)關(guān)系只能針對(duì)所有像素的子集建立，這導(dǎo)致了深度估計(jì)不確定的問題。與通常處理逆問題一樣，這些缺口是由連續(xù)性和平面性等假設(shè)填充的。

深度學(xué)習(xí)能夠從數(shù)據(jù)中獲得這些假設(shè)，而不是手工指定這些假設(shè)。在信息不足以解決模糊性的地方，深度網(wǎng)絡(luò)可以通過對(duì)先前示例進(jìn)行歸納，以生成深度圖和流場(chǎng)。

無監(jiān)督方法允許單獨(dú)從原始視頻中學(xué)習(xí)，使用與傳統(tǒng)方法類似的一致性損失，但在訓(xùn)練期間對(duì)其進(jìn)行優(yōu)化。在推論中，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)能夠預(yù)測(cè)來自單個(gè)圖像的深度以及來自成對(duì)或更長圖像序列的運(yùn)動(dòng)。

隨著對(duì)這個(gè)方向的研究越來越有吸引力，很明顯，物體運(yùn)動(dòng)是一個(gè)主要障礙，因?yàn)樗`反了場(chǎng)景是靜態(tài)的假設(shè)。已經(jīng)提出了幾個(gè)方向來解決該問題，包括通過實(shí)例分割利用對(duì)場(chǎng)景的語義理解。

遮擋是另一個(gè)限制因素，最后，在此方向的所有先前工作中，必須給出相機(jī)的內(nèi)在參數(shù)。這項(xiàng)工作解決了這些問題，因此減少了監(jiān)督，提高了未標(biāo)記視頻的深度和運(yùn)動(dòng)預(yù)測(cè)質(zhì)量。

首先，我們證明了可以以一種無監(jiān)督的方式訓(xùn)練深度網(wǎng)絡(luò)，這個(gè)深度網(wǎng)絡(luò)從視頻本身預(yù)測(cè)相機(jī)的內(nèi)在參數(shù)，包括鏡頭失真（見圖1）。

其次，在這種情況下，我們是第一個(gè)以幾何方式從預(yù)測(cè)深度直接解決遮擋的問題。

最后，我們大大減少了處理場(chǎng)景中移動(dòng)元素所需的語義理解量：我們需要一個(gè)覆蓋可能屬于移動(dòng)對(duì)象的像素的單個(gè)掩碼，而不是分割移動(dòng)對(duì)象的每個(gè)實(shí)例并跨幀跟蹤它。

這個(gè)掩?？赡芊浅４植?，實(shí)際上可以是矩形邊界框的組合。獲得這樣的粗糙掩模是一個(gè)簡(jiǎn)單得多的問題，而且與實(shí)例分割相比，使用現(xiàn)有的模型可以更可靠地解決這個(gè)問題。

除了這些定性進(jìn)展之外，我們還對(duì)我們的方法進(jìn)行了廣泛的定量評(píng)估，并發(fā)現(xiàn)它在多個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集上建立了新的技術(shù)水平。將數(shù)據(jù)集匯集在一起，這種能力通過我們的方法得到了極大的提升，證明可以提高質(zhì)量。

表1：總結(jié)了在KITTI上訓(xùn)練的模型和評(píng)估結(jié)果，使用給定相機(jī)內(nèi)建和學(xué)習(xí)相機(jī)內(nèi)建兩種方式來評(píng)估我們方法的深度估計(jì)，結(jié)果顯而易見，我們獲得了當(dāng)前最佳SOTA。

表2：總結(jié)了在Cityscapes上訓(xùn)練和測(cè)試的模型的評(píng)估結(jié)果，我們的方法優(yōu)于以前的方法，并從學(xué)習(xí)的內(nèi)建中獲益。

表3：深度估計(jì)的消融實(shí)驗(yàn)。 在所有實(shí)驗(yàn)中，訓(xùn)練集是Cityscapes（CS）和KITTI組合，我們分別在Cityscapes（CS）和KITTI（Eigen partition）上測(cè)試模型。 每行代表一個(gè)實(shí)驗(yàn)，其中與主方法相比進(jìn)行了一次更改，如“實(shí)驗(yàn)”行中所述。 數(shù)字越小越好。

除了這些定性的進(jìn)步，我們對(duì)我們的方法進(jìn)行了廣泛的定量評(píng)估，發(fā)現(xiàn)它在多個(gè)廣泛使用的基準(zhǔn)數(shù)據(jù)集上建立了一個(gè)新的技術(shù)狀態(tài)。將數(shù)據(jù)集集中在一起，這種方法大大提高了數(shù)據(jù)集的質(zhì)量。

最后，我們首次演示了可以在YouTube視頻上學(xué)習(xí)深度和相機(jī)內(nèi)在預(yù)測(cè)，這些視頻是使用多個(gè)不同的相機(jī)拍攝的，每個(gè)相機(jī)的內(nèi)建都是未知的，而且通常是不同的。