場(chǎng)景圖（ scenegraphs ， SGs ）在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)中都是一種可解釋的、結(jié)構(gòu)化的場(chǎng)景表示。場(chǎng)景圖總結(jié)了場(chǎng)景中的實(shí)體以及它們之間的合理關(guān)系。 SGs 在計(jì)算機(jī)視覺、機(jī)器人、自主車輛等領(lǐng)域有著廣泛的應(yīng)用。

當(dāng)前的 SG 生成技術(shù)依賴于昂貴的標(biāo)記數(shù)據(jù)集的有限可用性。合成數(shù)據(jù)是解決這個(gè)問題的一個(gè)可行的選擇，因?yàn)樽⑨尰旧鲜敲赓M(fèi)的。盡管合成數(shù)據(jù)已被用于圖像分類、目標(biāo)檢測(cè)和語(yǔ)義分割等多種任務(wù)，但合成數(shù)據(jù)用于 SG 生成和視覺關(guān)系仍有待探索。由于合成數(shù)據(jù)和真實(shí)數(shù)據(jù)在外觀和內(nèi)容上的差異，在有標(biāo)記的合成數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，在無(wú)標(biāo)記的真實(shí)數(shù)據(jù)上進(jìn)行評(píng)價(jià)，這就導(dǎo)致了領(lǐng)域差距問題。

圖 1 場(chǎng)景圖顯示場(chǎng)景中的各種對(duì)象，如車輛、植被、房屋以及它們之間的關(guān)系。

Sim2SG 框架

為了克服這些挑戰(zhàn)，我們提出了 Sim2SG ，一種可擴(kuò)展的 sim-To-real 場(chǎng)景圖生成技術(shù)。本研究的主要目的是通過在含有標(biāo)記 SG 信息的模擬數(shù)據(jù)集上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后將學(xué)習(xí)到的模型轉(zhuǎn)換到真實(shí)數(shù)據(jù)集上，從真實(shí)世界的圖像中生成場(chǎng)景圖。

在訓(xùn)練過程中， Sim2SG 處理域間隙并學(xué)習(xí)生成場(chǎng)景圖。域間隙可細(xì)分為以下間隙：

外觀間隙 是兩個(gè)域的外觀差異，例如場(chǎng)景中對(duì)象的紋理、顏色、光照或反射率的差異。

內(nèi)容差距 是指兩個(gè)域之間的差異，包括對(duì)象數(shù)量分布的差異及其類別、位置、姿勢(shì)和比例。

我們進(jìn)一步分析了內(nèi)容差距，并解決了其子組成部分 – 標(biāo)簽和預(yù)測(cè)差異。圖 1 顯示了 Sim2SG 為真實(shí)世界的駕駛數(shù)據(jù)集生成精確的場(chǎng)景圖，圖 2 顯示了整個(gè)管道。

圖 2 Sim2SG 管道工作流。

在圖 2 中， Sim2SG 管道將來自源域的帶標(biāo)記的合成數(shù)據(jù)和來自目標(biāo)域的未標(biāo)記的真實(shí)數(shù)據(jù)作為輸入。使用編碼器將標(biāo)記的合成數(shù)據(jù)和未標(biāo)記的真實(shí)數(shù)據(jù)映射到共享表示 Z 。然后，我們使用合成數(shù)據(jù)在 Z 上訓(xùn)練場(chǎng)景圖預(yù)測(cè)網(wǎng)絡(luò) h 。我們使用基于偽統(tǒng)計(jì)的自學(xué)習(xí)方法來處理標(biāo)簽差異，生成標(biāo)簽對(duì)齊的合成數(shù)據(jù)以供訓(xùn)練。我們進(jìn)一步利用梯度反轉(zhuǎn)層（ GRL ）和域鑒別器的對(duì)抗性技術(shù)來調(diào)整兩個(gè)域之間的預(yù)測(cè)差異和外觀差異。

定量評(píng)價(jià)

我們使用了四種類型：汽車、行人、植被和房屋，以及四種類型的關(guān)系：前、左、右和后。所有的關(guān)系都以汽車為主題。

表 1 在人工駕駛環(huán)境下訓(xùn)練時(shí)對(duì) KITTI hard 的評(píng)估。類特定的 AP 和 mAP 報(bào)告為 0 。 5iou 。

表 1 顯示了與基線相比，標(biāo)簽對(duì)齊和外觀對(duì)齊在所提出的方法中如何顯著地減少域間隙。我們將 Sim2SG 與基于隨機(jī)化的方法（ Prakash et al 。， 2019 ）、解決內(nèi)容差距的方法（ Kar et al 。， 2019 ）、基于偽標(biāo)簽的自學(xué)習(xí)方法（ Zou et al 。， 2018 ）和用于目標(biāo)檢測(cè)的域自適應(yīng)方法（ Chen et al 。， 2018 ； Xu et al 。， 2020 ； Li et al 。， 2020 ）進(jìn)行了比較。通過結(jié)合標(biāo)簽、外觀和預(yù)測(cè)對(duì)齊（最后一行），域間隙進(jìn)一步減小。

定性評(píng)價(jià)

圖 3 Sim2SG 在目標(biāo)域上的定性結(jié)果。

圖 3 顯示了 Sim2SG 在目標(biāo)域上的定性結(jié)果。第一列顯示僅源基線無(wú)法檢測(cè)到對(duì)象或具有大量誤報(bào)（錯(cuò)誤標(biāo)記），從而導(dǎo)致場(chǎng)景圖不佳。我們的方法能夠更好地檢測(cè)對(duì)象，具有更少的誤報(bào)，并最終生成更精確的場(chǎng)景圖，分別如第二列和第三列所示。這是因?yàn)橥庥^對(duì)齊項(xiàng)減少了假陽(yáng)性檢測(cè)。此外，標(biāo)簽對(duì)齊項(xiàng)還提高了檢測(cè)性能，因?yàn)樗兄谏捎糜谟?xùn)練的合成數(shù)據(jù)，這些數(shù)據(jù)與目標(biāo)域的標(biāo)簽對(duì)齊程度更高。圖 4 顯示了一些與目標(biāo)域樣本相對(duì)應(yīng)的標(biāo)簽對(duì)齊的合成重建。

圖4 基于標(biāo)簽對(duì)齊的駕駛環(huán)境中目標(biāo) KITTI 樣本的綜合重建?；贅悠罚ㄓ遥┖拖鄳?yīng)的合成樣品（左）。

概括

在這項(xiàng)工作中，我們提出了 Sim2SG ，一個(gè)模型，實(shí)現(xiàn)了 sim-to-real 轉(zhuǎn)移學(xué)習(xí)場(chǎng)景圖生成上未標(biāo)記的真實(shí)世界數(shù)據(jù)集。我們將域間隙分解為合成域和真實(shí)域之間的標(biāo)記、預(yù)測(cè)和外觀差異。我們提出了解決這些差異的方法，并在所有三種環(huán)境（ Clevr 、 dinning-Sim 和 Drive-Sim ）中實(shí)現(xiàn)了基線的顯著改進(jìn)。

關(guān)于作者

Aayush Prakash 是多倫多人工智能實(shí)驗(yàn)室的高級(jí)研究員。他的研究興趣在于機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的結(jié)合點(diǎn)。具體來說，他致力于模擬現(xiàn)實(shí)問題的感知。他想通過模擬訓(xùn)練有效的真實(shí)世界模型。在 NVIDIA 之前，他是多倫多 IBM 實(shí)驗(yàn)室的一員，在那里從事編譯器的工作，這是他過去一直感興趣的另一個(gè)領(lǐng)域。他于 2010 年畢業(yè)于印度哈拉格布爾印度理工學(xué)院（ IIT ），獲得電子 CTR 和電子 CTR 通信工程學(xué)士學(xué)位， 2013 年畢業(yè)于加拿大滑鐵盧大學(xué)計(jì)算機(jī)工程碩士學(xué)位。

Shoubhik Debnath 是 NVIDIA 的研發(fā)工程師，致力于機(jī)器人技術(shù)、仿真和深度學(xué)習(xí)。他于 2014 年畢業(yè)于印度曼迪印度理工學(xué)院（ IIT ）計(jì)算機(jī)科學(xué)與工程理學(xué)學(xué)士學(xué)位，并于 2018 年在南加州大學(xué) Gaurav Suhkatme 教授的指導(dǎo)下獲得計(jì)算機(jī)科學(xué)碩士學(xué)位，專注于機(jī)器人研究。此前， Shoubhik 還在微軟工作了兩年，專注于數(shù)據(jù)科學(xué)和基于云的技術(shù)。

Jean-Francois Lafleche 是一位充滿干勁和激情的工程師，熱愛用創(chuàng)新的解決方案解決復(fù)雜的挑戰(zhàn)。他是一個(gè)自學(xué)成才的終身學(xué)習(xí)者，擁有廣泛多樣的技能，專注于機(jī)器學(xué)習(xí)和機(jī)器人應(yīng)用。

Eric Cameracci 是滑鐵盧大學(xué)計(jì)算機(jī)工程專業(yè)的 2015 屆畢業(yè)生。

Gavriel State 是 NVIDIA 系統(tǒng)軟件團(tuán)隊(duì)的高級(jí)主管。他在多倫多工作，除了為 NVIDIA SHIELD TV 平臺(tái)重新制作游戲外，還負(fù)責(zé)將 AI 技術(shù)應(yīng)用于游戲，反之亦然。此前， Gavriel 成立了 TransGaming ， Inc ，并花了 15 年時(shí)間專注于游戲和渲染技術(shù)。

Marc T. Law 是 NVIDIA 的高級(jí)研究科學(xué)家，致力于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺。他在加拿大多倫多人工智能實(shí)驗(yàn)室工作，由 Sanja Fidler 教授領(lǐng)導(dǎo)。 2015 年，他獲得法國(guó)巴黎皮埃爾瑪麗居里大學(xué)（現(xiàn)為索邦大學(xué)）計(jì)算機(jī)科學(xué)博士學(xué)位。他的博士生導(dǎo)師是馬蒂厄·科德教授和斯蒂芬·甘薩爾斯基教授，他還受到尼古拉斯·托馬斯教授的指導(dǎo)。 Marc 曾于 2015 ~ 2016 年在卡內(nèi)基梅隆大學(xué)計(jì)算機(jī)學(xué)院任 Eric Xing 教授團(tuán)隊(duì)訪問研究學(xué)者。 2016 年至 2019 年，他在多倫多大學(xué)和向量研究所計(jì)算機(jī)科學(xué)系（機(jī)器學(xué)習(xí)組）擔(dān)任博士后研究員，由 Raquel Urtasun 教授和 Richard Zemel 教授指導(dǎo)。

審核編輯：郭婷