計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域的核心問(wèn)題是3D 物體的位置與方向的估計(jì)，這與對(duì)象感知有關(guān)（如增強(qiáng)現(xiàn)實(shí)和機(jī)器人操作）。在這類(lèi)應(yīng)用中，需要知道物體在真實(shí)世界中的 3D 位置，以便直接對(duì)物體進(jìn)行操作或在其四周正確放置模擬物。

圍繞這一主題已有大量研究，但此類(lèi)研究雖然采用了機(jī)器學(xué)習(xí) (ML) 技術(shù)，特別是 Deep Nets，但直接測(cè)量與物體的距離大多依賴(lài)于 Kinect 等深度感應(yīng)設(shè)備。而對(duì)于表面有光澤或透明的物體，直接采用深度感應(yīng)難以發(fā)揮作用。例如，下圖包括許多物體（左圖），其中兩個(gè)是透明的星星。深度感應(yīng)設(shè)備無(wú)法很好的為星星測(cè)量深度值，因此難以重建 3D 點(diǎn)云效果圖（右圖）。

Deep Nets
https://arxiv.org/abs/1901.04780

左圖：透明物體的 RGB 圖像；右圖：左側(cè)場(chǎng)景的深度重建效果四格圖，上排為深度圖像，下排為 3D 點(diǎn)云，左側(cè)圖格采用深度相機(jī)重建，右側(cè)圖格是 ClearGrasp 模型的輸出。需要注意的是，雖然 ClearGrasp 修復(fù)了星星的深度，但它卻錯(cuò)誤地識(shí)別了最右邊星星的實(shí)際深度

要解決這個(gè)問(wèn)題，可以使用深度神經(jīng)網(wǎng)絡(luò)來(lái)修復(fù) (Inpainting) 透明物體的錯(cuò)誤深度圖，例如使用 ClearGrasp 提出的方法：給定透明物體的單個(gè) RGB-D 圖像，ClearGrasp 使用深度卷積網(wǎng)絡(luò)推斷透明表面法線、遮擋和遮擋邊界，然后通過(guò)這些信息完善場(chǎng)景中所有透明表面的初始深度估計(jì)（上圖最右）。這種方法很有前景，可以通過(guò)依賴(lài)深度的位置姿態(tài)估計(jì)方法處理具有透明物體的場(chǎng)景。但是修復(fù)可能會(huì)比較棘手，仍然可能導(dǎo)致深度錯(cuò)誤，尤其是完全使用合成圖像進(jìn)行訓(xùn)練的情況。

我們與斯坦福大學(xué) AI 實(shí)驗(yàn)室在 CVPR 2020 上合作發(fā)表了“KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects”，論文描述了直接通過(guò)預(yù)測(cè) 3D 關(guān)鍵點(diǎn)來(lái)估計(jì)透明物體深度的 ML 系統(tǒng)。為了訓(xùn)練該系統(tǒng)，我們以半自動(dòng)化方式收集了真實(shí)世界中透明物體圖像的大型數(shù)據(jù)集，并使用人工選擇的 3D 關(guān)鍵點(diǎn)標(biāo)記有效姿態(tài)。然后開(kāi)始訓(xùn)練深度模型（稱(chēng)為 KeyPose），從單目或立體圖像中估計(jì)端到端 3D 關(guān)鍵點(diǎn)，而不明確計(jì)算深度。

論文
https://openaccess.thecvf.com/content_CVPR_2020/html/Liu_KeyPose_Multi-View_3D_Labeling_and_Keypoint_Estimation_for_Transparent_Objects_CVPR_2020_paper.html

在訓(xùn)練期間，模型在見(jiàn)過(guò)和未見(jiàn)過(guò)的物體上運(yùn)行，無(wú)論是單個(gè)物體還是幾類(lèi)物體。雖然 KeyPose 可以處理單目圖像，但立體圖像提供的額外信息使其結(jié)果提高了兩倍，根據(jù)物體不同，典型誤差在 5 毫米至 10 毫米之間。它對(duì)這些物體的姿態(tài)預(yù)測(cè)遠(yuǎn)高于當(dāng)前最先進(jìn)水平，即使其他方法帶有地面真實(shí)深度。我們將發(fā)布關(guān)鍵點(diǎn)標(biāo)記的透明物體數(shù)據(jù)集，供研究界使用。

關(guān)鍵點(diǎn)標(biāo)記的透明物體數(shù)據(jù)集
https://sites.google.com/corp/view/transparent-objects

透明物體數(shù)據(jù)集

為了方便收集大量真實(shí)世界圖像，我們建立了一個(gè)機(jī)器人數(shù)據(jù)收集系統(tǒng)。系統(tǒng)的機(jī)械臂通過(guò)軌跡移動(dòng)，同時(shí)使用立體攝像頭和 Kinect Azure 深度攝像頭拍攝視頻。

使用帶有立體攝像頭和 Azure Kinect 設(shè)備的機(jī)械臂自動(dòng)捕捉圖像序列

目標(biāo)上的 AprilTags 可以讓攝像頭準(zhǔn)確跟蹤姿態(tài)。通過(guò)人工標(biāo)記每個(gè)視頻中少量圖像 2D 關(guān)鍵點(diǎn)，我們可以使用多視角幾何圖形為視頻的所有幀提取 3D 關(guān)鍵點(diǎn)，將標(biāo)記效率提高 100 倍。

我們捕捉了五種類(lèi)別的 15 個(gè)不同透明物體的圖像，對(duì)每個(gè)物體使用 10 種不同的背景紋理和 4 種不同的姿勢(shì)，總計(jì)生成 600 個(gè)視頻序列，包括 4.8 萬(wàn)個(gè)立體和深度圖像。我們還用不透明版本的物體捕捉了相同的圖像，以提供準(zhǔn)確的深度圖像。所有圖像都標(biāo)有 3D 關(guān)鍵點(diǎn)。我們將公開(kāi)發(fā)布這一真實(shí)世界圖像數(shù)據(jù)集，為 ClearGrasp 合成數(shù)據(jù)集提供補(bǔ)充。

真實(shí)世界圖像數(shù)據(jù)集
https://sites.google.com/corp/view/transparent-objects

使用前期融合立體的 KeyPose 算法

針對(duì)關(guān)鍵點(diǎn)估計(jì)，本項(xiàng)目獨(dú)立開(kāi)發(fā)出直接使用立體圖像的概念；這一概念最近也出現(xiàn)在手動(dòng)跟蹤的環(huán)境下。下圖為基本思路：來(lái)自立體攝像頭的兩張圖像的物體被裁剪并饋送到 KeyPose 網(wǎng)絡(luò)，該網(wǎng)絡(luò)預(yù)測(cè)一組稀疏的 3D 關(guān)鍵點(diǎn)，代表物體的 3D 姿態(tài)。KeyPose 網(wǎng)絡(luò)使用 3D 關(guān)鍵點(diǎn)標(biāo)記完成監(jiān)督訓(xùn)練。

手動(dòng)跟蹤
https://bmvc2019.org/wp-content/uploads/papers/0219-paper.pdf

立體 KeyPose 的一個(gè)關(guān)鍵是使用允許網(wǎng)絡(luò)隱式計(jì)算視差的前期融合來(lái)混合立體圖像，與后期融合不同。后期融合是分別預(yù)測(cè)每個(gè)圖像的關(guān)鍵點(diǎn)，然后再進(jìn)行組合。如下圖所示，KeyPose 的輸出圖像在平面上是 2D 關(guān)鍵點(diǎn)熱力圖，以及每個(gè)關(guān)鍵點(diǎn)的視差（即逆深度）熱力圖。這兩張熱力圖的組合會(huì)為每個(gè)關(guān)鍵點(diǎn)生成關(guān)鍵點(diǎn) 3D 坐標(biāo)。

Keypose 系統(tǒng)圖：立體圖像被傳遞到 CNN 模型，為每個(gè)關(guān)鍵點(diǎn)生成概率熱力圖。此熱力圖輸出關(guān)鍵點(diǎn)的 2D 圖像坐標(biāo) (U,V)。CNN 模型還為每個(gè)關(guān)鍵點(diǎn)生成一個(gè)視差（逆深度）熱力圖，與 (U,V) 坐標(biāo)結(jié)合時(shí)，可以給出 3D 位置 (X,Y,Z)

相較于后期融合或單目輸入，前期融合立體通常可以達(dá)到兩倍的準(zhǔn)確率。

結(jié)果

下圖顯示了 KeyPose 對(duì)單個(gè)物體的定性結(jié)果。左側(cè)是一個(gè)原始立體圖像，中間是投射到圖像上的預(yù)測(cè) 3D 關(guān)鍵點(diǎn)。在右側(cè)，我們將 3D 瓶子模型中的點(diǎn)可視化，并放置在由預(yù)測(cè) 3D 關(guān)鍵點(diǎn)確定的姿態(tài)上。該網(wǎng)絡(luò)高效準(zhǔn)確，在標(biāo)準(zhǔn) GPU 上僅用 5 ms 的時(shí)間就預(yù)測(cè)出瓶子的 5.2 mm MAE (Mean Absolute Error) 和杯子的 10.1 mm MAE 關(guān)鍵點(diǎn)。

下表為 KeyPose 類(lèi)別級(jí)別估計(jì)的結(jié)果。測(cè)試集使用了訓(xùn)練集未見(jiàn)過(guò)的背景紋理。注意，MAE 從 5.8 mm 到 9.9 mm 不等，這表明該方法的準(zhǔn)確率非常高。

在類(lèi)別級(jí)別數(shù)據(jù)上，KeyPose 與最先進(jìn)的 DenseFusion 系統(tǒng)進(jìn)行定量比較。我們?yōu)?DenseFusion 提供了兩個(gè)版本的深度：透明物體與不透明物體。<2cm是誤差小于 2cm 的估計(jì)百分比。MAE是關(guān)鍵點(diǎn)的平均絕對(duì)誤差，以 mm 為單位。

DenseFusion
https://arxiv.org/abs/1901.04780

有關(guān)定量結(jié)果以及消融研究的完整說(shuō)明，請(qǐng)參見(jiàn)論文和補(bǔ)充材料以及 KeyPose 網(wǎng)站。

論文和補(bǔ)充材料
https://openaccess.thecvf.com/content_CVPR_2020/html/Liu_KeyPose_Multi-View_3D_Labeling_and_Keypoint_Estimation_for_Transparent_Objects_CVPR_2020_paper.html

KeyPose 網(wǎng)站
https://sites.google.com/corp/view/keypose/

結(jié)論

該研究表明，在不依賴(lài)深度圖像的情況下，從 RGB 圖像中可以準(zhǔn)確估計(jì)透明物體的 3D 姿態(tài)。經(jīng)過(guò)驗(yàn)證，立體圖像可以作為前期融合 Deep Net 的輸入。在其中，網(wǎng)絡(luò)被訓(xùn)練為直接從立體對(duì)中提取稀疏 3D 關(guān)鍵點(diǎn)。我們希望提供廣泛的帶標(biāo)簽透明物體數(shù)據(jù)集，推動(dòng)這一領(lǐng)域的發(fā)展。最后，盡管我們使用半自動(dòng)方法對(duì)數(shù)據(jù)集進(jìn)行了有效標(biāo)記，但我們希望在以后的工作中能夠采用自監(jiān)督方法來(lái)消除人工標(biāo)記。

致謝

感謝合著者：斯坦福大學(xué)的 Xingyu Liu 以及 Rico Jonschkowski 和 Anelia Angelova；以及在項(xiàng)目和論文撰寫(xiě)過(guò)程中，與我們一起討論并為我們提供幫助的人，包括 Andy Zheng、Suran Song、Vincent Vanhoucke、Pete Florence 和 Jonathan Tompson。

原文標(biāo)題：機(jī)器人收集 + Keypose 算法：準(zhǔn)確估計(jì)透明物體的 3D 姿態(tài)

文章出處：【微信公眾號(hào)：TensorFlow】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。