1介紹
我們的日常生活環(huán)境充滿了經(jīng)過(guò)精心設(shè)計(jì)的計(jì)算機(jī)輔助設(shè)計(jì)制造的物體。這使得在需要物理對(duì)象的副本或變體但相應(yīng)的CAD模型不可用的情況下,進(jìn)行逆向工程成為一個(gè)重要的工作流程。這種情況經(jīng)常發(fā)生在修復(fù)機(jī)械或?qū)⑶皵?shù)字時(shí)代制造的物體數(shù)字化時(shí)。為此,首先使用產(chǎn)生點(diǎn)云的3D傳感器掃描對(duì)象,然后將其分解為一組一致的基元或曲面,這些基元或曲面可由現(xiàn)有的形狀建模工具(如Fusion360 或SolidWorks)解析。這里也推薦「3D視覺(jué)工坊」新課程徹底搞懂基于Open3D的點(diǎn)云處理教程!》。
2主要貢獻(xiàn)
1.介紹了一種新的方法,將三維重建任務(wù)建模為一個(gè)擠出圓柱體分解問(wèn)題,使其非常適合CAD建模。2.構(gòu)建了一個(gè)神經(jīng)網(wǎng)絡(luò),通過(guò)學(xué)習(xí)幾何代理將輸入點(diǎn)云分解成一組擠壓筒,然后利用這些幾何代理估計(jì)可微的閉式公式中的擠壓參數(shù)。3.在兩個(gè)現(xiàn)有的CAD數(shù)據(jù)集Fusion Gallery 和DeepCAD上進(jìn)行了定量和定性的驗(yàn)證
3方法
3.1擠壓圓筒定義
在深入研究方法細(xì)節(jié)之前,首先定義“擠壓圓筒”,這是一種基元,它使我們能夠靈活地從任意閉環(huán)創(chuàng)建任何形狀,通過(guò)一系列布爾運(yùn)算組合它們,的定義如圖 3 所示。我們進(jìn)一步提出了封閉形式和可微分的公式來(lái)從點(diǎn)恢復(fù)擠出參數(shù)。定義1:定義了一個(gè)非自相交、有限面積、閉環(huán)和歸一化2D草圖 由一組點(diǎn)定義,函數(shù) q 將值范圍映射到實(shí)數(shù)線,而另一個(gè)函數(shù) p 則將實(shí)數(shù)線映射到 2D 空間,2D 草圖已歸一化,這意味著它已被縮放和平移,因此其邊界框的寬度和高度均為 1 個(gè)單位定義2:定義了包含的平面,以及中心 c 和沿軸的法線 e定義3:定義圓柱體E , s是草圖的縮放率定義4:將沿著擠壓圓筒表面的點(diǎn)分類為基點(diǎn)或筒點(diǎn)?;c(diǎn)是位于擠出圓筒任一范圍的平面上的點(diǎn),而筒點(diǎn)是位于沿著擠出圓筒“側(cè)面”的點(diǎn)。因此,基點(diǎn)/筒點(diǎn)的表面法線平行/垂直于擠出軸 e。對(duì)于任何與擠壓圓柱體 (pi 2 R3) E 邊界相關(guān)的點(diǎn),我們用 bi 表示該屬性。bi = 0 表示桶,bi = 1 表示底座。其中 ni 是在點(diǎn) pi 處計(jì)算的表面法線。公理1:對(duì)于擠壓筒上的一組點(diǎn),最佳擠壓軸由下式給出:其中,,而 Nbase ∈ RNbase×3 ? N 和 Nbarr ∈ RNbarr×3 ? N 表示屬于擠壓圓柱體的底座/桶點(diǎn)的相應(yīng)法線,通過(guò)H的最小特征值對(duì)應(yīng)的特征向量即可得到解。公理2:對(duì)于一般加權(quán)點(diǎn)集,最佳擠出軸由下式給出:其中:φbarr/φbase 分別表示分配給所有點(diǎn)的桶/基礎(chǔ)權(quán)重
3.2其他參數(shù)計(jì)算
我們首先定義一個(gè)運(yùn)算符 :,該運(yùn)算符通過(guò)將給定向量 e 與 z 軸對(duì)齊,將該點(diǎn)投影到 xy 平面上,然后將另一個(gè)向量 c 居中以原點(diǎn)為中心,將 3D 點(diǎn)映射到 2D 點(diǎn)草圖:將此運(yùn)算符應(yīng)用于擠出圓柱體的基點(diǎn),以獲得圓柱體的未歸一化草圖s拉伸比例:通過(guò)取草圖中最遠(yuǎn)的點(diǎn)到原點(diǎn)的距離來(lái)計(jì)算拉伸比例預(yù)測(cè)草圖表示,每個(gè)線段 k 的桶點(diǎn)投影到由 (? ck, ? ek) 定義的平面上并按 ? sk 縮放S歸一化草圖:使用拉伸比例和通過(guò)縮放未歸一化草圖獲得的歸一化草圖:會(huì)出現(xiàn)一些問(wèn)題:很難通過(guò)這些點(diǎn)去簡(jiǎn)單的擬合一個(gè)二維基元,很難保證輸出草圖是封閉的,并且不自相交,而且同一個(gè) 2D 草圖可能有多種基本近似值,這阻礙了可學(xué)習(xí)性c擠壓中心:通過(guò) P 的所有桶點(diǎn)的平均值來(lái)估計(jì)由于我們估計(jì)的擠壓軸是無(wú)方向的,因此我們通過(guò)從方程(4)中取絕對(duì)值的最大值來(lái)計(jì)算范圍,并在兩個(gè)方向上擠壓計(jì)算出的范圍,即:,
4構(gòu)建擠壓圓筒網(wǎng)絡(luò)
4.1問(wèn)題定義
(i)實(shí)例分割 :定義將每個(gè)點(diǎn)分配給某個(gè)片段 k{1 ...K} 的可能性,其中每個(gè)片段都是擠壓柱面(ii) 基礎(chǔ)桶分割:實(shí)例化為 ,表示桶點(diǎn),表示底座(iii) 表面法線 N ∈ RNX3對(duì)此,建立一個(gè)神經(jīng)網(wǎng)絡(luò)
4.1.1網(wǎng)絡(luò)細(xì)節(jié)
現(xiàn)在給定預(yù)測(cè)的幾何結(jié)果,M 緊湊且聯(lián)合地組合了點(diǎn) 1)是基點(diǎn)或桶,以及 2)屬于某個(gè)段的預(yù)測(cè)概率。然后,我們應(yīng)用行式 softmax 將 ^ M 轉(zhuǎn)換為行隨機(jī)矩陣,其第 i 行表示點(diǎn) pi 屬于 2K 類之一
4.1.2通過(guò)神經(jīng)網(wǎng)絡(luò)推斷草圖
使用編碼器函數(shù) fβ 將草圖的二維點(diǎn)云映射到全局的歸一化草圖潛在空間。編碼器函數(shù)生成的潛在代碼充當(dāng)解碼器函數(shù) S 的條件,該函數(shù)將 2D 點(diǎn) r 映射到其符號(hào)距離值到底層歸一化草圖。
解碼器:解碼器函數(shù)將 2D 空間中的一個(gè)點(diǎn)映射到底層歸一化草圖的有符號(hào)距離值該線段的點(diǎn)與地面真值草圖曲線之間的距離由一個(gè)隱式函數(shù)近似d 是 r 與線段 Sk 的地面真實(shí)草圖曲線之間的距離該方法涉及使用編碼器-解碼器架構(gòu),其中編碼器功能將二維點(diǎn)云映射到潛在空間,解碼器函數(shù)將二維空間中的一個(gè)點(diǎn)映射到其符號(hào)距離值到底層的歸一化草圖。
4.2訓(xùn)練
分割(seg)、基本點(diǎn)、桶點(diǎn)分類(bb)、法線(norm)和草圖組成的多任務(wù)非凸目標(biāo)來(lái)訓(xùn)練 G? 的參數(shù) ?正則化損失損失:1)預(yù)測(cè)法線和 GT 法線之間的絕對(duì)余弦距離進(jìn)行懲罰:2)分割損失3)4)草圖正則化損失
5實(shí)驗(yàn)結(jié)果
該圖顯示(從上到下)(1)輸入點(diǎn)云,(2)我們的預(yù)測(cè)分割,(3-5)相應(yīng)的一組擠壓圓柱體和(6)我們的最終重建。該圖還說(shuō)明了我們分解的各個(gè)擠出圓筒是由各種閉環(huán)產(chǎn)生的。這里也推薦「3D視覺(jué)工坊」新課程徹底搞懂基于Open3D的點(diǎn)云處理教程!》。
6.總結(jié)
Point2Cyl,用于將 3D CAD 模型逆向工程為 CAD 設(shè)計(jì)者可解釋和使用的基元。為了解決這個(gè)具有挑戰(zhàn)性的離散連續(xù)分解問(wèn)題,首先引入了擠壓缸并開發(fā)了其擬合點(diǎn)集的基礎(chǔ)。然后,提出了適合神經(jīng)架構(gòu)的可微分算法,該算法將點(diǎn)云劃分為一組擠壓缸。受益于一組代理預(yù)測(cè),這些預(yù)測(cè)被證明可以注入正確的幾何歸納偏差。與標(biāo)準(zhǔn)原始擬合相反,Point2Cyl 的輸出允許形狀變化,并且可以直接導(dǎo)入到現(xiàn)有的 CAD 建模器中,以進(jìn)行進(jìn)一步的重建、可視化和可重用性。
-
編碼器
+關(guān)注
關(guān)注
45文章
3794瀏覽量
137983 -
3D
+關(guān)注
關(guān)注
9文章
2959瀏覽量
110717 -
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103544 -
點(diǎn)云
+關(guān)注
關(guān)注
0文章
58瀏覽量
3959
原文標(biāo)題:CVPR2022 | 直接從點(diǎn)云提取3D基元
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
基于3D點(diǎn)云的多任務(wù)模型在板端實(shí)現(xiàn)高效部署

基于深度學(xué)習(xí)的方法在處理3D點(diǎn)云進(jìn)行缺陷分類應(yīng)用

如何同時(shí)獲取2d圖像序列和相應(yīng)的3d點(diǎn)云?
面向3D機(jī)器視覺(jué)應(yīng)用并采用DLP技術(shù)的精確點(diǎn)云生成參考設(shè)計(jì)
CVPR2022 人-物交互檢測(cè)中結(jié)構(gòu)感知轉(zhuǎn)換相關(guān)資料推薦
3D點(diǎn)云技術(shù)介紹及其與VR體驗(yàn)的關(guān)系
點(diǎn)云問(wèn)題的介紹及3D點(diǎn)云技術(shù)在VR中的應(yīng)用
關(guān)于3D點(diǎn)云針對(duì)失真的穩(wěn)健性的系統(tǒng)性研究
何為3D點(diǎn)云語(yǔ)義分割
如何直接建立2D圖像中的像素和3D點(diǎn)云中的點(diǎn)之間的對(duì)應(yīng)關(guān)系
如何試用MediaPipe實(shí)現(xiàn)人臉3D點(diǎn)云數(shù)據(jù)提取
3D點(diǎn)云數(shù)據(jù)集在3D數(shù)字化技術(shù)中的應(yīng)用
基于深度學(xué)習(xí)的3D點(diǎn)云實(shí)例分割方法

評(píng)論