這個(gè)教程將帶你使用自己的手機(jī)攝像頭和圖片實(shí)現(xiàn)從零開始到點(diǎn)云。

這是一個(gè)由3部分組成的系列文章。 我注意到，其他大多數(shù)關(guān)于三維重建的教程都在某種程度上有點(diǎn)欠缺。別誤會(huì)，我認(rèn)為它們是十分優(yōu)秀的成果，但是在某種程度上它們是支離破碎的，或者它們當(dāng)中有一部分過(guò)于深入地研究理論，或者兩者兼而有之。 更糟糕的是，他們使用專門的數(shù)據(jù)集（如Tsukuba），這就會(huì)造成對(duì)一些數(shù)據(jù)集之外的任何東西在使用這種算法時(shí)，因?yàn)閰?shù)調(diào)微調(diào)會(huì)產(chǎn)生一些麻煩。 我相信三維重建（廣義的計(jì)算機(jī)視覺(jué)）最酷的事情是重建你周圍的世界，而不是別人的世界（比如數(shù)據(jù)集中的世界）。本教程是一個(gè)初步的嘗試，旨在幫助您使用OpenCV的強(qiáng)大功能重新創(chuàng)建自己的世界。 簡(jiǎn)單地說(shuō)，這個(gè)教程將帶你使用自己的手機(jī)攝像頭和圖片實(shí)現(xiàn)從零開始到點(diǎn)云。所以，廢話不多說(shuō)，讓我們開始吧。 注意 為了避免寫一篇非常長(zhǎng)的文章，本教程分為三個(gè)部分。 第1部分（理論和需求）：概述了一個(gè)非常簡(jiǎn)單的立體三維重建所需要的步驟。 第2部分（相機(jī)校正）：包括用代碼校正你相機(jī)的基礎(chǔ)設(shè)置/知識(shí)。 第3部分（視差圖和點(diǎn)云）：介紹了重建圖片基礎(chǔ)知識(shí)利用前面用代碼標(biāo)定過(guò)的相機(jī)。 三維重建所需的步驟 有很多方法可以重建周圍的世界，但都可以歸結(jié)為需要得到一張準(zhǔn)確的深度圖。 深度圖中的每一個(gè)像素都表示的是深度信息（而不是顏色信息）。它一般都是用灰度圖的形式展現(xiàn)出來(lái)。

Tsukuba 數(shù)據(jù)集的深度圖。由OpenCV提供 如前所述，獲取一張深度圖有很多不同的方法，而這些方法都取決于所使用的傳感器。一種傳感器可以是一個(gè)簡(jiǎn)單的攝像機(jī)（從現(xiàn)在起在我們將稱為RGB攝像機(jī)），但也可以使用其他傳感器，如激光雷達(dá)或紅外線或兩者的組合。 傳感器的類型將決定深度圖的精準(zhǔn)程度。根據(jù)精確度從大到小排列依次是激光雷達(dá)>紅外線>相機(jī)。深度圖也可以著色以更好的顯示深度。

我的Kinect相機(jī)自拍圖 根據(jù)所用傳感器的類型，實(shí)際獲取深度圖需要的步驟或多或少。例如，Kinect相機(jī)使用結(jié)合了RGB相機(jī)和紅外傳感器，因此您可以立即獲得一張深度圖（因?yàn)樗怯杉t外傳感器處理的信息）。 但是，如果您除了手機(jī)攝像頭之外什么都沒(méi)有，該怎么辦？在這種情況下，您需要進(jìn)行立體重建。立體重建和使用您的大腦和眼睛用來(lái)實(shí)際理解深度的原理是一樣的。 其要點(diǎn)在于從兩個(gè)不同的角度看同一張圖片，并在兩張圖片中尋找相同的事物，并從位置的差異推斷出深度。這稱為立體匹配。 為了進(jìn)行立體匹配，重要的是使兩張圖片具有完全相同的特征。換一種說(shuō)法，兩張照片都不應(yīng)該有任何失真。這是一個(gè)問(wèn)題，因?yàn)榇蠖鄶?shù)相機(jī)的鏡頭會(huì)導(dǎo)致不同程度的畸變。這意味著為了精確地進(jìn)行立體匹配，需要知道相機(jī)的光學(xué)中心和焦距。 在大多數(shù)情況下，這些信息是未知的（尤其是對(duì)于您的手機(jī)攝像頭），這就是為什么立體3D重建需要以下步驟的主要原因： 1. 相機(jī)校正：使用一組圖像推斷相機(jī)的焦距和光學(xué)中心 2. 圖像畸變：去除重建要用到的圖像中的鏡頭畸變 3. 特征匹配：在兩張圖片之間尋找相似的特征并構(gòu)建深度圖 4. 重投影點(diǎn)：使用深度映射將像素重投影到三維空間中。 5. 構(gòu)建點(diǎn)云：生成一個(gè)包含三維空間中的點(diǎn)的新文件以進(jìn)行可視化。 6. 構(gòu)建網(wǎng)格以獲得實(shí)際的三維模型（不在本教程的范圍內(nèi)，但很快將在其他教程中提供） 步驟1只需執(zhí)行一次，除非更換攝像機(jī)。而每次你獲得一對(duì)新照片時(shí)，都需要重新執(zhí)行一遍第2-5步……大概就是這樣子。 實(shí)際的數(shù)學(xué)理論（為什么）要復(fù)雜得多，但是在本教程之后，它將更容易處理和理解，因?yàn)槟銓⒃陂喿x完本文之后獲取一個(gè)實(shí)例，你可以進(jìn)行各種的實(shí)驗(yàn)。 在下一部分中，我們將探討如何實(shí)際校準(zhǔn)手機(jī)攝像頭，以及一些校準(zhǔn)的最佳實(shí)踐操作。

責(zé)任編輯：lq