2D圖像的三維重建是從一組2D圖像中創(chuàng)建對象或場景的三維模型的過程。這個技術(shù)廣泛應(yīng)用于計算機視覺、機器人技術(shù)和虛擬現(xiàn)實等領(lǐng)域。

在本文中，我們將解釋如何使用Python執(zhí)行從2D圖像到三維重建的過程。我們將使用TempleRing數(shù)據(jù)集作為示例，逐步演示這個過程。該數(shù)據(jù)集包含了在對象周圍的一個環(huán)上采樣的阿格里真托（Agrigento）“Dioskouroi神廟”復(fù)制品的47個視圖。

三維重建的關(guān)鍵概念

在深入了解如何使用Python從2D圖像執(zhí)行三維重建的詳細步驟之前，讓我們首先回顧一些與這個主題相關(guān)的關(guān)鍵概念。

深度圖

深度圖是一幅圖像，其中每個像素代表攝像機和場景中相應(yīng)點之間的距離。深度圖常用于計算機視覺和機器人技術(shù)中，用于表示場景的三維結(jié)構(gòu)。

有許多不同的方法可以從2D圖像計算深度圖，包括立體對應(yīng)、結(jié)構(gòu)光和飛行時間等。在本文中，我們將使用立體對應(yīng)來從示例數(shù)據(jù)集計算深度圖。

Point Cloud

點云是表示對象或場景形狀的三維空間中的一組點。點云常用于計算機視覺和機器人技術(shù)中，用于表示場景的三維結(jié)構(gòu)。

一旦我們計算出代表場景深度的深度圖，我們可以使用它來計算一個三維點云。這涉及使用有關(guān)攝像機內(nèi)部和外部參數(shù)的信息，將深度圖中的每個像素投影回三維空間。

網(wǎng)格

網(wǎng)格是一個由頂點、邊和面連接而成的表面表示。網(wǎng)格常用于計算機圖形學(xué)和虛擬現(xiàn)實中，用于表示對象或場景的形狀。

一旦我們計算出代表對象或場景形狀的三維點云，我們可以使用它來生成一個網(wǎng)格。這涉及使用諸如Marching Cubes或Poisson表面重建等算法，將表面擬合到點云上。

逐步實現(xiàn)

現(xiàn)在我們已經(jīng)回顧了與2D圖像的三維重建相關(guān)的一些關(guān)鍵概念，讓我們看看如何使用Python執(zhí)行這個過程。我們將使用TempleRing數(shù)據(jù)集作為示例，逐步演示這個過程。下面是一個執(zhí)行Temple Ring數(shù)據(jù)集中圖像的三維重建的示例代碼：

安裝庫：

pip install numpy scipy

導(dǎo)入庫：

#importing libraries 
import cv2
import numpy as np
import matplotlib.pyplot as plt
import os

加載TempleRing數(shù)據(jù)集的圖像：

# Directory containing the dataset images
dataset_dir = '/content/drive/MyDrive/templeRing'

# Initialize the list to store images
images = []# Attempt to load the grayscale images and store them in the list
for i in range(1, 48):  # Assuming images are named templeR0001.png to templeR0047.png
    img_path = os.path.join(dataset_dir, f'templeR{i:04d}.png')
    img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
    if img is not None:
        images.append(img)
    else:
        print(f"Warning: Unable to load 'templeR{i:04d}.png'")# Visualize the input images
num_rows = 5  # Specify the number of rows
num_cols = 10  # Specify the number of columns
fig, axs = plt.subplots(num_rows, num_cols, figsize=(15, 8))# Loop through the images and display them
for i, img in enumerate(images):
    row_index = i // num_cols  # Calculate the row index for the subplot
    col_index = i % num_cols   # Calculate the column index for the subplot
    axs[row_index, col_index].imshow(img, cmap='gray')
    axs[row_index, col_index].axis('off')# Fill any remaining empty subplots with a white background
for i in range(len(images), num_rows * num_cols):
    row_index = i // num_cols
    col_index = i % num_cols
    axs[row_index, col_index].axis('off')plt.show()

解釋：這段代碼加載灰度圖像序列，將它們排列在網(wǎng)格布局中，并使用matplotlib顯示它們。

為每個圖像計算深度圖：

# Directory containing the dataset images
dataset_dir = '/content/drive/MyDrive/templeRing'

# Initialize the list to store images
images = []# Attempt to load the grayscale images and store them in the list
for i in range(1, 48):  # Assuming images are named templeR0001.png to templeR0047.png
    img_path = os.path.join(dataset_dir, f'templeR{i:04d}.png')
    img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)
    if img is not None:
        images.append(img)
    else:
        print(f"Warning: Unable to load 'templeR{i:04d}.png'")# Initialize the list to store depth maps
depth_maps = []# Create a StereoBM object with your preferred parameters
stereo = cv2.StereoBM_create(numDisparities=16, blockSize=15)# Loop through the images to calculate depth maps
for img in images:
    # Compute the depth map
    disparity = stereo.compute(img, img)    # Normalize the disparity map for visualization
    disparity_normalized = cv2.normalize(
        disparity, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U)    # Append the normalized disparity map to the list of depth maps
    depth_maps.append(disparity_normalized)# Visualize all the depth maps
num_rows = 5  # Specify the number of rows
num_cols = 10  # Specify the number of columns
fig, axs = plt.subplots(num_rows, num_cols, figsize=(15, 8))for i, depth_map in enumerate(depth_maps):
    row_index = i // num_cols  # Calculate the row index for the subplot
    col_index = i % num_cols   # Calculate the column index for the subplot
    axs[row_index, col_index].imshow(depth_map, cmap='jet')
    axs[row_index, col_index].axis('off')# Fill any remaining empty subplots with a white background
for i in range(len(depth_maps), num_rows * num_cols):
    row_index = i // num_cols
    col_index = i % num_cols
    axs[row_index, col_index].axis('off')plt.show()

解釋：這段代碼負責使用Stereo Block Matching（StereoBM）算法從一系列立體圖像中計算深度圖。它遍歷灰度立體圖像列表，并為每一對相鄰圖像計算深度圖。

可視化每個圖像的深度圖：

# Initialize an accumulator for the sum of depth maps
sum_depth_map = np.zeros_like(depth_maps[0], dtype=np.float64)

# Compute the sum of all depth maps
for depth_map in depth_maps:
    sum_depth_map += depth_map.astype(np.float64)
# Calculate the mean depth map by dividing the sum by the number of depth maps
mean_depth_map = (sum_depth_map / len(depth_maps)).astype(np.uint8)
# Display the mean depth map
plt.figure(figsize=(8, 6))
plt.imshow(mean_depth_map, cmap='jet')
plt.title('Mean Depth Map')
plt.axis('off')
plt.show()

輸出：

解釋：這段代碼通過累加深度圖來計算平均深度圖。然后，通過將總和除以深度圖的數(shù)量來計算平均值。最后，使用jet顏色圖譜顯示平均深度圖以進行可視化。

從平均深度圖計算三維點云

# Initialize an accumulator for the sum of depth maps
sum_depth_map=np.zeros_like(depth_maps[0],dtype=np.float64)

# Compute the sum of all depth maps
for depth_map in depth_maps:
    sum_depth_map += depth_map.astype(np.float64)# Calculate the mean depth map by dividing the sum by the number of depth maps
mean_depth_map = (sum_depth_map / len(depth_maps)).astype(np.uint8)# Display the mean depth map
plt.figure(figsize=(8, 6))
plt.imshow(mean_depth_map, cmap='jet')
plt.title('Mean Depth Map')
plt.axis('off')
plt.show()

解釋：這段代碼通過對深度圖進行累加來計算平均深度圖。然后，通過將總和除以深度圖的數(shù)量來計算平均值。最后，使用Jet顏色映射來可視化顯示平均深度圖。

計算平均深度圖的三維點云

#converting into point cloud 
points_3D = cv2.reprojectImageTo3D(mean_depth_map.astype(np.float32), np.eye(4))

解釋：該代碼將包含點云中點的三維坐標，并且您可以使用這些坐標進行三維重建。

從點云生成網(wǎng)格

安裝庫

!pip install numpy scipy

導(dǎo)入庫

#importing libraries 
from scipy.spatial import Delaunay
from skimage import measure
from skimage.measure import marching_cubes

生成網(wǎng)格

verts, faces, normals, values = measure.marching_cubes(points_3D)

解釋：該代碼將Marching Cubes算法應(yīng)用于3D點云以生成網(wǎng)格。它返回定義結(jié)果3D網(wǎng)格的頂點、面、頂點法線和標量值。

可視化網(wǎng)格

fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
ax.plot_trisurf(verts[:, 0], verts[:, 1], verts[:, 2], triangles=faces)
plt.show()

輸出：

解釋：該代碼使用matplotlib可視化網(wǎng)格。它創(chuàng)建一個3D圖并使用ax.plot_trisurf方法將網(wǎng)格添加到其中。

這段代碼從Temple Ring數(shù)據(jù)集加載圖像，并使用塊匹配（block matching）進行每個圖像的深度圖計算，然后通過平均所有深度圖來計算平均深度圖，并使用它來計算每個像素的三維點云。最后，它使用Marching Cubes算法從點云生成網(wǎng)格并進行可視化。

結(jié)果比較

# importing the libraries
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# Create a figure with two subplots
fig, axs = plt.subplots(1, 2, figsize=(10, 5))# Visualize the original image in the first subplot
axs[0].imshow(images[0], cmap='gray')
axs[0].axis('off')
axs[0].set_title('Original')# Visualize the reconstructed mesh in the second subplot
ax = fig.add_subplot(1, 2, 2, projection='3d')
ax.plot_trisurf(verts[:, 0], verts[:, 1], verts[:, 2], triangles=faces)
ax.set_title('Reconstructed')# Show the figure
plt.show()

解釋：在此代碼中，使用matplotlib創(chuàng)建了包含兩個子圖的圖形。在第一個圖中，顯示了來自數(shù)據(jù)集的原始圖像。在第二個圖中，使用3D三角形表面圖可視化了重建的3D網(wǎng)格。

方法2

以下是執(zhí)行來自TempleRing數(shù)據(jù)集圖像的3D重建的另一個示例代碼：

引入模塊：

import cv2
import numpy as np
import matplotlib.pyplot as plt
from google.colab.patches import cv2_imshow

加載兩個Temple Ring數(shù)據(jù)集圖像：

# Load the PNG images (replace with your actual file paths)
image1 = cv2.imread('/content/drive/MyDrive/templeRing/templeR0001.png')
image2 = cv2.imread('/content/drive/MyDrive/templeRing/templeR0002.png'

解釋：該代碼使用OpenCV的cv2.imread函數(shù)從TempleRing數(shù)據(jù)集加載兩個圖像。

轉(zhuǎn)換為灰度圖：

# Convert images to grayscale
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

該代碼使用OpenCV將兩個圖像轉(zhuǎn)換為灰度圖像。它們以單通道表示，其中每個像素的值表示其強度，并且沒有顏色通道。

查找SIFT關(guān)鍵點和描述符：

# Initialize the SIFT detector
sift = cv2.SIFT_create()

# Detect keypoints and compute descriptors for both images
kp1, des1 = sift.detectAndCompute(gray1, None)
kp2, des2 = sift.detectAndCompute(gray2, None)

該代碼使用尺度不變特征變換（SIFT）算法在兩個圖像中查找關(guān)鍵點和描述符。它使用OpenCV的cv2.SIFT_create()函數(shù)創(chuàng)建一個SIFT對象，并調(diào)用其detectAndCompute方法來計算關(guān)鍵點和描述符。

使用FLANN匹配器匹配描述符：

# Create a FLANN-based Matcher object
flann = cv2.FlannBasedMatcher({'algorithm': 0, 'trees': 5}, {})

# Match the descriptors using KNN (k-nearest neighbors)
matches = flann.knnMatch(des1, des2, k=2)

解釋：該代碼使用Fast Library for Approximate Nearest Neighbors（FLANN）匹配器對描述符進行匹配。它使用OpenCV的cv2.FlannBasedMatcher函數(shù)創(chuàng)建FLANN匹配器對象，并調(diào)用其knnMatch方法來找到每個描述符的k個最近鄰。

使用Lowe的比率測試篩選出好的匹配項

# Apply Lowe's ratio test to select good matches
good_matches = []
for m, n in matches:
    if m.distance < 0.7 * n.distance:
        good_matches.append(m)

解釋：該代碼使用Lowe的比率測試篩選出好的匹配項。它使用最近鄰和次近鄰之間距離比的閾值來確定匹配是否良好。

提取匹配的關(guān)鍵點

# Extract matched keypoints
src_pts = np.float32(
    [kp1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32(
    [kp2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

解釋：該代碼從兩組關(guān)鍵點中提取匹配的關(guān)鍵點，這些關(guān)鍵點將用于估算對齊兩個圖像的變換。這些關(guān)鍵點的坐標存儲在'src_pts'和'dst_pts'中。

使用RANSAC找到單應(yīng)矩陣

# Find the homography matrix using RANSAC
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

在這段代碼中，它使用RANSAC算法基于匹配的關(guān)鍵點計算描述兩個圖像之間的變換的單應(yīng)矩陣。單應(yīng)矩陣后來可以用于拉伸或變換一個圖像，使其與另一個圖像對齊。

使用單應(yīng)矩陣將第一個圖像進行變換

# Perform perspective transformation to warp image1 onto image2
height, width = image2.shape[:2]
result = cv2.warpPerspective(image1, H, (width, height))

# Display the result
cv2_imshow(result)

解釋：該代碼使用單應(yīng)矩陣和OpenCV的cv2.warpPerspective函數(shù)將第一個圖像進行變換。它指定輸出圖像的大小足夠大，可以容納兩個圖像，然后呈現(xiàn)結(jié)果圖像。

顯示原始圖像和重建圖像

# Display the original images and the reconstructed image side by side
fig, (ax1, ax2, ax3) = plt.subplots(1, 3, figsize=(12, 4))
ax1.imshow(cv2.cvtColor(image1, cv2.COLOR_BGR2RGB))
ax1.set_title('Image 1')
ax1.axis('off')
ax2.imshow(cv2.cvtColor(image2, cv2.COLOR_BGR2RGB))
ax2.set_title('Image 2')
ax2.axis('off')
ax3.imshow(cv2.cvtColor(result, cv2.COLOR_BGR2RGB))
ax3.set_title('Reconstructed Image')
ax3.axis('off')

plt.show()

輸出：

解釋：這段代碼展示了在一個具有三個子圖的單一圖形中可視化原始圖像和重建圖像的過程。它使用matplotlib庫顯示圖像，并為每個子圖設(shè)置標題和軸屬性。

不同的可能方法

有許多不同的方法和算法可用于從2D圖像執(zhí)行3D重建。選擇的方法取決于諸如輸入圖像的質(zhì)量、攝像機校準信息的可用性以及重建的期望準確性和速度等因素。

一些常見的從2D圖像執(zhí)行3D重建的方法包括立體對應(yīng)、運動結(jié)構(gòu)和多視圖立體。每種方法都有其優(yōu)點和缺點，對于特定應(yīng)用來說，最佳方法取決于具體的要求和約束。

結(jié)論

總的來說，本文概述了使用Python從2D圖像進行3D重建的過程。我們討論了深度圖、點云和網(wǎng)格等關(guān)鍵概念，并使用TempleRing數(shù)據(jù)集演示了使用兩種不同方法逐步進行的過程。我們希望本文能幫助您更好地理解從2D圖像進行3D重建以及如何使用Python實現(xiàn)這一過程。有許多可用于執(zhí)行3D重建的不同方法和算法，我們鼓勵您進行實驗和探索，以找到最適合您需求的方法。

審核編輯：黃飛