01 前言

雙目相機(jī)標(biāo)定，從廣義上講，其實(shí)它包含兩個(gè)部分內(nèi)容：

兩臺(tái)相機(jī)各自誤差的標(biāo)定（單目標(biāo)定）

兩臺(tái)相機(jī)之間相互位置的標(biāo)定（狹義，雙目標(biāo)定）

在這里我們所說(shuō)的雙目標(biāo)定是狹義的，講解理論的時(shí)候僅指兩臺(tái)相機(jī)之間相互位置的標(biāo)定，在代碼實(shí)踐的時(shí)候，我們才說(shuō)完整的雙目標(biāo)定。 首先來(lái)思考一個(gè)問(wèn)題：為什么要進(jìn)行雙目標(biāo)定？

這是因?yàn)樵谠S多三維重建算法中，我們都要知道兩臺(tái)相機(jī)之間的相對(duì)位置關(guān)系，這樣才能進(jìn)行距離計(jì)算。

雙目標(biāo)定前后，雙目模型對(duì)比如下圖所示：



圖1 標(biāo)定模型 [1] 其中：

基線：兩個(gè)光心的連線稱為基線；

極平面：物點(diǎn)（空間點(diǎn)M）與兩個(gè)光心的連線構(gòu)成的平面稱為極平面；

極線：極平面與成像平面的交線

極點(diǎn)：極線的一端，基線與像平面的交點(diǎn)

像點(diǎn)：極線的一端，光心與物點(diǎn)連線與像平面的交點(diǎn)；

可以看出：

校正前，相機(jī)的光心不是相互平行的

校正后，極點(diǎn)在無(wú)窮遠(yuǎn)處，兩個(gè)相機(jī)的光軸平行，像點(diǎn)在左右圖像上的高度一致

標(biāo)定+校正后圖片：



圖1 立體校正后左右相機(jī)圖像發(fā)生一定扭曲 [2] 這樣的好處是：比如后續(xù)的立體匹配時(shí)，只需在同一行上搜索左右像平面的匹配點(diǎn)即可，能使效率大大提高。

注：可以看出來(lái)，最重要的，我們要知道右相機(jī)相對(duì)于左相機(jī)的位姿關(guān)系，那我們才可以做校正！

02 單目理論回顧

先來(lái)回顧下單目標(biāo)定理論，理想的單目相機(jī)模型可以簡(jiǎn)化為（圖片來(lái)自于[1]）：



而四大坐標(biāo)系，包括世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系，它們之間的轉(zhuǎn)換關(guān)系如下：



最終，從理想的相機(jī)模型，從世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換關(guān)系：



但由于制造原因，使得成像過(guò)程（從相機(jī)坐標(biāo)系到圖像坐標(biāo)系轉(zhuǎn)換過(guò)程中）存在著畸變，主要有兩類，徑向畸變和切向畸變，它們可以通過(guò)以下公式進(jìn)行修正：

03 雙目標(biāo)定公式推導(dǎo)

圖3 標(biāo)定模型 [2] 記：

另外，右相機(jī)主點(diǎn)相對(duì)于左相機(jī)主點(diǎn)，顯然還有：

代入上式，因?yàn)榕臄z了多張圖片，利用最小二乘法，也可以是奇異值分解（數(shù)學(xué)的部分比較復(fù)雜，在這里忽略），總而言之，最小化誤差，即可得到我們最佳估計(jì)的 矩陣，有了這兩個(gè)矩陣，我們做個(gè)旋轉(zhuǎn)、平移就可以了。 注：雖然得到了旋轉(zhuǎn)、平移矩陣，也但是極線校正的方法有很多，這個(gè)我們之后講。

04 極線校正理論推導(dǎo)

雙目標(biāo)定后，我們得到了右相機(jī)相對(duì)于左相機(jī)的位姿關(guān)系，也就是R、T矩陣，下面一步即做極線校正。校正好處是之后做立體匹配搜索的時(shí)候，只需要在同高度附近進(jìn)行搜索，大幅提升效率。根據(jù)前文的推導(dǎo)，在獲取了R、T矩陣后，我們就要進(jìn)行極線校正（立體校正），使兩部相機(jī)光軸平行，如下所示：

圖4(a) 立體校正前 [2]	圖4(b) 立體校正后 [2]

但是平行的方法有很多，可以：

左相機(jī)不動(dòng)，右相機(jī)動(dòng)。

也可以兩部相機(jī)旋轉(zhuǎn)到中間等等。

最常見(jiàn)的校正方法就是Bouguet極線校正方法。

Bouguet極線校正方法：左右相機(jī)成像平面各旋轉(zhuǎn)一半，使得左右圖像重投影造成的誤差最小，左右視圖的共同面積最大。

具體步驟（這塊理論推導(dǎo)可以去看論文，這里只給出結(jié)論，看不懂沒(méi)關(guān)系，不妨礙我們使用它）：

得到這兩個(gè)變換矩陣，左、右相機(jī)分別乘以這兩個(gè)矩陣即可完成變換，其中已經(jīng)包含了平移信息！

再計(jì)算重投影矩陣，其實(shí)現(xiàn)了像素坐標(biāo)系（左相機(jī)）到世界坐標(biāo)系之間的轉(zhuǎn)換：

校正后，可以根據(jù)需要對(duì)圖像進(jìn)行裁剪，需重新選擇一個(gè)圖像中心，和圖像邊緣從而讓左、右疊加部分最大。

圖2 裁剪效果演示 [2]

審核編輯：劉清