超碰人妻AV一区二区,无码喷水视频在线播放国产

本文的內(nèi)容主要講述AVM 3D算法 pipeline，一種自研提取角點標定方法，汽車輔助視角。每個部分都涵蓋了完整的算法理論以及部分代碼，適合有一些計算機視覺基礎的同學，或許可以給相關方向的同學做些參考。

一. 一種更優(yōu)的聯(lián)合標定方案

1.1 算法原理分析

在前面的工作中，我們調(diào)用opencv函數(shù)findChessboardCorners提取圖像上位于標定布中間的棋盤格角點，然后計算投影矩陣H。在SLAM 14講中^[1]，計算H就是求解Ax=0這樣一個問題。其原理就是構造一個最小二乘的形式，用奇異值分解的方式來計算一個誤差最小的解。而為了逼近這個最小誤差，可能造成除了棋盤格角點以外的其他像素值的投影誤差很大。換句話說，由于棋盤格角點集中于鳥瞰圖的中心很小的一部分區(qū)域，如果選擇棋盤格角點進行H的計算，會導致只有棋盤格附近的區(qū)域能夠進行準確的投影，遠離該區(qū)域會有較大誤差。類似于nn的訓練數(shù)據(jù)過于局限，訓練的模型過擬合了。這也就能夠解釋為什么在之前的工作中，我們的鳥瞰圖拼接區(qū)域總是拼不齊，就是因為我們選擇的角點遠離拼接區(qū)域，計算出的投影矩陣H在拼接區(qū)域的投影誤差太大。我們開發(fā)了一種基于自動提取角點算法的汽車標定方法，該方法可以提取標定布上拼接區(qū)域黑色方格的角點。如圖所示：

拼接區(qū)域角點提取通過提取拼接區(qū)域的角點最終獲得的全景鳥瞰圖與前面工作的對比如下，左側(cè)為以前的工作中提取棋盤格角點的方法且沒有使用光流微調(diào)，右側(cè)是我們提取拼接區(qū)域角點的拼接結果。差別就很大。

左：提取棋盤格角點右：提取拼接區(qū)域角點再仔細想想這樣做是很合理的，因為AVM產(chǎn)品中最影響駕駛體驗的就是拼接區(qū)域的偽影，其他一切都好說。標定布的測量誤差會導致單應矩陣計算不準確，這一問題是無法避免的，我們選擇拼接區(qū)域的特征點計算單應矩陣，使得拼接區(qū)域的拼接結果非常準確。隨之而來的可能是其他區(qū)域的不準確，例如貼近車身周圍的棋盤格區(qū)域，但是這些區(qū)域用戶并不care，雖然車身周圍會引入些許誤差，但只要車身與周圍環(huán)境的的相對位置呈現(xiàn)的正確，不會引起碰撞事故，對于駕駛員來講就是OK的。以上就是為什么我們要開發(fā)一種基于自動提取角點算法的汽車標定方法。

1.2 基于自動提取角點算法的汽車標定方法

標定場景對于標定布上的棋盤格，我們可以使用opencv的角點檢測函數(shù)findChessboardCorners來提取，建議讀者自行閱讀該函數(shù)源碼，我們提出的方法的思路就來源于這個算法。下面我們來簡述我們提取大方格角點的方法：算法流程：

1. 雙峰自適應閾值二值化
2. 多邊形檢測
3. 四邊形篩選
4. 提取四邊形頂點

·雙峰自適應閾值二值化大體思路為：計算圖像的亮度直方圖。分別計算暗區(qū)局部極大值，亮區(qū)局部極大值，即“雙峰”。計算雙峰亮度的平均值，作為閾值，來對圖像做二值化。因此稱為“雙峰自適應閾值”。

解釋下這樣做的理論基礎：標定布上的大塊黑色方格被白色布包圍在中間，我們的目的是將標定布上的黑色方格與白色布通過某個閾值分割開。通常白色布的亮度值在直方圖亮部閾值附近，黑色方塊的亮度值在直方圖暗部閾值附近。因此取兩個亮度峰值取平均，一定可以將黑色方塊與白色標定布分開。當然，光照條件不能過于惡劣，對于這一點即便是opencv提取棋盤格的方法也要限定光照條件。

基于自適應閾值的二值化·多邊形檢測以及四邊形篩選約束條件

1. 多邊形擬合結果必須為四邊形，即篩選出二值化圖中的四邊形
2. 四邊形面積必須大于某閾值（opencv源碼中這個超參適用于篩選棋盤格的，我們要把這個閾值搞得大一些，用于篩選大方格）
3. 相鄰邊長不可相差過多
4. 選取黑色的四邊形，而不是白色的四邊形
5. 限制四邊形分布范圍，即四邊形不能過于靠近圖像邊緣，具體情況與相機的位姿相關

·使用上述約束條件篩選出大方格的角點。綜上，使用這種方法提取出的角點分布得更廣泛，且都在鳥瞰圖的分布區(qū)域，因此拼接融合得效果更佳。

二. AVM輔助視角——基于外參的視角變換

本章節(jié)主要講述單應矩陣與PNP的原理，以及它們在AVM輔助視角中的實際應用，附帶部分代碼。關鍵詞：單應矩陣、PNP、標定、廣角、超廣角、車輪視角、越野模式車載魚眼相機可以獲取到范圍非常大的內(nèi)容，但是魚眼圖像并不能夠在汽車行駛過程中給駕駛員提供符合人類視覺習慣的視頻圖像，這一章節(jié)主要來講述如何利用魚眼相機的圖像信息，來提供各種輔助視角。例如：（1）在進出車位或經(jīng)過狹小空間時，駕駛員會更加關注車輪位置的內(nèi)容，那么我們需要使用某種算法對左側(cè)、右側(cè)的魚眼相機拍攝到的內(nèi)容進行處理，得到“車輪視角”；

（2）對于正前方、正后方，我們提供了廣角、超廣角。超廣角由前方魚眼相機通過多次投影變換得到。

（3）左右視角根據(jù)不同的要求，我們提供三種不同的輔助視角

從以上的demo中不難看出，我們是通過投影變換的方法，將魚眼相機的圖像從本身相機部署的視角，轉(zhuǎn)換為我們想要的視角。例如：對于車輪視角的demo，不難看出這個輔助視角中全部都是左、右兩側(cè)的魚眼相機中的內(nèi)容。已知這兩個魚眼相機A和B的位姿為：朝向左右兩側(cè)的地面；而我們實際想獲取的車輪視角對應的相機a和b擺放位姿應該為朝向前方偏下，即朝向車輪的那個位置，這是兩個虛擬的相機。那么如果我們通過標定+PNP的方法計算出右側(cè)鳥瞰相機A與右側(cè)虛擬相機a之間的位姿關系Rt，進一步地計算出A、a這兩個不同位姿下拍攝某個平面（地面）時，他們之間的投影關系H，就可以將實際的魚眼相機視角A轉(zhuǎn)換為虛擬的車輪視角a。左側(cè)魚眼相機B視角與左側(cè)虛擬車輪視角b同理。

2.1 單應矩陣H的原理

有CV基礎的同學們大多知道單應矩陣表示“一個平面到另外一個平面的變換關系”。這樣的描述是不準確的，或者如果對單應矩陣僅能說出這些，說明對單應矩陣的認識是片面的。正確的理解應該是：H描述的是在不同位姿下的兩個相機cam1，cam2拍攝同一個平面（例如標定板），這個平面在兩個相機成像平面上的成像結果之間的變換關系。投影變換模型圖如下。以上這段話，被很多人簡單理解成了“H描述的是兩張圖象之間的變換關系”，這里有兩個點需要注意：（1）不要忽略掉了前面那部分和相機投影相關的物理模型（2）H描述的是空間中的某個平面分別在兩個相機圖像平面上的成像結果之間的變換，而不是兩個圖像之間的變換。對于單應矩陣，我們可以思考一個問題：我們拍攝到的內(nèi)容，大多數(shù)情況下不僅僅包含某一個平面。而我們在做投影變換的時候，H就是基于某個平面計算出來的，這會導致雖然圖像中的該平面部分的投影是合理的，但是因為平面以外的其他部分依然用相同的H做投影，這些部分的投影結果就會顯得非常的奇怪。相信很多同學聽說過一個結論：基于H的圖像拼接方法，比較適用于視距較遠的環(huán)境下。這是因為視距較遠的環(huán)境下，拍攝到的景象我們可以近似認為它們在同一個平面上，那么我們基于這個平面計算出來的H，就幾乎適用于整個圖像中的內(nèi)容。我們從最基礎的相機物理模型來推導一遍單應矩陣H的公式，這樣有利于我們更深入地理解。（本文僅推導這一個公式，通過物理模型對單應矩陣進行推導對后面的算法理解十分重要）如圖所示，同一個相機在A，B兩個位置以不同的位姿拍攝同一個平面：

圖中n表示穿過相機A的光心垂直于平面π的單位向量，d為相機A與平面π之間的距離。π平面上的點X分別投影到A、B相機平面上的m和m'上。X在A相機坐標系下坐標為X1，在B坐標系下坐標為X2。因此有：

假設相機A與B之間的相對位姿為R t，即旋轉(zhuǎn)和平移，那么有：

根據(jù)相機成像模型，其中K為相機內(nèi)參，s1為某像素的實際深度

因此推導到最后，H結果為：

由于H有尺度不變性，因此

經(jīng)過上述推導后我們可以得出結論：假設我們可以獲取到兩個相機之間的位姿關系Ｒ和ｔ、相機的內(nèi)參、相機與π平面之間的向量ｎ和距離ｄ，那么我們就可以計算出π平面在兩個相機圖像平面上的投影關系Ｈ。以上即為單應矩陣求解的一種方法（基于真實的物理模型），也是本章中AVM輔助視角所用到的方法。那么，如何才能獲取到相機之間的位姿關系呢？我們用到了PNP的方法。

2.2 PNP的原理

用一句話概括PNP到底做了什么：已知相機A坐標系下的一組三維點，以及這組三維點在另外一個相機的圖像坐標系下的二維坐標，就可以通過數(shù)學方法計算出A、B兩個相機之間的位姿R，t。注意R，t是從A->B。公式如下：

其中（X,Y,Z,1）為某一個相機坐標系下的三維點齊次坐標，(u,v)為另一個相機圖像平面的二維坐標點。這兩組點在真實世界中應該是一一對應的關系。K為相機內(nèi)參，Rt為相機之間的外參。這個模型其實就是SLAM14講中的單目相機物理模型，世界坐標系->相機坐標系->圖像坐標系的過程。求解方法有“直接線性法”、“最小化重投影誤差”等，我們就不展開來說了。針對于我們的AVM算法：先驗信息必然是由標定布來提供的（即第一章中講到的標定布上的大方格角點信息，包含圖像上的二維坐標和標定的三維坐標）。虛擬相機的位置、朝向由我們自己設定，換句話說虛擬相機坐標系是根據(jù)不同功能（例如車輪視角、超廣角等）由算法工程師自行設計的，因此我們是可以獲取到標定布上的角點的三維坐標。二維點：圖像中提取(1.1 1.2中已經(jīng)講述了提取方法)三維點：標定

2.3 車輪視角

車輪視角算法坐標系示意圖

車輪視角算法坐標系示意圖2d圖像坐標系沒什么可說的，就是真實相機拍攝到的圖像上黑色方格角點的坐標3d相機坐標系是一個虛擬的視角，模擬的是朝向正前方的一個視角，即y垂直地面，x垂直車身向右，z朝正前方由于我們已知標定布的全部尺寸參數(shù)，因此可獲取虛擬相機坐標系下標定布上黑色方格角點的3維坐標。用PNP算法可以計算出實際相機與虛擬相機之間的位姿關系R，t。

//函數(shù)定義 void solveRtFromPnP(const vector &corners2D, const vector &obj3D, const Mat &intrinsic, Mat &R, Mat &t) { Mat r = Mat::zeros(3, 1, CV_32FC1); solvePnP(obj3D, corners2D, intrinsic, cv::Mat(), r, t); Rodrigues(r, R); } //函數(shù)調(diào)用 solveRtFromPnP(corners_2D, obj_3D, m_intrinsic_undis, R, t);

以上，我們獲取到了虛擬相機->真實部署相機之間的位姿R，t。至于R，t為什么不是從真實部署相機->虛擬相機，可以從PNP算法的公式推導中得知（前面已經(jīng)講過），或者見視覺SLAM第二版P180-P181。再回到投影變換H模型圖中，圖中的A就是虛擬相機，B就是真實部署相機。我們已經(jīng)通過PNP計算出虛擬相機->真實部署相機的R，t。但是我們想要的是如何將真實相機拍攝到的某個平面（對于車輪視角而言是地面）通過H轉(zhuǎn)換到虛擬相機的視角下。因此我們需要對R，t做一些處理，將其轉(zhuǎn)化為真實部署相機->虛擬相機的位姿關系：公式推導：

代碼：求解單應矩陣：

//基于Rt計算H Mat solveHFromRt(const Mat &R, const Mat &t, const float d, const Mat &n, const Mat &intrinsic) { Mat intrinsic_inverse; invert(intrinsic, intrinsic_inverse, DECOMP_LU); Mat H = intrinsic * (R + t / d * n.t()) * intrinsic_inverse; return H; }

PNP求解外參：

/****************************************************************************************************************/ //R t:PNP算出的結果，從虛擬相機->真實部署相機的位姿 //計算出 真實部署相機->虛擬相機的位姿 Mat R_Camera2Real; invert(R, R_Real2Virtual, DECOMP_LU); Mat t_Real2Virtual = -R_Real2Virtual * t; //虛擬相機到地面的垂直單位向量 Mat n = (Mat_(3, 1) << 0, 1, 0); //真實部署相機到地面的垂直單位向量 n = R * n; // rotation float theta_X = m_wheel_sight_angle / 180.f * 3.14f; Mat R_virtual = (Mat_(3, 3) << 1, 0, 0, 0, cos(theta_X), -sin(theta_X), 0, sin(theta_X), cos(theta_X)); R_Camera2Virtual = R_virtual * R_Camera2Virtual; t_Camera2Virtual = R_virtual * t_Camera2Virtual; //計算單應矩陣H：真實視角->虛擬視角 Mat H = solveHFromRt(R_Camera2Virtual, t_Camera2Virtual, d, n, intrinsic);

幾點說明：·n(0,1,0)，說明單應矩陣選取的平面為地面。不要忘了我們最開始強調(diào)的，H描述的是在不同位姿下的兩個相機cam1，cam2拍攝同一個平面（例如標定板），這個平面在兩個相機成像平面上的成像結果之間的變換關系。因此這個平面的選擇，對最終的投影結果有很大的影響。車輪視角選取地面作為我們要進行投影的平面，最終的效果非常nice。·代碼中還包含rotation部分，這是因為我們在標定的時候讓虛擬相機朝正前方，但顯然理想的車輪視角相機應該朝向車輪，即應加一個俯仰角pitch。

2.4 超級廣角

這部分我們是對標現(xiàn)有某德系車載超廣角功能進行實現(xiàn)的，相比于直接做去畸變的廣角效果，超廣角的優(yōu)勢在于·糾正了相機翻滾角帶來的視覺不適·糾正了左右兩側(cè)遠離圖像中心的拉伸效果·糾正了豎直方向由于透視畸變“近大遠小”帶來的柱體傾斜效果

大部分車上的廣角功能是對魚眼圖直接做了去畸變，這種方法帶來的問題及產(chǎn)生原因如下：·放大上表中普通廣角圖，不難發(fā)現(xiàn)標定布前邊緣并不是平直的，它有一定的傾斜。這是因為相機有一個roll翻滾角，相當于人眼沒有水平正視前方，而是歪著腦袋看前面。·在遠離圖像中心的位置，像素被嚴重拉伸，這是透視畸變的一種（見附錄），會導致即便是我們把去畸變圖的分辨率調(diào)整到非常大，在這張圖像上依然不能看到FOV范圍很大的內(nèi)容，如圖所示。

遠離圖像中心的區(qū)域被嚴重拉伸這張圖的分辨率已經(jīng)很大，然而在圖像的邊緣像素跨度太大，圖中左側(cè)的黑色車輛被嚴重拉伸。也就是說同樣一輛車，在圖像的中心可能只需要100個像素來呈現(xiàn)（例如中間的白車），而在圖像的邊緣被拉伸的更長，可能需要1000個像素才能完全呈現(xiàn)出來，如果我們想要獲取更大范圍的視野，就需要超級大分辨率的圖像。垂直地面的柱子是斜的：這是因為另外一種透視畸變（見附錄），即”近大遠小“。類似于平行的車道線在圖像中會交于一點的原理。我們可以記住一個理論：只有垂直于相機光軸的那個平面上的平行線，在相機圖像平面上的成像結果是平行的（類似于BEV視角）；與光軸不垂直的平面上的平行線，在相機成像平面上肯定交于一點，即”近大遠小”。對圖像做去畸變之后，圖中的柱子是斜的，因為我們的前置攝像頭有pitch俯仰角，它的光軸超前下方，并非垂直于柱子所在的平面，即不垂直于汽車正前方的平面。解決方案：我們的思路是：首先通過位姿變換的方法將相機擺正（依然是虛擬相機的思想），從而消除“近大遠小”的透視畸變和相機roll角帶來的視覺不適，然后將圖像分為左、中、右三部分，中間這部分的“拉伸”透視畸變較小；對兩側(cè)透視畸變較大的部分強制進行某種投影變換，減小拉伸效果。具體如下：·相機位姿矯正

相機位姿矯正示意圖相機位姿矯正算法流程的思路依然是將真實相機視角->虛擬相機視角，以正前方的相機為例，算法流程如下表：算法流程

1. 假設虛擬相機的位姿為朝向正前方，光軸與正前方的那面墻垂直，坐標系x、y、z如上表中“位姿校正的廣角”所示 2. 標定出地面上那些角點在虛擬相機坐標系下的三維坐標 3. 在真實相機拍攝的圖像中提取角點的圖像坐標（實際上在第一章的標定過程中已經(jīng)完成） 4. PNP計算虛擬相機->真實相機的位姿 RT 5. 計算真實相機->虛擬相機的位姿rt 6. 我們選定的是垂直于相機光軸的平面，計算這個平面從真實相機->虛擬相機的單應矩陣H，在我們的算法中，這個平面距離相機的距離d=10m，這是一個經(jīng)驗值。

這個流程與上面的車輪視角的算法流程幾乎是相同的，所有的相機位姿變換導致的視角轉(zhuǎn)換都可以用這個流程來實現(xiàn)。在上面的相機位姿矯正示意圖中我們可以看到，垂直于地面的墻、柱子的傾斜問題都解決了。被我們用基于相機位姿矯正的單應變換強行掰正了。但是，這個圖在遠離圖像中心的邊緣依然存在嚴重的拉伸。導致即使圖像的分辨率很大，我們可以看到的實際FOV范圍依然很小。針對這個問題，再一次進行平面的單應變換。·平面單應變換

廣角與超廣角實際的實現(xiàn)方法如下圖所示，在廣角圖像上選取4個點（即遠離圖像中心在圖像左右兩邊的兩個小長方形），并設置這四個點做投影變換的結果（這4個點是通過大量實驗調(diào)試出的一組最優(yōu)超參數(shù)），使用這四對匹配點計算單應矩陣H。即計算將小長方形壓縮成梯形的單應矩陣H。

圖像兩側(cè)的單應變換在圖像兩側(cè)所進行的單應變換有將像素在x，y方向做壓縮的效果，從一定程度上減小了透視畸變帶來的拉伸問題。做了投影變換后，在相同幅面的圖像中，我們可以看到更大范圍的內(nèi)容，即FOV更大，因此稱為超廣角。

Mat H_left = getPerspectiveTransform(p_src_left, p_dst_left); Mat H_right = getPerspectiveTransform(p_src_right, p_dst_right);

三. 基于外參的3D 紋理映射方法

單目相機是丟失了深度信息的，計算機圖形學中經(jīng)常會使用將紋理圖映射到某個3D模型上的方法，呈現(xiàn)出一種偽3D的效果，即紋理映射。在AVM中，通常使用將相機捕捉到的圖像當作紋理，以某種方式映射到 3D 碗狀模型上以呈現(xiàn)出一種3D 環(huán)視的效果。下面詳細講述下算法實現(xiàn)：

3.1 3D模型

前、后、左、右

3.2 紋理映射

以前置相機為例，詳細描述3D模型與相機圖像之間的紋理映射關系：

紋理映射示意圖注意：世界坐標系、3dsmax坐標系、車身統(tǒng)一坐標系，這三個表達的是同一個意思。坐標原點在汽車中心，右手X，汽車前方Y，垂直地面向上Z。黃色坐標軸為前置相機坐標系。如圖所示，3dsmax中的小長方體代表現(xiàn)實世界中在汽車正前方的柱子。該立柱上的一點（第二張圖上長方體上的圓圈）通過相機成像模型穿過相機光心映射到成像平面上（即第一張圖中柱子上的圓圈位置）。在成像過程中，同時也要穿越我們的3D碗模型。我們通過相機成像模型，可以想象這條光線的路徑：現(xiàn)實世界中的物體->3D碗模型頂點->相機拍攝到的圖像（去畸變后），也就是通過相機成像模型我們建立起了3D碗模型頂點與圖像紋理之間的映射關系。我們通過3dsmax制作的 3D碗模型是一個OBJ文件，解析出來的是3dsmax坐標系下的坐標。我們需要將其轉(zhuǎn)換到相機坐標系下，才可以進行上面說的紋理映射。3dsmax是以汽車的中心為原點，右手為X，前向為Y，垂直地平面向上為Z的，在標定過程中，我們可以獲取上圖中角點在3dsmax坐標系下的3維坐標；且可以在前置相機圖像中通過算法提取角點的圖像坐標，因此3dsmax與相機之間的位姿關系，同樣可以通過PNP計算。代碼如下：

//calculate pose solveRtFromPnP(img_corners, obj_corners, intrinsic_undis, R, t); //3dsmax->camera Mat pts_3DsMax = (Mat_<float>(3, 1) << vertex[i].x, vertex[i].y, vertex[i].z); Mat camera_points = R * pts_3DsMax + t; //camera coordinate ->img coordinate Mat coor = intrinsic_undis * camera_points / camera_points.at<float>(2, 0);

上述代碼將解析出來的3dsmax坐標系下的 3d碗模型的頂點三維坐標轉(zhuǎn)換到相機坐標系下，然后通過相機內(nèi)參轉(zhuǎn)換到圖像坐標系。最終建立起3d碗模型與圖像紋理之間的映射關系。算法流程如下：算法流程

1. 標定3dsmax坐標系下標定布上角點的三維坐標。（即車身中心為原點的車身坐標系） 2. 檢測相機拍攝到圖像中標定布上角點的圖像坐標。（第一章中已標定） 3. 利用1、2的坐標信息，通過PNP計算出 3dsmax坐標系與相機坐標系之間的位姿關系 R，t 4. 解析3d碗狀模型的obj文件 5. 將解析出來的3d碗狀模型的頂點三維坐標，通過R，t轉(zhuǎn)換到相機坐標系下 6. 通過內(nèi)參將相機坐標系的坐標轉(zhuǎn)換到圖像坐標系，建立起3d模型與相機圖像之間的紋理映射關系

3.3 融合

融合區(qū)相鄰兩個3D 碗模型上存在重疊區(qū)，由于標定誤差和avm 3d算法固有的誤差，這部分重疊區(qū)域會有較嚴重的重影（下一節(jié)中會講到）。因此需要用融合算法進行平滑過渡。具體算法可以參考文章^[2]

融合算法示意圖大體思路就是計算3d模型上的頂點與縫合線之間的角度，然后求一個比值，沒什么太大難度。

3.4 3D AVM算法存在的問題

在討論這個問題之前，我們首先要理解相機坐標系。相機坐標系一般x為朝右，y為朝下，z為朝向正前方。圖中標記的兩個坐標系分別為汽車前置攝像頭、左側(cè)攝像頭的位姿。一個安裝在汽車前方朝向前下方，一個安裝在汽車左側(cè)后視鏡朝向左下方。

AVM 3D病態(tài)問題現(xiàn)實世界中立柱上的一個點通過相機模型分別映射到前置相機、左側(cè)相機的成像平面上從而生成圖像img1，img2。在這個過程中會穿過重疊區(qū)的前3D碗模型的A點以及左3D碗模型的B點，AB顯然不是同一個點。換句話說，img1和img2上相同的紋理（例如現(xiàn)實世界中的柱子）在紋理映射的過程中并沒有映射到3d碗模型的同一個位置上，不能夠準確地重合，且通常會在模型重疊區(qū)有較大的錯位。因此，我們可以得出結論：AVM的3D是一種偽3D，是計算機圖形學中使用將紋理圖映射到3D模型上呈現(xiàn)3D效果的手段，但它不是真正的3D。根本原因是：單目相機模型丟失了深度信息。針對這種問題，通常的優(yōu)化方法為：·將拼接縫位置設置在較不明顯的位置上，例如靠近左右兩側(cè)。因為駕駛員開車的視覺習慣通常是正前方，左右兩側(cè)的內(nèi)容不會過分關注。且在切換到其他視角的時候，拼接錯位會被汽車模型擋住。·適當縮小拼接區(qū)范圍·盡量讓碗底大一些，讓車身附近的地面有較好的拼接效果。3d碗的優(yōu)化問題屬于經(jīng)驗性的問題，需要通過實驗慢慢調(diào)整適合自己的碗模型。

四附錄

透視畸變

·“近大遠小”“近大遠小”表達的是：同一個物體，在遠處的位置投影到相機平面上的大小要小于在近處的位置。例如，車道線投影到圖像上并不是平行線，會交于一點。下圖中O為相機原點，Image plane為相機成像平面，parallel lines為現(xiàn)實世界中兩條平行線。這兩條平行線投影到image plane上，距離相機越遠的位置，其間距投影到image plane上的長度越短，最后匯聚到一點，即“消失點”。這個現(xiàn)象就類似于我們對圖像做去畸變后，汽車前方兩個垂直的柱子在圖像中是斜的，最終會交于一點。但是如果相機光軸垂直于地面，車道線在圖像上的成像結果就是平行的，類似于BEV。所以，我們在做超廣角功能的時候，要對相機做位姿矯正，使相機的光軸朝向正前方，這樣得到的圖像結果中柱子就不會傾斜。

近大遠小·“拉伸”一張圖，言簡意賅：

邊緣拉伸

五總結

本篇本章為avm系列的第二篇，至此AVM主要的算法原理已經(jīng)講述完畢，包含有：相機模型、相機內(nèi)外參標定、相機聯(lián)合標定方法、魚眼去畸變、投影變換、光流、拼接融合、PNP、3D紋理映射、上帝視角、3d視角、廣角、超廣角、車輪視角等。后續(xù)還要做一些其他工作，例如：亮度一致調(diào)整、基于車道線的道路自標定、動態(tài)拼接線、相機模型優(yōu)化等。希望以后還有機會和同學們交流，共同進步！審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴

算法

算法

+關注

關注
23

文章
4684

瀏覽量
94390
自動泊車

自動泊車

+關注

關注
0

文章
105

瀏覽量
13896
自動駕駛

自動駕駛

+關注

關注
788

文章
14136

瀏覽量
168931

原文標題：自動駕駛：自動泊車之AVM環(huán)視系統(tǒng)算法2

文章出處：【微信號：3D視覺工坊，微信公眾號：3D視覺工坊】歡迎添加關注！文章轉(zhuǎn)載請注明出處。

一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

自動駕駛：自動泊車之AVM環(huán)視系統(tǒng)算法2

一. 一種更優(yōu)的聯(lián)合標定方案

1.1 算法原理分析

1.2 基于自動提取角點算法的汽車標定方法

二. AVM輔助視角——基于外參的視角變換

2.1 單應矩陣H的原理

2.2 PNP的原理

2.3 車輪視角

2.4 超級廣角

三. 基于外參的3D 紋理映射方法

3.1 3D模型

3.2 紋理映射

3.3 融合

3.4 3D AVM算法存在的問題

四附錄

透視畸變

五總結

評論

搜索歷史

自動駕駛：自動泊車之AVM環(huán)視系統(tǒng)算法2

一. 一種更優(yōu)的聯(lián)合標定方案

1.1 算法原理分析

1.2 基于自動提取角點算法的汽車標定方法

二. AVM輔助視角——基于外參的視角變換

2.1 單應矩陣H的原理

2.2 PNP的原理

2.3 車輪視角

2.4 超級廣角

三. 基于外參的3D 紋理映射方法

3.1 3D模型

3.2 紋理映射

3.3 融合

3.4 3D AVM算法存在的問題

四 附錄

透視畸變

五 總結

評論

四附錄

五總結