電子發(fā)燒友App
1、引言
由于兩路視頻信號的產(chǎn)生來源于相同景物的不同區(qū)域且有交疊部分，在任意拍攝時刻得到的兩幀圖像必然存在一定程度上的內(nèi)容相關(guān)性，本算法將從圖像重疊區(qū)域內(nèi)容相關(guān)性入手，判別并調(diào)整兩路視頻的同步關(guān)系。同時，對于嵌入式系統(tǒng)的算法實現(xiàn)上，數(shù)據(jù)運算量的簡化也是很重要的問題，直接影響到系統(tǒng)的實時性。
2、算法設(shè)計
如圖1.a、b所示，An和Bn是兩路視頻圖像，且基于內(nèi)容同步，白色箭頭指向的是當(dāng)前時刻播放的圖像幀。如果按照圖1（a）的方式播放，兩路視頻是同步的；但是，由于播放器的獨立性以及各種干擾的存在，如圖1（b）的幀錯位情況會出現(xiàn)。由此可見，需要解決的主要問題是：①判斷當(dāng)前播放是否同步；②若不同步，錯位多少幀，如何快速有效地找到同步幀。
圖1（a） 圖1（b）
A. 兩幀圖像同步判別
在任意時刻，兩路邊緣重疊的黑白圖像信號（亮度信號為8位）的重疊區(qū)域圖像對應(yīng)兩個矩陣。這兩個矩陣的關(guān)系可是直接反應(yīng)出兩幅圖像的同步關(guān)系。
1） 相關(guān)函數(shù)模型
2） 抽樣處理
利用上述方法判定兩幀圖像同步時，嚴(yán)格的統(tǒng)計相關(guān)算法的結(jié)果準(zhǔn)確度是最高的，但是必須付出極其大的運算量。因為計算相關(guān)系數(shù)需要將重疊部分圖像的每一點的亮度值納入計算范圍；同時，矩陣A和B相關(guān)系數(shù)的計算是二維運算。以175×288點大小圖像計算（702×576隔行掃描的1/4重疊部分），cov（A，B）需要進行50400次8位2進制乘法運算和50400次8位2進制加法，DA、DB也各需要50400次8位2進制乘法運算和50400次8位2進制加法。顯然，這樣的運算兩使得運用嵌入式系統(tǒng)是難以滿足實時性要求的。
由于大部分情況下圖像中的一點是與周圍像素具有較強相關(guān)性的，所以沒有必要在相關(guān)函數(shù)的運算過程中代入所有象素點的亮度值，而可以以適當(dāng)?shù)姆绞竭M行像素抽樣。正是基于這種考慮， 如果我們僅用對原圖像采取隔1 行、隔1列取一個像素的方法進行像素抽樣， 形成1/4 大小的新圖像， 再用新圖進行判別，則計算量就將減少了3/ 4。
在判別過程中，我們繼續(xù)采用像素抽樣的方法?？紤]到M×N的圖像通常M≤N，所以考慮到采用隔6行、隔8列的方式抽樣。如果每一行都從第1列開始選取如圖2 （a）所示， 則未被選擇的點與最近鄰采樣點的距離為5p （p為兩個相鄰像素的距離）。如果采用圖2 （b）所示偶數(shù)行從第5列開始選擇原點， 則未被選擇的點距最近鄰抽樣點的最大距離為3p （圖中虛線點的位置距最近鄰選擇點的距離為3p）。圖像中像素越接近， 相似性越強; 換言之， 抽樣點與未選點距離越小， 圖像保留下來的特征就越多， 為此在匹配點數(shù)目不變時我們在偶數(shù)行向后移兩個像素選擇抽樣點的選擇方法如圖2（b） 所示， 可以使抽樣點最大限度保留圖像的特征。
3） FPGA算法設(shè)計
B. 錯位幀數(shù)檢測
1、 相關(guān)性模型有效性檢驗
圖4 兩路同步視頻
如圖4所示，第二路視頻圖像由第一路視頻圖像經(jīng)過零均值方差0.002的高斯噪聲處理得到（這里的圖像格式為180×288）。兩路同步的視頻圖像在進行相關(guān)系數(shù)運算后得到的結(jié)果如表1所示?？梢钥闯鲈谕降那闆r下，即使有較強的干擾存在，任意檢測兩幀圖像的相關(guān)系數(shù)都是很接近于1的。
如圖5所示，第二路視頻圖像由第一路視頻圖像經(jīng)過零均值方差0.002的高斯噪聲處理并超前一幀得到。兩路同步的視頻圖像在對應(yīng)位置進行相關(guān)系數(shù)運算后得到的結(jié)果如表2所示?？梢钥吹?，在任何一組非同步幀的相關(guān)系數(shù)運算結(jié)果都遠小于1。因此，相關(guān)系數(shù)用來判別兩路視頻是否同步。
若以第一路視頻圖像的第四幀作為基準(zhǔn)，與第二路視頻圖像作相關(guān)運算，得到的結(jié)果如表3所示?？梢钥吹?，第一路視頻圖像的第四幀與第二路視頻圖像的第三幀的相關(guān)系數(shù)最近接1，能夠據(jù)此得出第一路視頻的第四幀與第二路視頻的第三幀的同步幀的結(jié)論。
2、 抽樣方案比較檢驗
分別用兩種方式進行抽樣：①對于180×288的圖像橫向、縱向均作32點均勻抽樣，且起始點均為抽樣行的起始點；②對于180×288的圖像橫向、縱向均作32點均勻抽樣，起始點在抽樣的奇數(shù)行為起始點，偶數(shù)行為第三點，進行蜂窩抽樣。
由抽樣①、②得到的數(shù)據(jù)分別進行互相關(guān)運算得到的互相關(guān)系數(shù)ρ1、ρ2，與未抽樣時的相關(guān)系數(shù)ρ相減得到的ρ1-ρ，ρ2-ρ，可以反映兩種抽樣方式的有效性。如圖6所示，對20幅圖像作ρ1-ρ，ρ2-ρ，繪出曲線，曲線①為ρ1-ρ，曲線②為ρ2-ρ，可以看到曲線①偏離0的程度明顯大于曲線②偏離0的程度，證明了抽樣②在同樣抽樣點數(shù)的情況下優(yōu)于普通采樣①。經(jīng)過對多組圖像進行曲線繪制，得到了相似的結(jié)論。
結(jié)論
本算法可以進行兩路視頻圖像同步判別，并在一定范圍找到兩路圖像錯位幀數(shù)以調(diào)整視頻播放速度。為了能夠植入FPGA，本算法還提出了用非等間隔采樣的方法來降低參與運算的數(shù)據(jù)量，從仿真的結(jié)果來看算法是正確的、有效的。
本文的創(chuàng)新點在于系統(tǒng)視頻同步播放算法的開發(fā)與驗證，并且針對嵌入式系統(tǒng)應(yīng)用本算法采用了優(yōu)化的抽樣方法大幅度降低運算量。
責(zé)任編輯：gt
工商網(wǎng)監(jiān)
評論