電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>如何應(yīng)對實時視頻處理

如何應(yīng)對實時視頻處理

1781530 2022-11-28 | pdf | 220.96KB | 次下載 | 免費

資料介紹

人腦是我們所知道的最先進的緊湊型處理單元；但是圖像處理方面的改進可能會讓機器很快超越我們，這要歸功于新的處理器、工具、架構(gòu)和軟件。新技術(shù)及其快速采用為工業(yè)制造和檢測以及醫(yī)藥、消費電子/游戲，當(dāng)然還有機器人技術(shù)帶來了巨大的潛力。人腦是我們所知道的最先進的緊湊型處理單元；但是圖像處理方面的改進可能會讓機器很快超越我們，這要歸功于新的處理器、工具、架構(gòu)和軟件。新技術(shù)及其快速采用為工業(yè)制造和檢測以及醫(yī)藥、消費電子/游戲，當(dāng)然還有機器人技術(shù)帶來了巨大的潛力。現(xiàn)在，我們在執(zhí)行簡單任務(wù)（例如裝滿水）時執(zhí)行高級功能，例如比例、積分和微分 (PID) 功能。事實上，我們進行如此復(fù)雜的運動控制和平衡，機器人可能很快就會羨慕我們。然而，我們的一項杰出能力是我們能夠在我們的視野中挑選出模式、執(zhí)行物體識別、深度感知、跟蹤運動和測量相對速度甚至加速度，這使我們與大多數(shù)機器不同。現(xiàn)在，我們在執(zhí)行簡單任務(wù)（例如裝滿水）時執(zhí)行高級功能，例如比例、積分和微分 (PID) 功能。事實上，我們進行如此復(fù)雜的運動控制和平衡，機器人可能很快就會羨慕我們。然而，我們的一項杰出能力是我們能夠在我們的視野中挑選出模式、執(zhí)行物體識別、深度感知、跟蹤運動和測量相對速度甚至加速度，這使我們與大多數(shù)機器不同。早期的圖像處理側(cè)重于澄清靜止圖像，許多用于邊緣增強和呈現(xiàn)細微細節(jié)的算法并未在快速幀速率和高分辨率圖像上執(zhí)行。處理器更簡單、更慢，并且執(zhí)行 DSP 功能的能力更差，因此結(jié)果是粗略的、獲取速度慢的，并且遠不及敏銳的人眼和大腦那么可靠。早期的圖像處理側(cè)重于澄清靜止圖像，許多用于邊緣增強和呈現(xiàn)細微細節(jié)的算法并未在快速幀速率和高分辨率圖像上執(zhí)行。處理器更簡單、更慢，并且執(zhí)行 DSP 功能的能力更差，因此結(jié)果是粗略的、獲取速度慢的，并且遠不及敏銳的人眼和大腦那么可靠。然而，隨著我們對機器的進化，我們開始賦予它們我們無法比擬的卓越能力，而圖像和實時視頻處理是我們未來的機器（霸主？）將擁有的這些能力之一。這要歸功于我們現(xiàn)在正在制定的處理器、工具、算法和啟發(fā)式方法，我們能夠為機器提供這些功能，這些功能可能很快就會遠遠超過我們自己的功能。然而，隨著我們對機器的進化，我們開始賦予它們我們無法比擬的卓越能力，而圖像和實時視頻處理是我們未來的機器（霸主？）將擁有的這些能力之一。這要歸功于我們現(xiàn)在正在制定的處理器、工具、算法和啟發(fā)式方法，我們能夠為機器提供這些功能，這些功能可能很快就會遠遠超過我們自己的功能。內(nèi)存和架構(gòu)很重要內(nèi)存和架構(gòu)很重要視頻信息在數(shù)字域中進行處理，因此無論圖像來自隔行還是非隔行的 NTSC、PAL、RGB、YUB、分量或 HD 源都無關(guān)緊要。前端同步和解碼器芯片以及硬件階段可以很好地捕獲圖像像素并將它們填充到內(nèi)存陣列中，通常作為光柵化掃描線。視頻信息在數(shù)字域中進行處理，因此無論圖像來自隔行還是非隔行的 NTSC、PAL、RGB、YUB、分量或 HD 源都無關(guān)緊要。前端同步和解碼器芯片以及硬件階段可以很好地捕獲圖像像素并將它們填充到內(nèi)存陣列中，通常作為光柵化掃描線。然而，內(nèi)存架構(gòu)和拓撲確實很重要，因為它們會影響處理器訪問和操作數(shù)據(jù)的方式。例如，您可以以線性方式將圖像數(shù)據(jù)壓縮到內(nèi)存中，但這可能意味著相鄰幀不會在位可尋址內(nèi)存邊界處對齊。例如，讓幀掃??描線的第一行與二進制計數(shù)器的零點對齊會更快更容易。如果不需要復(fù)雜的尋址方案來索引和逐幀查看視野的同一部分，則比較連續(xù)的幀數(shù)據(jù)變得更容易訪問和獲取。然而，內(nèi)存架構(gòu)和拓撲確實很重要，因為它們會影響處理器訪問和操作數(shù)據(jù)的方式。例如，您可以以線性方式將圖像數(shù)據(jù)壓縮到內(nèi)存中，但這可能意味著相鄰幀不會在位可尋址內(nèi)存邊界處對齊。例如，讓幀掃??描線的第一行與二進制計數(shù)器的零點對齊會更快更容易。如果不需要復(fù)雜的尋址方案來索引和逐幀查看視野的同一部分，則比較連續(xù)的幀數(shù)據(jù)變得更容易訪問和獲取。另一個可以簡化視頻處理和信息提取的內(nèi)存相關(guān)因素與位平面分離有關(guān)，尤其是隨著像素分辨率和調(diào)色板深度的增加。發(fā)生這種情況時，以最高有效位 (MSB) 到最低有效位 (LSB) 的方式查看單色圖像的能力使邊界和邊緣更加突出（圖 1）。僅查看 MSB 渲染圖像時會出現(xiàn)最大的對比。查看連續(xù)的不太重要的位渲染圖像，可以提取一些深度和層次信息。另一個可以簡化視頻處理和信息提取的內(nèi)存相關(guān)因素與位平面分離有關(guān)，尤其是隨著像素分辨率和調(diào)色板深度的增加。發(fā)生這種情況時，以最高有效位 (MSB) 到最低有效位 (LSB) 的方式查看單色圖像的能力使邊界和邊緣更加突出（圖 1）。僅查看 MSB 渲染圖像時會出現(xiàn)最大的對比。查看連續(xù)的不太重要的位渲染圖像，可以提取一些深度和層次信息。圖 1：位平面分離使邊緣更清晰，因為最高有效位 (MSB) 比最低有效位 (LSB) 顯示出更多對比度。這意味著需要抽取并行視頻數(shù)據(jù)并將位大小分離到單獨的單色存儲平面中。（來源：得捷電子）圖 1：位平面分離使邊緣更清晰，因為最高有效位 (MSB) 比最低有效位 (LSB) 顯示出更多對比度。