一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

淺析FPGA的圖像采集和快速移動物體檢測

電子工程師 ? 來源:微型機與應用 ? 作者:李翔翔 ? 2021-05-12 15:29 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

摘 要: 提出了一種圖像采集和快速移動物體檢測的設(shè)計,即通過FPGA實現(xiàn)對攝像頭的初始化及數(shù)據(jù)采集,并通過自定義的傳輸協(xié)議將FPGA緩存中的數(shù)據(jù)傳輸給ARM7處理器,實現(xiàn)圖像數(shù)據(jù)的快速傳輸。根據(jù)適用范圍,本文提出了自適應二值化閥值及相關(guān)的檢測算法改進。

這對于小型的、低功耗實用型的監(jiān)控系統(tǒng)具有一定的實用價值。近年來,計算機技術(shù)、通信技術(shù)、微電子技術(shù)迅猛發(fā)展,數(shù)字監(jiān)控系統(tǒng)逐步從傳統(tǒng)方式的監(jiān)控系統(tǒng)走向小型化、多樣化和智能化。監(jiān)控系統(tǒng)的發(fā)展首先是從圖像采集開始的,本文根據(jù)項目需要提出了一種基于FPGA的圖像采集和移動物體檢測的設(shè)計方案,用以實現(xiàn)對特定背景下的圖像采集和移動物體快速檢測。

1 系統(tǒng)總體設(shè)計

本系統(tǒng)主要由攝像頭初始化模塊、圖像采集模塊、數(shù)據(jù)傳輸模塊和運動物體檢測模塊構(gòu)成。本系統(tǒng)中所使用的FPGA[1]芯片型號是FUSION系列的AFS600。如果只是完成本文中所要實現(xiàn)的內(nèi)容,則完全可以選擇更低性能的FPGA芯片,例如ProASIC3系列的A3P060;如果所選擇的芯片沒有片內(nèi)RAM或者片內(nèi)RAM很小,需要對本文的設(shè)計做適當?shù)恼{(diào)整才能完成相應的功能。

本系統(tǒng)中,由FPGA模擬SCCB對攝像頭(OV7670)進行初始化,控制端獲取圖像時再啟動FPGA對一幅圖像進行采集,將采集到的數(shù)據(jù)放入一個雙端口的RAM存儲器中,并將數(shù)據(jù)傳輸給控制端??刂贫碎g隔一段時間就通過FPGA采集一幅圖像,通過對這些連續(xù)的圖像進行處理,判定是否有移動物體出現(xiàn),如果有則可以啟動報警系統(tǒng)。本系統(tǒng)中控制端是ARM7系列開發(fā)板,圖像采集的相關(guān)原理圖如圖1所示。

10608636146615.gif

2 FPGA圖像采集端

2.1 攝像頭的初始化

本系統(tǒng)實驗所使用的攝像頭是OV7670,其感官陣列共656×488個像素。OV7670通過SCCB總線控制,可以輸出整幀、子采樣、取窗口等方式的各種分辨率為8 bit的影響數(shù)據(jù)。用于VGA圖像顯示最高可達30幀/s。用戶可以完全控制圖像質(zhì)量、數(shù)據(jù)格式和傳輸方式。攝像頭內(nèi)部包含伽瑪曲線、白平衡、飽和度、色度等,這些設(shè)置均通過SCCB總線接口完成。

SCCB是和I2C相同的一個協(xié)議。SCCB由一根數(shù)據(jù)線(SIO_D)和一根時鐘線(SIO_C)構(gòu)成,數(shù)據(jù)線是雙向傳輸?shù)?,時鐘線是由主機完全控制的。本系統(tǒng)中主機是由FPGA芯片來擔任的,對攝像頭初始化的過程只是由主機對攝像頭內(nèi)部的寄存器寫入數(shù)據(jù),不需要完成從攝像頭接收數(shù)據(jù)的過程,而且對攝像頭(OV7670)寄存器寫入指令的格式很統(tǒng)一。指令由3 B構(gòu)成,第1個字節(jié)為命令字節(jié),對于本文中的攝像頭其內(nèi)容是0x42;第2個字節(jié)是一個8 bit寄存器地址;第3個字節(jié)為所要修改的寄存器內(nèi)容。

根據(jù)以上分析,通過FPGA實現(xiàn)攝像頭初始化的過程簡化了SCCB傳輸協(xié)議,不再考慮接收數(shù)據(jù);而且由于發(fā)送數(shù)據(jù)固定為24 bit,如果再加上起始、終止和確認位,總共需要傳輸?shù)臓顟B(tài)位為29 bit,通過狀態(tài)機機制即可很輕松地編寫FPGA代碼。本系統(tǒng)中將實驗所產(chǎn)生的FPGA信號通過邏輯分析儀提取,結(jié)果如圖2所示。

10608932236403.gif

2.2 圖像采集

圖像采集要用到OV7670的3個同步信號,分別為VSYNC(場同步信號)、HREF(行同步信號)和PCLK(像素同步信號),三者的時序關(guān)系如圖3所示。VSYNC的上升沿表示一幀新圖像的到來,下降沿則表示一幀圖像數(shù)據(jù)采集的開始;HREF的上升沿表示一行圖像數(shù)據(jù)的開始,HREF為高電平即可開始有效的數(shù)據(jù)采集;

PCLK下降沿表明數(shù)據(jù)的產(chǎn)生,PCLK每出現(xiàn)一個下降沿,OV7670 攝像頭便傳輸一個像素數(shù)據(jù)。最后,當下一個VSYNC信號上升沿到來,表明一幀圖像輸出結(jié)束,同時表示下一幀圖像輸出開始。從圖3中可以看出,當PCLK下降沿到來時攝像頭就會更新輸出下一個數(shù)據(jù);要通過FPGA采集圖像數(shù)據(jù)就要選定一個穩(wěn)定的圖像數(shù)據(jù)采樣點,通過分析圖像可知,在PCLK為上升沿時最適合圖像數(shù)據(jù)的采樣。

10609023187167.gif

本系統(tǒng)中,F(xiàn)PGA采樣得到的數(shù)據(jù)暫存于一個雙端口的內(nèi)部RAM緩沖存儲器中。當收到采集圖像命令時,系統(tǒng)首先復位雙端口RAM的寫地址,每當PCLK上升沿到來時FPGA將數(shù)據(jù)總線上的數(shù)據(jù)保存下來,接著再將獲得的數(shù)據(jù)寫入雙端口緩沖區(qū)中,每寫完一個數(shù)據(jù)便對寫地址做加1的操作。

其主要流程如圖4所示,在用Verilog語言實現(xiàn)對圖像數(shù)據(jù)采集時,檢測PCLK上升沿并將總線數(shù)據(jù)保存到寄存器是在一個周期內(nèi)完成的,將寄存器中的數(shù)據(jù)存入雙端口RAM是在下一個周期完成的,即如果輸入時鐘為48 MHz,則通過FPGA可以對24 MHz的像素頻率(PCLK)的輸出圖像進行采集。其采集頻率即使對640×480的圖像也能達到30幀/s以上的速度。提高圖像采集的速度瓶頸關(guān)鍵在圖像從FPGA傳輸?shù)娇刂贫说倪^程中,因此提高數(shù)據(jù)的傳輸速度顯得非常重要。

10609230668632.gif

2.3 數(shù)據(jù)傳輸

本系統(tǒng)通過一個雙端口RAM存儲器來做緩沖,與使用外部SRAM相比,其好處是實現(xiàn)簡單、不需要外接SRAM芯片,同時作為FPGA內(nèi)部RAM,其處理速度很快可以達到350 MHz。但是RAM緩沖區(qū)的大小有限,不能夠存儲一幅完整的圖像,如果控制端讀取數(shù)據(jù)太慢,可能會使原有的緩沖數(shù)據(jù)被覆蓋。從圖3中可以看出,在每一行數(shù)據(jù)傳輸結(jié)束后都有很長一段行同步時間,通過使用緩沖區(qū)可以有效利用這段時間來傳輸數(shù)據(jù)。

數(shù)據(jù)傳輸過程的實現(xiàn)流程如圖5所示,該數(shù)據(jù)傳輸過程中使用4根控制線和8根數(shù)據(jù)線。4根控制線分別是開始(start)、結(jié)束(finish)、接收狀態(tài)(R_ready)和發(fā)送狀態(tài)(S_ready)。圖5(a)為FPGA發(fā)送端的控制流程,圖5(b)為數(shù)據(jù)接收端的控制流程。發(fā)送端中rdata為從RAM緩沖區(qū)中讀出的數(shù)據(jù),raddress為雙端口讀地址,waddress為雙端口寫地址,數(shù)據(jù)采集完畢為采集過程結(jié)束的標志。

10609409283052.gif

3 處理器控制端

3.1 移動物體檢測研究現(xiàn)狀

目前比較常用的運動物體檢測的方法主要有3種,分別是光流法、背景差法和幀差法。光流法的基本原理是給圖像中的每一個像素分配一個速度矢量,根據(jù)各個像素的速度矢量特征,對圖像進行動態(tài)分析[2],但光流計算方法相當復雜,且抗噪性能差;幀差法的基本原理是利用圖像序列相鄰兩幀之間的差異計算出變化的像素[3];背景差法的主要思想是通過對序列圖像建立一個背景模型,估算出當前的最優(yōu)背景圖像,再通過對前景圖像與背景圖像的差分來判斷場景中的運動物體[4]。

3.2 移動物體檢測

由于處理速度和資源都十分有限,本系統(tǒng)需要通過無線網(wǎng)絡(luò)來傳輸圖像,在這樣的硬件條件下難以完成視頻采集,如果使用幀差法前后兩幀之間的差異可能會很大;并且本系統(tǒng)主要起到監(jiān)控報警的功能,通常所監(jiān)控的環(huán)境移動物體很少,所以選用背景差法進行運動物體檢測。

3.2.1 移動物體檢測流程

首先要獲取初始圖像,系統(tǒng)上電后將第一次獲取的圖像作為初始背景,初始背景并不一定準確,但是隨著時間的推移,在自適應背景更新的過程中背景將會越來越趨近于真實的背景;接下來,將采集到的圖像與背景做差,得到背景差圖像,再對背景差圖像做中值濾波處理;之后,對中值濾波后的背景差圖像做二值化,從而提取出移動物體即背景差圖中的白色部分,在對圖像二值化過程中,本系統(tǒng)根據(jù)實際應用環(huán)境采用自適應的二值化閾值。

3.2.2 中值濾波

由于噪聲和運動的相關(guān)性,會出現(xiàn)一部分殘留的噪聲和運動物體內(nèi)部空洞的現(xiàn)象,需要利用形態(tài)學中開和閉運算進行必要的后處理。在眾多預處理方法中,中值濾波作為一種常用的圖像預處理方法,能夠有效地去除噪聲、平滑圖像,并能夠有效地保留圖像的邊緣信息,所以本系統(tǒng)采用中值濾波來處理圖像。

本系統(tǒng)所采用的是快速中值濾波[5]??焖僦兄禐V波的處理過程為:首先獲得需要中值濾波處理的像素及其周圍像素,結(jié)果為一個3×3矩陣;然后分別計算每一行中3個數(shù)據(jù)的最大值max、中值med和最小值min;再在上面求得的3個最小值中求最大值max_of_min,最大值中求最小值min_of_max,中值中求中值med_of_med;最后在max_of_min、min_of_max和med_of_med中求中值middle,middle即為所求,把3×3矩陣的中間值換成middle就完成了對Data5的中值濾波處理。

3.2.3 自適應閾值

由于閾值的大小對移動物體的檢測主要表現(xiàn)在:當閾值定得較大時,會忽略背景差圖中的一些微小變化;當閾值定得太小,又會導致出現(xiàn)太多的移動物體,造成錯誤的移動物體檢測。因此,可以根據(jù)經(jīng)驗給移動物體個數(shù)規(guī)定一個上限和一個下限。當檢測到的移動物體個數(shù)大于所規(guī)定的上限時就適當?shù)脑龃箝撝担斠苿游矬w個數(shù)小于所設(shè)置的下限時就適當?shù)卦龃箝撝怠?/p>

閾值的變化不是無限的,而是在所容忍的范圍之內(nèi)變化的。本系統(tǒng)經(jīng)過上述一系列處理后得到的結(jié)果如圖6、圖7所示:圖6為包含移動物體及背景的圖像,圖7為經(jīng)過一系列處理后得到的對移動物體二值化處理后的結(jié)果,其中白色部分為移動物體。

3.2.4 背景自適應更新

現(xiàn)實環(huán)境中,即使是固定不變的背景也會因為天氣和光照條件的變化、周圍環(huán)境的影響、物體的經(jīng)過以及攝像機的輕微抖動等因素而發(fā)生變化。因此在長期運行的運動檢測系統(tǒng)中背景的更新至關(guān)重要。背景更新一般有統(tǒng)計平均法和加權(quán)平均法兩種方法。統(tǒng)計平均即取幾幀圖像的平均值作為背景,其公式如下:

本系統(tǒng)采用的更新策略為加權(quán)平均,F(xiàn)K表示采集的圖像中扣除被判定為移動物的那部分圖像,對于移動物體部分,將會保留其原來的背景像素值。

本文重點介紹了圖像采集和移動物體檢測,系統(tǒng)主要著眼于對一個簡單實用型監(jiān)控系統(tǒng)的研究,為此提出了一些有效的方法。隨著硬件技術(shù)的發(fā)展和芯片價格的下降,系統(tǒng)在日后可以作更大的改進和完善。

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • FPGA
    +關(guān)注

    關(guān)注

    1645

    文章

    22049

    瀏覽量

    618379
  • 圖像采集
    +關(guān)注

    關(guān)注

    2

    文章

    307

    瀏覽量

    41644
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    在樹莓派5上使用YOLO進行物體動物識別-入門指南

    大家好,接下來會為大家開一個樹莓派5和YOLO的專題。內(nèi)容包括四個部分:在樹莓派5上使用YOLO進行物體動物識別-入門指南在樹莓派5上開啟YOLO人體姿態(tài)估計識別之旅YOLO物體檢測在樹莓派
    的頭像 發(fā)表于 07-17 17:16 ?83次閱讀
    在樹莓派5上使用YOLO進行<b class='flag-5'>物體</b>和<b class='flag-5'>動物</b>識別-入門指南

    【嘉楠堪智K230開發(fā)板試用體驗】01 Studio K230開發(fā)板Test2——手掌,手勢檢測,字符檢測

    理解: 它不僅能檢測圖像內(nèi)容,更能進行精確的識別和定位。例如: 人臉檢測與定位(位置和尺寸)。 物體檢測、識別(分類)、定位(位置和尺寸)。 高性能: 其計算能力顯著提升,官方數(shù)據(jù)顯示
    發(fā)表于 07-10 09:45

    如何選擇合適的工業(yè)相機快門種類

    在需要拍攝高速運動物體的場景中,全局快門傳感器是最佳選擇。而對于移動緩慢或靜止的物體(如顯微鏡等科學應用場景),卷簾快門傳感器則更為適合。
    的頭像 發(fā)表于 07-04 15:14 ?116次閱讀
    如何選擇合適的工業(yè)相機快門種類

    【HarmonyOS 5】VisionKit人臉活體檢測詳解

    【HarmonyOS 5】VisionKit人臉活體檢測詳解 ##鴻蒙開發(fā)能力 ##HarmonyOS SDK應用服務(wù)##鴻蒙金融類應用 (金融理財# 一、VisionKit人臉活體檢測
    的頭像 發(fā)表于 06-21 11:52 ?290次閱讀
    【HarmonyOS 5】VisionKit人臉活<b class='flag-5'>體檢測</b>詳解

    云南恩田有毒有害氣體檢測系統(tǒng)# 的安全#隧道施工#有毒有害氣體檢測

    體檢測
    恩田智能設(shè)備
    發(fā)布于 :2025年05月15日 15:06:40

    安森美推出首款飛行時間傳感器HyperluxID系列

    安森美(onsemi,美國納斯達克股票代號:ON)推出其首款實時、間接飛行時間(iToF)傳感器HyperluxID 系列,可對快速移動物體進行高精度長距離測量和三維成像。
    的頭像 發(fā)表于 03-12 16:41 ?747次閱讀

    體檢漏儀如何操作?注意事項有哪些?

    一下: 首先,打開氣體檢漏儀的電源開關(guān),等待設(shè)備自檢完成。接著就可以將氣體傳感器連接到儀器上,確保連接穩(wěn)固。同時還要調(diào)整設(shè)備的靈敏度,以適應不同環(huán)境下的泄漏檢測需求。將探頭靠近可能泄漏的區(qū)域,緩慢移動
    發(fā)表于 03-12 15:08

    圖像采集卡:現(xiàn)代圖像處理技術(shù)的關(guān)鍵組件

    在現(xiàn)代科技快速發(fā)展的背景下,圖像處理技術(shù)已成為信息技術(shù)領(lǐng)域不可或缺的一部分。圖像采集卡,作為連接計算機與各種圖像
    的頭像 發(fā)表于 02-20 10:42 ?487次閱讀
    <b class='flag-5'>圖像</b><b class='flag-5'>采集</b>卡:現(xiàn)代<b class='flag-5'>圖像</b>處理技術(shù)的關(guān)鍵組件

    基于FPGA圖像邊緣檢測設(shè)計

    今天給大俠帶來基于 FPGA圖像邊緣檢測設(shè)計,話不多說,上貨。 設(shè)計流程如下:mif文件的制作→?調(diào)用 ip 核生成rom以及仿真注意問題→?灰度處理→?均值濾波:重點是3*3 像素陣列的生成
    的頭像 發(fā)表于 02-10 11:30 ?670次閱讀
    基于<b class='flag-5'>FPGA</b>的<b class='flag-5'>圖像</b>邊緣<b class='flag-5'>檢測</b>設(shè)計

    基于FPGA的GigE Vision相機圖像采集方案設(shè)計

    1 概述 GigE Vision是一個比較復雜的協(xié)議,要在FPGA中完全實現(xiàn)具有較大的難度。如果FPGA作為接收端希望實現(xiàn)GigE Vision相機的配置和圖像采集功能,則只需要實現(xiàn)其
    的頭像 發(fā)表于 01-07 09:34 ?1030次閱讀
    基于<b class='flag-5'>FPGA</b>的GigE Vision相機<b class='flag-5'>圖像</b><b class='flag-5'>采集</b>方案設(shè)計

    友思特方案 精析“蟬翼”:FPGA圖像處理方案助力鋰電池高速產(chǎn)線檢測新升級

    為新能源鋰電行業(yè)賦能第二站:FPGA高精度圖像采集與處理解決方案! 薄如蟬翼的鋰電池薄膜材料在高速產(chǎn)線上生產(chǎn)而成,實時檢測并精準分析其質(zhì)量,依托于友思特
    的頭像 發(fā)表于 12-04 15:56 ?574次閱讀
    友思特方案  精析“蟬翼”:<b class='flag-5'>FPGA</b><b class='flag-5'>圖像</b>處理方案助力鋰電池高速產(chǎn)線<b class='flag-5'>檢測</b>新升級

    安森美Hyperlux SG圖像傳感器的優(yōu)勢

    隨著工業(yè)自動化的不斷發(fā)展,對移動物體進行清晰、準確成像的需求也在急劇上升。全局快門圖像傳感器支持高速、無失真的圖像捕獲,是推動工業(yè)自動化應用創(chuàng)新的重要技術(shù)。
    的頭像 發(fā)表于 11-28 18:21 ?677次閱讀

    《DNK210使用指南 -CanMV版 V1.0》第四十一章 YOLO2物體檢測實驗

    腳本)”按鈕后,將攝像頭對準物體,讓其采集物體圖像,隨后便能在LCD上看到攝像頭輸出的圖像,同時圖像
    發(fā)表于 11-14 09:22

    在目標檢測中大物體的重要性

    導讀實驗表明,對大型物體賦予更大的權(quán)重可以提高所有尺寸物體檢測分數(shù),從而整體提升目標檢測器的性能(在COCOval2017數(shù)據(jù)集上使用InternImage-T模型,小
    的頭像 發(fā)表于 10-09 08:05 ?813次閱讀
    在目標<b class='flag-5'>檢測</b>中大<b class='flag-5'>物體</b>的重要性

    博揚智能對射傳感器精度檢測,精度受到多個因素的影響

    對射傳感器的核心優(yōu)勢在于其高精度,通過精密的光學系統(tǒng)和先進的信號處理技術(shù),對射傳感器能夠?qū)崿F(xiàn)微米級甚至納米級的檢測精度,對于微小物體檢測、高速運動物體的追蹤以及精確位置控制等場景,都
    的頭像 發(fā)表于 09-27 17:27 ?687次閱讀
    博揚智能對射傳感器精度<b class='flag-5'>檢測</b>,精度受到多個因素的影響