電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）機(jī)器視覺(jué)起源于20世紀(jì)50年代。近幾年，隨著邊緣智能需求爆發(fā)，機(jī)器視覺(jué)發(fā)展換擋提速。根據(jù)前瞻產(chǎn)業(yè)研究院的統(tǒng)計(jì)數(shù)據(jù)，2023年全球機(jī)器視覺(jué)市場(chǎng)規(guī)模約為130億美元，預(yù)計(jì)2024-2029年將以20%左右的年復(fù)合增長(zhǎng)率高速增長(zhǎng)，到2029年市場(chǎng)規(guī)模達(dá)到近400億美元。

在機(jī)器視覺(jué)應(yīng)用快速增長(zhǎng)的過(guò)程中，傳統(tǒng)基于CMOS傳感器、CCD傳感器或RGBD的相機(jī)，在捕捉場(chǎng)景中的運(yùn)動(dòng)變化，以及無(wú)“事件”發(fā)生時(shí)的功耗等方面遇到了一定的瓶頸，EVS（基于事件的視覺(jué)傳感器）成為打造機(jī)器視覺(jué)應(yīng)用的新選擇。

在2024中國(guó)（上海）機(jī)器視覺(jué)展暨機(jī)器視覺(jué)技術(shù)及工業(yè)應(yīng)用研討會(huì)（VisionChina（上海）2024）上，Prophesee銷售總監(jiān)高喆敏在接受電子發(fā)燒友網(wǎng)記者采訪時(shí)表示，傳統(tǒng)相機(jī)有一個(gè)重要指標(biāo)是幀率，也就是通過(guò)每秒捕捉一些靜止幀來(lái)表現(xiàn)運(yùn)動(dòng)，并不具備動(dòng)態(tài)捕獲的能力 ，由于傳統(tǒng)相機(jī)受限于曝光時(shí)間，所以無(wú)法捕捉每一幀之間的信息的，這與人眼的工作原理是完全不同的。EVS則是模擬人眼感知光的原理，我們?cè)O(shè)計(jì)了像視網(wǎng)膜感光細(xì)胞一樣工作的像素，EVS中所有的像素都是獨(dú)立和異步的，所以它們只會(huì)在場(chǎng)景發(fā)生變化時(shí)做出反應(yīng)，上報(bào)事件即event。這樣的工作原理讓它兼具：超高速、小數(shù)據(jù)量、低功耗等優(yōu)勢(shì)。

高喆敏強(qiáng)調(diào)，在EVS相機(jī)中，每個(gè)像素只在感覺(jué)到運(yùn)動(dòng)時(shí)才被觸發(fā)，且每一個(gè)像素都是完全獨(dú)立的。當(dāng)像素捕捉光的亮度超過(guò)閾值后就會(huì)被檢測(cè)為事件，然后輸出事件像素的坐標(biāo)、時(shí)間和極性信息。和傳統(tǒng)相機(jī)相比，EVS相機(jī)能夠捕獲的信息不會(huì)逐幀到達(dá)，也就不存在幀與幀之間的損失。由于EVS的像素不是同步而是異步的，因此時(shí)間域上是非常稠密的，Prophesee已經(jīng)量產(chǎn)的傳感器芯片可以等效每秒10000幀的傳統(tǒng)傳感器。并且，每個(gè)像素只有在被觸發(fā)時(shí)才會(huì)記錄，數(shù)據(jù)量是非常小的，并不需要很高的處理器性能和傳輸帶寬，功耗低是EVS天然的優(yōu)勢(shì)。

在VisionChina（上海）2024上，Prophesee展示了多款基于EVS相機(jī)的demo，包括顆粒檢測(cè)、振動(dòng)監(jiān)測(cè)、運(yùn)動(dòng)捕捉，以及采用ST MCU和AMD芯片打造的高級(jí)應(yīng)用。

基于EVS的振動(dòng)監(jiān)測(cè)

Prophesee演示了基于EVS相機(jī)的振動(dòng)監(jiān)測(cè)應(yīng)用。傳感器可以監(jiān)測(cè)馬達(dá)和電刷的振動(dòng)，打造一個(gè)非接觸式的解決方案。然后通過(guò)軟件界面上的數(shù)據(jù)，就可以準(zhǔn)確獲取到電機(jī)系統(tǒng)每一個(gè)部分的振動(dòng)情況，當(dāng)檢測(cè)到振動(dòng)數(shù)值超出設(shè)定數(shù)值后，系統(tǒng)就會(huì)報(bào)警。在演示案例中，Prophesee的方案能夠覆蓋1Hz到kHz范圍的振動(dòng)范圍，提供1個(gè)像素的精度。



高喆敏談到，由于EVS相機(jī)在時(shí)間域上是非常稠密的，通過(guò)跟蹤場(chǎng)景中每個(gè)像素的時(shí)間演變，能夠連續(xù)遠(yuǎn)程監(jiān)控振動(dòng)頻率，具有像素精度。因此，EVS相機(jī)在工業(yè)設(shè)備檢測(cè)上不會(huì)丟失關(guān)鍵信息，這是一個(gè)非常大的優(yōu)勢(shì)，有助于實(shí)現(xiàn)更好的設(shè)備維護(hù)。

基于EVS的運(yùn)動(dòng)檢測(cè)

Prophesee還演示了基于EVS相機(jī)的運(yùn)動(dòng)檢測(cè)應(yīng)用。通過(guò)XYT查看器可視化事件數(shù)據(jù)，揭露物體在時(shí)間和空間上連續(xù)變化的信息。如上所述，在這個(gè)應(yīng)用中，EVS相機(jī)可以揭示幀與幀之間的不可見(jiàn)內(nèi)容，并且可以放大時(shí)間，了解場(chǎng)景中的細(xì)微運(yùn)動(dòng)。



針對(duì)運(yùn)動(dòng)檢測(cè)應(yīng)用，高喆敏說(shuō)，EVS在捕獲運(yùn)動(dòng)信息時(shí)，不會(huì)呈現(xiàn)傳統(tǒng)相機(jī)提供的色彩、紋理和灰度值等信息，只能看到物理運(yùn)動(dòng)的邊緣信息，這個(gè)邊緣信息在時(shí)間戳上是非常稠密的。之所以能夠做到這樣連續(xù)的邊緣信息輸出，得益于EVS另一個(gè)顯著的特征：快，通過(guò)快速捕獲動(dòng)態(tài)信息的變化，克服了傳統(tǒng)相機(jī)在拍攝高速運(yùn)動(dòng)物體時(shí)掉幀的問(wèn)題。

基于第三方計(jì)算芯片打造的高級(jí)功能

Prophesee也展示了基于第三方計(jì)算芯片打造的高級(jí)功能。比如，在基于成本優(yōu)化的MCU平臺(tái)上演示數(shù)據(jù)流、以及端到端延遲事件處理實(shí)驗(yàn)。這個(gè)demo選擇的就是市面上非常常見(jiàn)的ST MCU。



基于ST MCU的demo演示專為嵌入式應(yīng)用設(shè)計(jì)，提供320×320 像素采用1/5光學(xué)格式，像素延遲@1k lux <150μs，動(dòng)態(tài)范圍為>120 dB。這個(gè)demo的典型應(yīng)用場(chǎng)景包括：

·AR/VR/XR和可穿戴設(shè)備
·眼動(dòng)追蹤
·手勢(shì)識(shí)別
·IoT和智能家居
·邊緣AI算法和機(jī)器學(xué)習(xí)
·Always on cameras
·醫(yī)療健康（保護(hù)隱私）攝像頭

高喆敏表示，在這個(gè)demo里Prophesee的EVS傳感器提供超低功耗模式，相關(guān)應(yīng)用的能效表現(xiàn)會(huì)非常好。在方案設(shè)計(jì)上，EVS相機(jī)不需要傳統(tǒng)相機(jī)所需的ISP模塊，能夠進(jìn)一步降低方案成本。

另一款demo是Prophesee攜手AMD推出的業(yè)界首款兼容 Kria? KV260視覺(jué)AI入門套件的事件視覺(jué)解決方案，專為高級(jí)視覺(jué)應(yīng)用開(kāi)發(fā)而構(gòu)建，無(wú)需開(kāi)發(fā)者擁有復(fù)雜的硬件設(shè)計(jì)知識(shí)或 FPGA 編程技能。



該套件中包含一款突破性的即插即用主動(dòng)光通信（Active Markers Tracking）應(yīng)用程序，支持>1,000Hz的3D位姿估算（3D pose estimation），能夠在像素級(jí)別上完全消除背景干擾，同時(shí)在復(fù)雜的照明條件下提供極高的魯棒性。該款應(yīng)用程序展現(xiàn)了Prophesee Metavision 事件視覺(jué)技術(shù)的獨(dú)特功能，為實(shí)現(xiàn)一系列全新的超高速跟蹤用例提供了助力，如游戲控制器跟蹤、建筑工地安全、重載防搖擺系統(tǒng)等。

產(chǎn)品迭代和資源支持

在產(chǎn)品迭代上，目前Prophesee已經(jīng)發(fā)布第五代EVS傳感器。第四代產(chǎn)品的空間分辨率是1280×720，是一個(gè)百萬(wàn)像素級(jí)的產(chǎn)品。第五代產(chǎn)品的空間分辨率是320×320，是一個(gè)十萬(wàn)級(jí)像素的產(chǎn)品。兩者之間的目標(biāo)應(yīng)用有明顯的差異。同時(shí)，為了進(jìn)一步體現(xiàn)低功耗的屬性，第五代EVS傳感器提供超低功耗的模式，可以分區(qū)感受環(huán)境的變化，打造目前熱門的“always on”應(yīng)用。高喆敏稱，在超低功耗模式下，Prophesee第五代EVS傳感器的功耗是微瓦級(jí)的。

為了幫助開(kāi)發(fā)人員更好地運(yùn)用EVS相機(jī)打造機(jī)器視覺(jué)應(yīng)用，Prophesee不僅是提供傳感器，也提供配套的開(kāi)發(fā)資源，包括開(kāi)發(fā)板和SDK等。同時(shí)，Prophesee也在積極籌建和運(yùn)營(yíng)EVS技術(shù)社群，讓更多開(kāi)發(fā)人員了解和參與到EVS相機(jī)的生態(tài)建設(shè)中。

結(jié)語(yǔ)

EVS相機(jī)的出現(xiàn)，解決了傳統(tǒng)相機(jī)每一幀捕獲的信息并不存在動(dòng)態(tài)信息，且每一幀之間的信息無(wú)法被捕捉的痛點(diǎn)，以模仿人眼的機(jī)制構(gòu)建了一個(gè)機(jī)器視覺(jué)的新范式。EVS相機(jī)不僅能夠連續(xù)捕捉動(dòng)態(tài)信息，且天然具有低功耗的特性，加上非常小的數(shù)據(jù)量傳輸，能夠顯著降低機(jī)器視覺(jué)的硬件門檻，讓更多應(yīng)用受益于這項(xiàng)先進(jìn)的技術(shù)。