電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）在前不久舉辦的高通驍龍8 Gen2新品發(fā)布會(huì)上高通介紹了一款事件視覺(jué)傳感器。這款傳感器由神經(jīng)視覺(jué)技術(shù)公司Prophesee研發(fā)的全球首個(gè)事件視覺(jué)傳感器，能夠?qū)崿F(xiàn)亞毫秒級(jí)別時(shí)標(biāo)時(shí)間，相當(dāng)于每秒能捕獲10000fps的數(shù)據(jù)，并且比標(biāo)準(zhǔn)方式少處理10至1000倍數(shù)據(jù)。同時(shí)，在這個(gè)事件驅(qū)動(dòng)傳感器的加持下，Spectra ISP能夠在被極端光線隱藏的情境下實(shí)現(xiàn)大于120dB的寬動(dòng)態(tài)范圍，而能效水平可以小于10mW。Prophesee正是事件視覺(jué)技術(shù)的發(fā)明者和全球市場(chǎng)的領(lǐng)導(dǎo)者，電子發(fā)燒友網(wǎng)在近期的一次展會(huì)上采訪了Prophesee副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w，了解這項(xiàng)技術(shù)和應(yīng)用的最新進(jìn)展。

已有多家手機(jī)廠商關(guān)切事件視覺(jué)傳感器

“傳統(tǒng)上由于曝光時(shí)間的存在手機(jī)拍攝運(yùn)動(dòng)物體會(huì)有模糊的現(xiàn)象。事件視覺(jué)傳感器，由于數(shù)據(jù)量小、數(shù)據(jù)傳輸速度快，在曝光的時(shí)間過(guò)程中運(yùn)動(dòng)物體的輪廓信息始終會(huì)是清晰的。”楊雪飛談到事件視覺(jué)傳感器的好處。

為了使拍攝畫面更清晰，一些手機(jī)廠商創(chuàng)新地使用了光學(xué)防抖、微云臺(tái)等技術(shù)。但也存在搭載這類技術(shù)的成本高，以及精密機(jī)械裝置掉落易損壞等問(wèn)題。楊雪飛表示，如果能用普通RGB攝像頭加上事件視覺(jué)傳感器，再搭配軟件算法的方式進(jìn)行去模糊處理將是很大的技術(shù)進(jìn)步。并可望替代光學(xué)防抖，顯著降低零組件成本。

據(jù)了解，目前已經(jīng)有幾家手機(jī)廠商在開(kāi)發(fā)事件視覺(jué)傳感器的方案。

楊雪飛分析，一般來(lái)說(shuō)圖像采集后通過(guò)ISP解析，例如與某手機(jī)廠商合作時(shí)后端接高通的芯片組，通過(guò)ISP芯片進(jìn)行圖像處理，用軟件算法調(diào)整畫質(zhì)。未來(lái)后端也可以直接接AI芯片，通過(guò)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)做算法抽取，能夠更快的識(shí)別物體。

類似的方案不僅可用于智能手機(jī)，還可以結(jié)合基于AI、機(jī)器學(xué)習(xí)的各類應(yīng)用場(chǎng)景，例如XRVR應(yīng)用做眼球追蹤，可實(shí)時(shí)追蹤眼球的運(yùn)動(dòng)方向，在測(cè)試當(dāng)中測(cè)試人員可遠(yuǎn)距離操控電腦的音量大小等。

事件視覺(jué)傳感器是怎樣的

事件視覺(jué)傳感器同樣是采用CMOS工藝，但又與現(xiàn)有CMOS圖像傳感器所不同。

楊雪飛解析，我們核心的模擬電路和數(shù)字電路的設(shè)計(jì)方案和現(xiàn)有CMOS圖像傳感器的方案不同。我們可以實(shí)現(xiàn)全異步的輸出，而現(xiàn)有的圖像傳感器都是以幀為單位的同步輸出。異步輸出是我們最核心的一個(gè)不同點(diǎn)。

雖然都是通過(guò)像素技術(shù)來(lái)傳遞影像，但我們的方案可以讓每一個(gè)像素獨(dú)立工作，不需要和周圍的像素相關(guān)聯(lián)。獨(dú)立工作的優(yōu)點(diǎn)是可以隨時(shí)輸出信號(hào)，并且數(shù)據(jù)量大幅度減少。它可以屏蔽掉靜態(tài)的場(chǎng)景信息，只輸出動(dòng)態(tài)場(chǎng)景。而動(dòng)態(tài)的信息才是機(jī)器最關(guān)心的。因?yàn)殡娔X要判斷的是快速變化對(duì)它可能產(chǎn)生的影響，或者需要抓取的這些動(dòng)態(tài)變化的場(chǎng)景。

未來(lái)在解析度上，一個(gè)方向是技術(shù)升級(jí)走向越高清晰度，從HD、720P到full HD，1080P。另一方面正如前述的眼球追蹤等技術(shù)，它可以不需要太高的解析度，但需要更低功耗和更小尺寸。在高端和低成本低功耗兩大路線上Prophesee都將推進(jìn)發(fā)展。

仿生學(xué)技術(shù)逐漸商用化

事件視覺(jué)傳感器技術(shù)來(lái)自于仿生源。Prophesee這家法國(guó)公司在成立最初也是為了推動(dòng)歐盟的幫忙盲人復(fù)明的項(xiàng)目。

楊雪飛分析，在人眼的視網(wǎng)膜上面有兩種感光的細(xì)胞，一種叫視錐細(xì)胞，一種叫視桿細(xì)胞。我們看色彩用的是視錐細(xì)胞，在視網(wǎng)膜上面大概只有幾百萬(wàn)個(gè)。而在我們視網(wǎng)膜上有上億個(gè)視桿細(xì)胞，視桿細(xì)胞才使得我們大腦皮層真正形成圖像。因?yàn)橐曞F細(xì)胞給大腦皮層一個(gè)靜態(tài)圖像，但是我們之所以能夠看到很迅速的變化，比如有一個(gè)東西經(jīng)過(guò)，通過(guò)眼角的余光能感覺(jué)到。這個(gè)眼角的余光其實(shí)更多用的是視桿細(xì)胞，它告訴大腦亮度、運(yùn)動(dòng)變化，大腦就會(huì)形成一個(gè)影像。

歐盟的一個(gè)項(xiàng)目希望通過(guò)仿生學(xué)的技術(shù)幫助一些因視桿細(xì)胞問(wèn)題而失明的人。而這一技術(shù)也逐漸拓展到工業(yè)應(yīng)用，Prophesee的前幾代視覺(jué)傳感器產(chǎn)品已在歐洲、日本等地有多個(gè)落地項(xiàng)目。

在現(xiàn)場(chǎng)展示的一個(gè)應(yīng)用于港口吊運(yùn)貨物的項(xiàng)目中，Prophesee基于事件視覺(jué)傳感器的方案能夠建立三維建模的場(chǎng)景，傳統(tǒng)上這種三維建模需要拍大量的圖像和大量的數(shù)據(jù)進(jìn)行分析，而Prophesee的方案搭配6個(gè)不同閃爍頻率的LED燈，相機(jī)通過(guò)精確地捕捉LED燈的閃爍頻率區(qū)別每個(gè)燈來(lái)進(jìn)行建模，從而獲取貨物運(yùn)動(dòng)的狀態(tài)畫面。

圖源：電子發(fā)燒友網(wǎng)拍攝

Prophesee從2015年量產(chǎn)第一代傳感器開(kāi)始，基本保持兩年一代的迭代速度，已陸續(xù)發(fā)布四代傳感器，2023年將發(fā)布第五代傳感器，會(huì)在消費(fèi)類、工業(yè)類等領(lǐng)域推出滿足不同需求的解決方案。

Prophesee作為一家神經(jīng)擬態(tài)視覺(jué)傳感器初創(chuàng)企業(yè)也得到了行業(yè)的關(guān)注和投資。索尼不僅投資了Prophesee，成為其股東，也與其進(jìn)行合作開(kāi)發(fā)。例如Prophesee第四代傳感器就是和索尼合作開(kāi)發(fā)，還有索尼已經(jīng)有兩個(gè)傳感器型號(hào)用到Prophesee的技術(shù)，是將索尼的CMOS圖像傳感器技術(shù)與Prophesee獨(dú)特的基于事件的Metavision視覺(jué)傳感器技術(shù)相結(jié)合而實(shí)現(xiàn)的。

2021年國(guó)內(nèi)投資機(jī)構(gòu)韋豪創(chuàng)芯（依托于韋爾股份投資和支持）也投資了Prophesee。不難看出，CMOS圖像傳感器廠商都對(duì)Prophesee給予了密切的關(guān)注和認(rèn)可。在最新與高通進(jìn)行聯(lián)合開(kāi)發(fā)之后，這一事件視覺(jué)傳感器又將給智能手機(jī)市場(chǎng)的創(chuàng)新帶來(lái)濃墨重彩的風(fēng)景。