電子發(fā)燒友網(wǎng)報道（文/黃晶晶）在前不久舉辦的高通驍龍8 Gen2新品發(fā)布會上高通介紹了一款基于事件的視覺傳感器。這款傳感器是由神經(jīng)視覺技術公司普諾飛思Prophesee研發(fā)的全球首個基于事件的視覺傳感器，能夠?qū)崿F(xiàn)亞毫秒級別時標時間，相當于每秒能捕獲10000fps的數(shù)據(jù)，并且比標準方式少處理10至1000倍數(shù)據(jù)。同時，在這個事件驅(qū)動傳感器的加持下，Spectra ISP能夠在被極端光線隱藏的情境下實現(xiàn)大于120dB的寬動態(tài)范圍，而能效水平可以小于10mW。Prophesee正是一家研發(fā)基于事件的視覺傳感器的科技公司，電子發(fā)燒友網(wǎng)在近期的一次展會上采訪了Prophesee副總裁兼大中華區(qū)總經(jīng)理楊雪飛，了解這項技術和應用的最新進展。

“傳統(tǒng)上由于曝光時間的存在手機拍攝運動物體會有模糊的現(xiàn)象?；谑录囊曈X傳感器，由于數(shù)據(jù)量小、數(shù)據(jù)傳輸速度快，在曝光的時間過程中運動物體的輪廓信息始終會是清晰的。”楊雪飛談到基于事件的視覺傳感器的好處。

為了使拍攝畫面更清晰，一些手機廠商創(chuàng)新地使用了光學防抖、微云臺等技術。但也存在搭載這類技術的成本高，以及精密機械裝置掉落易損壞等問題。楊雪飛表示，如果能用普通RGB攝像頭加上基于事件的視覺傳感器，再搭配軟件算法的方式進行去模糊處理將是很大的技術進步。并可望替代光學防抖，顯著降低零組件成本。

據(jù)了解，目前已經(jīng)有幾家手機廠商在開發(fā)基于事件的視覺傳感器的方案。

楊雪飛分析，一般來說圖像采集后通過ISP解析，例如與某手機廠商合作時后端接高通的芯片組，通過ISP芯片進行圖像處理，用軟件算法調(diào)整畫質(zhì)。未來后端也可以直接接AI芯片，通過神經(jīng)網(wǎng)絡的系統(tǒng)做算法抽取，能夠更快的識別物體。

類似的方案不僅可用于智能手機，還可以結(jié)合基于AI、機器學習的各類應用場景，例如XRVR應用做眼球追蹤，可實時追蹤眼球的運動方向，在測試當中測試人員可遠距離操控電腦的音量大小等。

基于事件的視覺傳感器同樣是采用CMOS工藝，但又與現(xiàn)有CMOS圖像傳感器所不同。

楊雪飛解析，我們核心的模擬電路和數(shù)字電路的設計方案和現(xiàn)有CMOS圖像傳感器的方案不同。我們可以實現(xiàn)全異步的輸出，而現(xiàn)有的圖像傳感器都是以幀為單位的同步輸出。異步輸出是我們最核心的一個不同點。

雖然都是通過像素技術來傳遞影像，但我們的方案可以讓每一個像素獨立工作，不需要和周圍的像素相關聯(lián)。獨立工作的優(yōu)點是可以隨時輸出信號，并且數(shù)據(jù)量大幅度減少。它可以屏蔽掉靜態(tài)的場景信息，只輸出動態(tài)場景。而動態(tài)的信息才是機器最關心的。因為電腦要判斷的是快速變化對它可能產(chǎn)生的影響，或者需要抓取的這些動態(tài)變化的場景。

未來在解析度上，一個方向是技術升級走向越高清晰度，從HD、720P到full HD，1080P。另一方面正如前述的眼球追蹤等技術，它可以不需要太高的解析度，但需要更低功耗和更小尺寸。在高端和低成本低功耗兩大路線上Prophesee都將推進發(fā)展。

基于事件的視覺傳感器技術來自于仿生源。Prophesee這家法國公司在成立最初也是為了推動歐盟的幫忙盲人復明的項目。

楊雪飛分析，在人眼的視網(wǎng)膜上面有兩種感光的細胞，一種叫視錐細胞，一種叫視桿細胞。我們看色彩用的是視錐細胞，在視網(wǎng)膜上面大概只有幾百萬個。而在我們視網(wǎng)膜上有上億個視桿細胞，視桿細胞才使得我們大腦皮層真正形成圖像。因為視錐細胞給大腦皮層一個靜態(tài)圖像，但是我們之所以能夠看到很迅速的變化，比如有一個東西經(jīng)過，通過眼角的余光能感覺到。這個眼角的余光其實更多用的是視桿細胞，它告訴大腦亮度、運動變化，大腦就會形成一個影像。

歐盟的一個項目希望通過仿生學的技術幫助一些因視桿細胞問題而失明的人。而這一技術也逐漸拓展到工業(yè)應用，Prophesee的前幾代視覺傳感器產(chǎn)品已在歐洲、日本等地有多個落地項目。

在現(xiàn)場展示的一個應用于港口吊運貨物的項目中，Prophesee基于事件視覺傳感器的方案能夠建立三維建模的場景，傳統(tǒng)上這種三維建模需要拍大量的圖像和大量的數(shù)據(jù)進行分析，而Prophesee的方案搭配6個不同閃爍頻率的LED燈，相機通過精確地捕捉LED燈的閃爍頻率區(qū)別每個燈來進行建模，從而獲取貨物運動的狀態(tài)畫面。

圖源：電子發(fā)燒友網(wǎng)拍攝

Prophesee從2015年量產(chǎn)第一代傳感器開始，基本保持兩年一代的迭代速度，已陸續(xù)發(fā)布四代傳感器，2023年將發(fā)布第五代傳感器，會在消費類、工業(yè)類等領域推出滿足不同需求的解決方案。

Prophesee作為一家神經(jīng)擬態(tài)視覺傳感器初創(chuàng)企業(yè)也得到了行業(yè)的關注和投資。索尼不僅投資了Prophesee，成為其股東，也與其進行合作開發(fā)。例如Prophesee第四代傳感器就是和索尼合作開發(fā)，還有索尼已經(jīng)有兩個傳感器型號用到Prophesee的技術，是將索尼的CMOS圖像傳感器技術與Prophesee獨特的基于事件的 Metavision視覺傳感器技術相結(jié)合而實現(xiàn)的。

2021年國內(nèi)投資機構(gòu)韋豪創(chuàng)芯（依托于韋爾股份投資和支持）也投資了Prophesee。不難看出，CMOS圖像傳感器廠商都對Prophesee給予了密切的關注和認可。在最新與高通進行聯(lián)合開發(fā)之后，這一基于事件的視覺傳感器又將給智能手機市場的創(chuàng)新帶來濃墨重彩的風景。

聲明：本文由電子發(fā)燒友原創(chuàng)，轉(zhuǎn)載請注明以上來源。如需入群交流，請?zhí)砑游⑿舉lecfans999，投稿爆料采訪需求，請發(fā)郵箱huangjingjing@elecfans.com。

更多熱點文章閱讀

• 馬斯克：預計6個月后進行大腦芯片的人體試驗，愿意給自己孩子植入

• 硅料降價拐點來臨，光伏市場有望重啟裝機潮

• 造車新勢力11月銷量：哪吒第一，蔚理進前三，小鵬依舊墊底

• 行業(yè)機構(gòu)頻發(fā)警報 2023年全球半導體市場面臨下滑風險

• 富士康失去iPhone 14 Pro獨家代工資格！立訊和碩上位，果鏈格局大變？