今年1月初，瑞典初創(chuàng)公司Terranet宣布斬獲了來(lái)自汽車(chē)產(chǎn)業(yè)巨頭戴姆勒梅賽德斯奔馳的Voxelflow原型采購(gòu)訂單，訂單價(jià)值31000歐元。這筆采購(gòu)訂單是Terranet和戴姆勒于2020年10月簽署的諒解備忘錄（MoU）的延續(xù)，雙方的諒解備忘錄涉及ADAS和防撞解決方案的原型驗(yàn)證、產(chǎn)品開(kāi)發(fā)和產(chǎn)業(yè)化。下一步是將VoxelFlow集成到奔馳的測(cè)試車(chē)輛中。

實(shí)際Terranet的核心是基于事件的圖像傳感器（Event-based Camera Sensor，或Event-driven Camera Sensor，下文簡(jiǎn)稱(chēng)事件相機(jī)）。事件相機(jī)主要有兩種，DVS（Dynamic Vision Sensor）以及DAVIS（Dynamic and ActivePixel Vision Sensor）。DVS是普通的事件相機(jī)，而DAVIS就是在回傳事件的同時(shí)還可以回傳灰度圖。

事件相機(jī)的靈感來(lái)自人眼和動(dòng)物的視覺(jué)，也有人稱(chēng)之為硅視網(wǎng)膜。生物的視覺(jué)只針對(duì)有變化的區(qū)域才敏感，比如眼前突然掉下來(lái)一個(gè)物體，那么人眼會(huì)忽視背景，會(huì)將注意力集中在這個(gè)物體上，事件相機(jī)就是捕捉事件的產(chǎn)生或者說(shuō)變化的產(chǎn)生。在傳統(tǒng)的視覺(jué)領(lǐng)域，相機(jī)傳回的信息是同步的，所謂同步，就是在某一時(shí)刻t，相機(jī)會(huì)進(jìn)行曝光，把這一時(shí)刻所有的像素填在一個(gè)矩陣?yán)锘貍?，一張照片就誕生了。一張照片上所有的像素都對(duì)應(yīng)著同一時(shí)刻。

至于視頻，不過(guò)是很多幀的圖片，相鄰圖片間的時(shí)間間隔可大可小，這便是我們常說(shuō)的幀率（frame rate），也稱(chēng)為時(shí)延（time latency）。事件相機(jī)類(lèi)似于人類(lèi)的大腦和眼睛，跳過(guò)不相關(guān)的背景，直接感知一個(gè)場(chǎng)景的核心，創(chuàng)建純事件而非數(shù)據(jù)。

實(shí)際上自動(dòng)駕駛領(lǐng)域99%的視覺(jué)數(shù)據(jù)在AI處理中是無(wú)用的背景。這就好像檢測(cè)鬼探頭，變化的區(qū)域是很小一部分，但傳統(tǒng)的視覺(jué)處理仍然要處理99%的沒(méi)有出現(xiàn)變化的背景區(qū)域，這不僅浪費(fèi)了大量的算力，也浪費(fèi)了時(shí)間。亦或者像在沙礫里有顆鉆石，AI芯片和傳統(tǒng)相機(jī)需要識(shí)別每一顆沙粒，篩選出鉆石，但人類(lèi)只需要看一眼就能檢測(cè)到鉆石，AI芯片和傳統(tǒng)相機(jī)耗費(fèi)的時(shí)間是人類(lèi)的100倍或1000倍。

事件相機(jī)的工作機(jī)制是，當(dāng)某個(gè)像素所處位置的亮度發(fā)生變化達(dá)到一定閾值時(shí)，相機(jī)就會(huì)回傳一個(gè)上述格式的事件，其中前兩項(xiàng)為事件的像素坐標(biāo)，第三項(xiàng)為事件發(fā)生的時(shí)間戳，最后一項(xiàng)取值為極性（polarity）0、1（或者-1、1），代表亮度是由低到高還是由高到低，也常被稱(chēng)作Positive or Negative Event，又被稱(chēng)作On or Off Event。

就這樣，在整個(gè)相機(jī)視野內(nèi)，只要有一個(gè)像素值變化，就會(huì)回傳一個(gè)事件，這些所有的事件都是異步發(fā)生的（再小的時(shí)間間隔也不可能完全同時(shí)），所以事件的時(shí)間戳均不相同，由于回傳簡(jiǎn)單，所以和傳統(tǒng)相機(jī)相比，它具有低時(shí)延的特性，可以捕獲很短時(shí)間間隔內(nèi)的像素變化。延遲是微秒級(jí)的。

除了冗余信息減少和幾乎沒(méi)有延遲的優(yōu)點(diǎn)外，事件相機(jī)的優(yōu)點(diǎn)還有由于低時(shí)延，在拍攝高速物體時(shí)傳統(tǒng)相機(jī)會(huì)發(fā)生模糊（由于會(huì)有一段曝光時(shí)間），而事件相機(jī)幾乎不會(huì)。再就是真正的高動(dòng)態(tài)范圍，由于事件相機(jī)的特質(zhì)，在光強(qiáng)較強(qiáng)或較弱的環(huán)境下（高曝光和低曝光），傳統(tǒng)相機(jī)均會(huì)“失明”，但像素變化仍然存在，所以事件相機(jī)仍能看清眼前的東西。

傳統(tǒng)相機(jī)

事件相機(jī)

傳統(tǒng)相機(jī)的動(dòng)態(tài)范圍是無(wú)法做寬的，因?yàn)?a href="http://www.www27dydycom.cn/tags/放大器/" target="_blank">放大器會(huì)有線性范圍，照顧了低照度就無(wú)法適應(yīng)強(qiáng)光，反過(guò)來(lái)適應(yīng)了強(qiáng)光就無(wú)法顧及低照度。 事件相機(jī)在目標(biāo)追蹤、動(dòng)作識(shí)別等領(lǐng)域具備壓倒性?xún)?yōu)勢(shì)，尤其適合自動(dòng)駕駛領(lǐng)域。 空中一個(gè)球的軌跡

扔一個(gè)球，看看兩種相機(jī)的軌跡記錄

傳統(tǒng)相機(jī)的幀記錄

事件相機(jī)的軌跡記錄

事件相機(jī)的出現(xiàn)對(duì)高算力AI芯片是致命打擊，它只需要傳統(tǒng)高算力AI芯片1%甚至0.1%的算力就可完美工作，功耗是毫瓦級(jí)。并且它是基于流水線時(shí)間戳方式處理數(shù)據(jù)，而不是一幀幀地平面處理各個(gè)像素。傳統(tǒng)卷積算法可能無(wú)用，AI芯片最擅長(zhǎng)的乘積累加運(yùn)算可能沒(méi)有用武之地。

像特斯拉目前最頂配的FSD，8個(gè)攝像頭的分辨率只有130萬(wàn)像素，就已經(jīng)需要144TOPS的算力，而目前英偉達(dá)的自動(dòng)駕駛試驗(yàn)車(chē)型用的攝像頭已經(jīng)是800萬(wàn)像素，因此1000TOPS的算力是必須的，如此大的算力不僅帶來(lái)高成本，還有高熱量。除非能挖礦，否則是太浪費(fèi)了。即便如此，高算力和安全也沒(méi)有關(guān)系，攝像頭的幀率一般是30Hz，注定了至少有33毫秒的延遲，這個(gè)哪怕你的算力達(dá)到1億TOPS也于事無(wú)補(bǔ)。

為了準(zhǔn)確檢測(cè)行人并預(yù)測(cè)其路徑，需要多幀處理，至少是10幀，也就是330毫秒。這意味著相關(guān)系統(tǒng)可能需要數(shù)百毫秒才能實(shí)現(xiàn)有效探測(cè)，而對(duì)于一輛以60公里每小時(shí)行進(jìn)中的車(chē)輛來(lái)說(shuō)，330毫秒的時(shí)間就能行駛5.61米。

而事件相機(jī)理論上不超過(guò)1毫秒。 視頻即靜止圖像序列，計(jì)算機(jī)視覺(jué)一直朝著“視頻攝像頭+計(jì)算機(jī)+算法=機(jī)器視覺(jué)”的主流方向，卻很少人質(zhì)疑用圖像序列（視頻）表達(dá)視覺(jué)信息的合理性，更少人質(zhì)疑是否憑借該計(jì)算機(jī)視覺(jué)算法就能實(shí)現(xiàn)真正機(jī)器視覺(jué)。人類(lèi)視覺(jué)系統(tǒng)具有低冗余、低功耗、高動(dòng)態(tài)及魯棒性強(qiáng)等優(yōu)勢(shì)，可以高效地自適應(yīng)處理動(dòng)態(tài)與靜態(tài)信息，且具有極強(qiáng)地小樣本泛化能力和全面的復(fù)雜場(chǎng)景感知能力。

1990 年Mead 首次在《Proceedings of IEEE》上提出神經(jīng)形態(tài)（Neuromorphic）的概念，利用大規(guī)模集成電路來(lái)模擬生物神經(jīng)系統(tǒng)。1991 年 Mahowald 和Mead在《Scientific American》的封面刊登了一只運(yùn)動(dòng)的貓，標(biāo)志了第一款硅視網(wǎng)膜的誕生，其模擬了視網(wǎng)膜上視錐細(xì)胞、水平細(xì)胞以及雙極細(xì)胞的生物功能，正式點(diǎn)燃了神經(jīng)形態(tài)視覺(jué)傳感器這一新興領(lǐng)域。

Mahowald解釋稱(chēng)，“模仿人類(lèi)視網(wǎng)膜，這種‘硅視網(wǎng)膜’通過(guò)從圖像中減去平均強(qiáng)度水平，只報(bào)告空間和時(shí)間變化，從而減少了帶寬?！?993 年 Mahowald團(tuán)隊(duì)為了解決集成電路的稠密三維連線的問(wèn)題，提出了一種新型的集成電路通信協(xié)議，即地址事件協(xié)議（Address-Event Representation， AER ），實(shí)現(xiàn)了事件的異步讀出。2003年Culurciello 等人設(shè)計(jì)了一種 AER 方式的積分發(fā)放的脈沖模型，將像素光強(qiáng)編碼為頻率或脈沖間隔，稱(chēng)為章魚(yú)視網(wǎng)膜（Octopus Retina）。2005年 Delbruck 團(tuán)隊(duì)研制出動(dòng)態(tài)視覺(jué)傳感器（Dynamic Vision Sensor， DVS），以時(shí)空異步稀疏的事件表示像素光強(qiáng)變化，其商業(yè)化具有里程牌的意義。

然而，DVS無(wú)法捕捉自然場(chǎng)景的精細(xì)紋理圖像。2008 年 Posh 等人提出了一種基于異步視覺(jué)的圖像傳感器（Asynchronous Time-based Image Sensor， ATIS），引入了基于事件觸發(fā)的光強(qiáng)測(cè)量電路來(lái)重構(gòu)變化處的像素灰度。

分型視覺(jué)采樣

硅視網(wǎng)膜這種靈感推動(dòng)了動(dòng)態(tài)視覺(jué)傳感器背后的概念，使蘇黎世聯(lián)邦理工學(xué)院成為該技術(shù)的創(chuàng)新中心，并孕育了像Prophesee、Insightness等無(wú)數(shù)初創(chuàng)企業(yè)。瑞士創(chuàng)新公司iniVation也是其中之一

。百度則資助了CelePixel，后來(lái)韋爾股份收購(gòu)了Celepixel。還有中科創(chuàng)星和聯(lián)想創(chuàng)投聯(lián)合投資的銳思智芯。 目前主要是索尼和三星在激烈競(jìng)爭(zhēng)。初創(chuàng)公司不得不和這些傳感器巨頭合作，如Prophesee和索尼，iniVation和三星。

2019年12月，索尼悄悄收購(gòu)了總部位于蘇黎世的Insightness公司。三星為其移動(dòng)和平板電腦應(yīng)用的動(dòng)態(tài)視覺(jué)傳感器（Dynamic Vision Sensor， DVS）技術(shù)提交了商標(biāo)申請(qǐng)。 Prophesee和索尼是目前最接近商業(yè)化的。2020年2月，總部位于巴黎的Prophesee公司在完成2800萬(wàn)美元額外融資后不久，和索尼一起在美國(guó)舊金山舉行的國(guó)際固態(tài)電路會(huì)議（International Solid-State Circuits Conference）上聯(lián)合發(fā)布了這個(gè)130萬(wàn)像素的事件相機(jī)圖像傳感器。

新款基于事件的圖像傳感器分辨率為1280 x 720像素，填充系數(shù)為77%，300MEPS版本的功耗為73mW。當(dāng)基于幀的圖像傳感器根據(jù)幀速率以固定的間隔輸出整幅圖像時(shí)，基于事件的圖像傳感器使用“行選擇仲裁電路”異步選擇像素?cái)?shù)據(jù)。通過(guò)在亮度發(fā)生變化的像素地址中添加1μs精度的時(shí)間信息，以確保具有高時(shí)間分辨率的事件數(shù)據(jù)讀出。通過(guò)有效壓縮事件數(shù)據(jù)，即每個(gè)事件的亮度變化極性、時(shí)間和x/y坐標(biāo)信息，實(shí)現(xiàn)了1.066Geps的高輸出事件發(fā)生率。

事件相機(jī)圖像傳感器并不復(fù)雜，每個(gè)像素都包含一個(gè)檢測(cè)亮度變化的電路。

理念非常簡(jiǎn)潔，但是要商業(yè)化就要注意控制成本，對(duì)芯片來(lái)說(shuō)，面積越大意味著成本越高，檢測(cè)亮度變化的電路增加了面積，這意味著事件相機(jī)的像素會(huì)隨著分辨率的增加而成本大增。索尼的BSI技術(shù)是關(guān)鍵，將背照式CMOS圖像傳感器部分（頂部芯片）和邏輯電路（底部芯片）堆疊時(shí)，通過(guò)連接的銅焊盤(pán)提供電連續(xù)性的技術(shù)。

與硅通孔（Through Silicon Via， TSV）布線相比，通過(guò)在像素區(qū)域周?chē)┩鸽姌O來(lái)實(shí)現(xiàn)連接，與之相比，此方法在設(shè)計(jì)上具有更大的自由度，提高了生產(chǎn)率，縮小了尺寸并提高了性能。索尼于2016年12月在舊金山舉行的國(guó)際電子設(shè)備會(huì)議（IEDM）上宣布了這項(xiàng)技術(shù)。也靠這項(xiàng)技術(shù)穩(wěn)居圖像傳感器霸主位置。

通過(guò)在像素芯片（頂部）只放置背光像素和N型MOS晶體管的一部分，將光孔進(jìn)光率提高到77%，從而實(shí)現(xiàn)業(yè)界最高的124dB HDR性能（或更高）。索尼在CMOS圖像傳感器開(kāi)發(fā)過(guò)程中經(jīng)年累積的高靈敏度/低噪聲技術(shù)使得事件檢測(cè)能在微光條件下（40mlx）進(jìn)行。像素芯片（頂部）和邏輯芯片（底部）結(jié)合信號(hào)處理電路，檢測(cè)亮度變化基于異步增量調(diào)制法分別排列。兩個(gè)單獨(dú)芯片的每個(gè)像素都使用Cu-Cu連接以堆疊配置進(jìn)行電連接。除了業(yè)界較小的4.86μm像素尺寸，該傳感器通過(guò)采用精細(xì)的40nm邏輯工藝實(shí)現(xiàn)高密度集成，為1/2英寸，1280x720高清分辨率。

事件相機(jī)仍然無(wú)法取代激光雷達(dá)或雙目系統(tǒng)，因?yàn)樗鼰o(wú)法提供深度信息，因此事件相機(jī)必須配合激光雷達(dá)才能實(shí)現(xiàn)完美的3D感知。這就回到了文章開(kāi)頭，Terranet的秘密武器就是事件相機(jī)，Terranet用事件相機(jī)增強(qiáng)激光雷達(dá)的性能，這就是Terranet開(kāi)發(fā)的所謂VoxelFlow，Terranet認(rèn)為現(xiàn)在很多環(huán)境感知系統(tǒng)所使用的攝像頭和傳感器并不比蘋(píng)果iPhone的標(biāo)準(zhǔn)配置強(qiáng)多少，而iPhone的FaceID每幀也只能產(chǎn)生33000個(gè)光點(diǎn)。

Terranet公司目前正在開(kāi)發(fā)的基于事件的傳感技術(shù)VoxelFlow，能夠憑借很低的算力，以極低的延時(shí)對(duì)動(dòng)態(tài)移動(dòng)物體進(jìn)行分類(lèi)。VoxelFlow技術(shù)每秒可以生成1000萬(wàn)個(gè)3D點(diǎn)云，提供沒(méi)有運(yùn)動(dòng)模糊的快速邊緣檢測(cè)?；谑录膫鞲衅鞯某脱訒r(shí)性能，能夠確保車(chē)輛及時(shí)應(yīng)對(duì)“鬼探頭”問(wèn)題，采取緊急制動(dòng)、加速或繞過(guò)突然出現(xiàn)在車(chē)輛后方的物體以避免碰撞事故。Voxelflow是一種新型的計(jì)算機(jī)視覺(jué)解決方案，它由三個(gè)基于事件的攝像頭和一個(gè)激光掃描儀組成。Voxelflow用主動(dòng)照明技術(shù)通過(guò)3D三角測(cè)量，創(chuàng)建帶時(shí)間戳的點(diǎn)云（x、y、z）光柵圖像。

現(xiàn)在的AI本質(zhì)上還是一種蠻力計(jì)算，依靠海量數(shù)據(jù)和海量算力，對(duì)數(shù)據(jù)集和算力的需求不斷增加，這顯然離初衷越來(lái)越遠(yuǎn)，文明的每一次進(jìn)步都帶來(lái)效率的極大提高，唯有效率的提高才是進(jìn)步，而依賴(lài)海量數(shù)據(jù)和海量算力的AI則完全相反，效率越來(lái)越低，事件相機(jī)才是正確的方向。

編輯：jq