Prophesee為其事件驅動的人工智能（AI）視覺開發(fā)生態(tài)系統(tǒng)新增開源模塊和訓練數(shù)據(jù)資源庫。

開源模塊和訓練數(shù)據(jù)資源庫

據(jù)麥姆斯咨詢報道，法國AI視覺開發(fā)商Prophesee面向光流和目標探測等AI視覺應用，發(fā)布了一套關鍵的開源軟件模塊和一組事件驅動的機器學習工具。

Metavision Intelligence套件

作為Metavision Intelligence套件的一部分，Prophesee向開發(fā)者提供了業(yè)界最大的高清事件驅動數(shù)據(jù)集OpenEB（免費下載）。這有助于開發(fā)人員使用事件驅動的方法來進行機器學習，這種方法由場景的變化而不是神經網(wǎng)絡框架觸發(fā)。

和人眼視覺原理類似，Prohesee開發(fā)的傳感器只有在感知到場景變化時才會進行記錄，不同于傳統(tǒng)圖像傳感器以固定的幀時鐘記錄圖像信息。即僅在場景發(fā)生變化時，這種基于事件的視覺傳感器上的像素才做出反應，場景中靜態(tài)的部分都不會被捕捉。

Prohesee基于事件驅動的圖像傳感器

這種基于事件的視覺感知設計，主要有三大優(yōu)勢：產生數(shù)據(jù)量更少；反應速度更快；以及實現(xiàn)更高的動態(tài)范圍（》120 dB）。這些優(yōu)勢對于當代機器視覺而言極具價值，尤其在減少數(shù)據(jù)量的問題上，對于有限的通信、存儲與計算資源都顯得相當友好。

傳統(tǒng)基于幀和Prophesee基于事件的視覺傳感器成像對比

Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre解釋稱：“所謂‘事件’，是指一個像素激活自身并發(fā)送事件檢測到發(fā)生的X、Y坐標和時間戳。傳感器上每個像素獨立接收光子，光電二極管因此產生電流，進行累加之后，像素再持續(xù)地將電流的實時電荷電壓與參考值做比較。在電壓增減達到一定程度時，該像素就會發(fā)出一個事件。整個過程是μs級別的速度。”

首款事件驅動AI相機已出貨

日本CenturyArk推出的SilkyEvCam人工智能相機，采用了Prophesee的事件驅動圖像傳感器和軟件

日本CenturyArk在2020年末面向廣泛的工業(yè)機器視覺應用推出了超小型USB攝像頭SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision視覺傳感器以及Metavision Intelligence套件。為采用事件驅動方案的機器視覺開發(fā)人員，提供了更快的上市時間。

相比傳統(tǒng)基于幀的視覺傳感技術，這款相機采用了基于時間的Metavision視覺傳感器，將場景中收集的數(shù)據(jù)量減少了1000倍，顯著提高了性能。這種事件驅動方案能夠以等效10000 fps以上的時間分辨率進行高速視覺，并支持超過120 dB的寬動態(tài)范圍，使其適合在苛刻的照明條件下進行高效運行。

在此基礎上，這款相機率先提供了對Metavision Intelligence套件的全面支持，這是業(yè)界最全面的一套開發(fā)工具，用于加速機器視覺系統(tǒng)中對基于事件的視覺技術的探索和實現(xiàn)過程。該套件包含62種算法、54個代碼示例和11個現(xiàn)成的應用程序。它為用戶提供了C++和Python API以及大量的文檔和示例，通過增加難度來逐步引入基于事件的機器視覺的基本概念。

Prophesee最新發(fā)布的Metavision Intelligence版本增加了一套擴展的開發(fā)工具和軟件，用于設計具有事件驅動機器學習的工業(yè)視覺系統(tǒng)。該套件現(xiàn)在包括近100種算法、67個代碼樣本以及11個特定用例的應用模塊，可以加速用戶的開發(fā)過程。

OpenEB的開源模塊可以通過Github獲取，它允許設計人員構建自定義插件，并兼容用于開發(fā)事件驅動系統(tǒng)的Metavision Intelligence套件。它為開發(fā)者提供了一個跨機器視覺生態(tài)系統(tǒng)共享軟件組件的平臺。

“我們希望在機器視覺生態(tài)系統(tǒng)中建立一個開放的技術標準，實現(xiàn)易得性和互操作性的新高度?！盠uca Verre說，“我們的方案為基于事件的技術提供了持續(xù)增長的生態(tài)系統(tǒng)，具有豐富的開放基礎和強大的開發(fā)框架。它包括了我們多年來收集的廣泛而可靠的數(shù)據(jù)，以及利用我們在各種用例中積累的專業(yè)知識，加速客戶特定系統(tǒng)開發(fā)的應用模塊?！?/p>

OpenEB數(shù)據(jù)庫為相機制造商及其客戶提供了標準的基于事件的數(shù)據(jù)格式。Metavision Intelligence套件的開源模塊，可以兼容相機制造商及其客戶的生態(tài)系統(tǒng)。Prophesee開源許可提供關鍵模塊，可以加速定制插件的創(chuàng)建，同時確保兼容相機制造商提供的底層硬件。

從Prophesee過去四年來創(chuàng)建的實際序列數(shù)據(jù)集開始，其開發(fā)環(huán)境為機器學習應用的快速發(fā)展提供了一個完整平臺。開發(fā)人員可以利用各種工具指導神經網(wǎng)絡模型的開發(fā)，對基于事件的數(shù)據(jù)進行推理，以進行用于目標探測的監(jiān)督訓練和用于光流的自監(jiān)督訓練，均為基于事件的視覺應用進行了優(yōu)化。

此外，開發(fā)人員可以利用提供的基于事件的模擬器輕松創(chuàng)建自己的模型，或利用其現(xiàn)有的基于幀的數(shù)據(jù)集和模型，并使用基于事件的視覺對其進行改進。

Metavision Intelligence套件添加了新的即用型應用，并可以通過基于事件的視覺進行增強，其中包括：

- 粒度監(jiān)測：在生產線上以極高的速度（高達50000像素/秒），對通過視場的物體進行計數(shù)和測量，計數(shù)精度高達99.9%，從而確保更好地控制過程。

- 噴射監(jiān)測：實時監(jiān)測液體分配的速度和質量。對高速噴射進行檢測和計數(shù)，支持高達500 Hz的噴射分配，并在分配器出現(xiàn)錯誤時自動生成警報。

- 輪廓特征跟蹤：利用基于事件的傳感器提供的低數(shù)據(jù)率和稀疏信息，以較低的算力實現(xiàn)超穩(wěn)健的3D目標實時跟蹤。
編輯：lyn