01

研究成果概述

在光照不足的環(huán)境下實現(xiàn)動態(tài)場景的清晰、高幀率視頻是經(jīng)典成像領(lǐng)域的難題。近日，浙江大學(xué)光電科學(xué)與工程學(xué)院汪凱巍、白劍教授團隊聯(lián)合蘇黎世聯(lián)邦理工等國外科研團隊，為行業(yè)提供了基于事件相機（一種仿生傳感器）的解決方案。團隊提出了一種基于事件相機的統(tǒng)一幀插值與自適應(yīng)去模糊框架（REFID）。該框架基于雙向遞歸網(wǎng)絡(luò)，結(jié)合事件流和圖像信息，自適應(yīng)地融合來自不同時間點的信息，從而能夠在模糊的輸入幀情況下同步實現(xiàn)高質(zhì)量的插幀與模糊圖像還原。此外，研究團隊還發(fā)布了高分辨率事件-視頻數(shù)據(jù)集 HighREV，為事件相機低級視覺任務(wù)提供了新的測試基準。

相關(guān)研究成果以“A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild”為題于發(fā)表于人工智能領(lǐng)域頂級期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 。

02

研究背景

發(fā)明歷史超過60年的數(shù)字圖像傳感器，本質(zhì)上是基于光子積分原理的：當我們打開快門時，每個像元上發(fā)生光電轉(zhuǎn)換將光子轉(zhuǎn)化為電子實現(xiàn)圖像信息記錄，每完成一輪累積就輸出一幅圖（幀）。然而，當在光線不足的環(huán)境中拍攝動態(tài)場景時，由于需要長時間打開快門累積足夠的光子會帶來“運動模糊”，同時也無法獲得高幀率視頻。

最近十年逐漸被行業(yè)關(guān)注的事件相機是一種類生物視覺傳感器，它的輸出不依賴光子累積，因而具有高時間分辨率（微秒級）和高動態(tài)范圍（超過140dB）的優(yōu)勢，能夠捕捉傳統(tǒng)幀相機無法記錄的快速運動信息。因此，將事件信息與傳統(tǒng)圖像傳感器融合，指導(dǎo)每一幀圖像去除運動模糊，同時通過幀與幀之間的事件信息進行插值，有望同步實現(xiàn)暗光下的高幀率和清晰成像。

03

研究亮點

1

提出統(tǒng)一的事件相機幀插值與去模糊框架（REFID），能夠同時對銳利的視頻和模糊的視頻進行插幀。如圖1所示

?采用雙向遞歸網(wǎng)絡(luò)（bidirectional recurrent network），充分利用時間維度信息，在插值過程中自適應(yīng)去模糊。

?設(shè)計了事件引導(dǎo)的自適應(yīng)通道注意力模塊（EGACA），動態(tài)調(diào)整事件流與圖像信息的融合權(quán)重，提升插值質(zhì)量。

圖1. 統(tǒng)一的事件相機幀插值與去模糊框架, 同時實現(xiàn)對銳利的視頻和模糊的視頻進行還原和插幀

2

引入自監(jiān)督學(xué)習(xí)策略，提高模型泛化能力：

?通過事件生成模型和運動補償機制，構(gòu)建自監(jiān)督損失，提高模型在無監(jiān)督環(huán)境下的適應(yīng)性。

?在真實數(shù)據(jù)集（HighREV）上進行自監(jiān)督微調(diào)，實現(xiàn)從合成數(shù)據(jù)到真實數(shù)據(jù)的無縫遷移。引入自監(jiān)督學(xué)習(xí)策略，提高模型泛化能力：

?通過事件生成模型和運動補償機制，構(gòu)建自監(jiān)督損失，提高模型在無監(jiān)督環(huán)境下的適應(yīng)性。

?在真實數(shù)據(jù)集（HighREV）上進行自監(jiān)督微調(diào)，實現(xiàn)從合成數(shù)據(jù)到真實數(shù)據(jù)的無縫遷移。

圖2:自監(jiān)督訓(xùn)練/微調(diào)框架

3

構(gòu)建高分辨率事件-顏色視頻數(shù)據(jù)集（HighREV）：

?采用1632×1224分辨率的事件相機采集數(shù)據(jù)，涵蓋室內(nèi)外場景，提供高質(zhì)量事件流與RGB視頻對齊數(shù)據(jù)。

?該數(shù)據(jù)集填補了現(xiàn)有事件相機數(shù)據(jù)集中高分辨率和彩色數(shù)據(jù)的空缺，為事件相機的低級視覺任務(wù)提供新的測試基準。

實驗驗證：

?在標準基準數(shù)據(jù)集（GoPro、HighREV）上，REFID在清晰幀插值、模糊幀插值、單幀去模糊任務(wù)上均超越了當前最先進的方法。

?在自監(jiān)督微調(diào)場景下，REFID在真實世界數(shù)據(jù)集上的性能顯著提升，證明了其魯棒性和泛化能力。

圖3: 模糊視頻插幀和銳利視頻插幀結(jié)果（經(jīng)過了慢放處理）。左側(cè)視頻展示暗光下的原始視頻，可以看到運動帶來的模糊和由于低幀率帶來的不連續(xù)；中間視頻為對標算法的效果；右側(cè)視頻為本文提出的新方法的效果，實現(xiàn)了高幀率清晰成像

04

總結(jié)與展望

人工智能在應(yīng)用端的落地需要為智能終端提供穩(wěn)定可靠的視覺信息，事件相機作為一種仿生傳感器可以提供高時間分辨率的視覺信息，有望補充傳統(tǒng)傳感器在面對復(fù)雜場景下的不足。本研究提出的算法框架結(jié)合了兩者的優(yōu)勢，突破了傳統(tǒng)算法在運動模糊場景下的局限，首次在同一框架內(nèi)同時實現(xiàn)高幀率清晰成像。該方法有望在瞬態(tài)信息捕捉、慢動作視頻生成、視頻編輯、增強現(xiàn)實（AR）、智能駕駛等領(lǐng)域發(fā)揮重要作用。