華盛頓大學(xué)教授 Arka Majumdar 和他的學(xué)生與普林斯頓大學(xué)合作，構(gòu)建了一種專為計算機視覺設(shè)計的新型緊湊型相機。他們的原型(如上圖所示)使用光學(xué)器件進行計算，顯著降低了功耗，并使相機能夠以光速識別物體。

協(xié)作可以是一件美妙的事情，尤其是當(dāng)人們共同努力創(chuàng)造出新事物時。以華盛頓大學(xué)(UW)電氣與計算機工程及物理學(xué)教授阿爾卡·馬宗達爾(Arka Majumdar)與普林斯頓大學(xué)計算機科學(xué)助理教授費利克斯·海德(Felix Heide)之間的長期合作為例。

他們與學(xué)生們共同完成了一些令人矚目的研究，包括將相機縮小至鹽粒大小，同時仍能捕捉清晰、銳利的圖像。

如今，這對搭檔正在此基礎(chǔ)上繼續(xù)推進，他們在《科學(xué)進展》(Science Advances)期刊上發(fā)表了一篇論文，描述了一種為計算機視覺設(shè)計的新型緊湊型相機。計算機視覺是一種人工智能技術(shù)，使計算機能夠識別圖像和視頻中的物體。

Majumdar 和 Hide 的研究原型利用光學(xué)進行計算，顯著降低了功耗，并使相機能夠以光速識別物體。他們的設(shè)備還代表了計算機視覺領(lǐng)域的一種新方法。

Majumdar說：“這是一種全新的光學(xué)思維方式，與傳統(tǒng)光學(xué)截然不同。這是一種端到端的設(shè)計，光學(xué)與計算模塊協(xié)同設(shè)計。在這里，我們用工程光學(xué)取代了相機鏡頭，這使得我們可以將大量計算任務(wù)轉(zhuǎn)移到光學(xué)中。”

該論文的主要研究者和資深作者Hide補充道：“這項研究有非常廣泛的應(yīng)用，從自動駕駛汽車、自動駕駛卡車和其他機器人到醫(yī)療設(shè)備和智能手機。如今，每一部iPhone都內(nèi)置了人工智能或視覺技術(shù)。這項工作仍處于非常早期的階段，但所有這些應(yīng)用未來都可能從我們的研究中受益。”

Hide和他在普林斯頓的學(xué)生們設(shè)計了相機原型，這是一種緊湊的光學(xué)計算芯片。Majumdar貢獻了他在光學(xué)領(lǐng)域的專業(yè)知識，幫助設(shè)計相機，他和他的學(xué)生在華盛頓納米加工實驗室制造了芯片。

這項多機構(gòu)研究團隊的華盛頓大學(xué)成員包括華盛頓大學(xué)電氣與計算機工程系(UW ECE)的博士后學(xué)者Johannes Froech和James Whitehead博士，他在研究期間是Majumdar實驗室的博士生。

用工程光學(xué)元件取代相機鏡頭

與使用由玻璃或塑料制成的傳統(tǒng)相機鏡頭不同，這種相機的光學(xué)系統(tǒng)依賴于50層超透鏡(meta-lenses)——一種利用微觀納米結(jié)構(gòu)操控光線的扁平、輕質(zhì)光學(xué)元件。這些超透鏡還充當(dāng)光學(xué)神經(jīng)網(wǎng)絡(luò)，這是一種基于人腦建模的人工智能計算機系統(tǒng)。

這種獨特的方法有幾個關(guān)鍵優(yōu)勢。首先，它速度快。由于大部分計算以光速進行，該系統(tǒng)識別和分類圖像的速度比使用傳統(tǒng)計算機硬件的神經(jīng)網(wǎng)絡(luò)快200倍以上，且精度相當(dāng)。其次，由于相機的光學(xué)系統(tǒng)依賴入射光而非電力運行，功耗大大降低。

這款相機中的光學(xué)元件不是使用由玻璃或塑料制成的傳統(tǒng)相機鏡頭，而是依賴于 50 個超透鏡層——扁平、輕便的光學(xué)元件，使用微觀納米結(jié)構(gòu)來縱光線。這些超透鏡安裝在一個緊湊的光學(xué)計算芯片(如上圖所示)中，該芯片由 Majumdar 和他的學(xué)生在華盛頓納米制造實驗室制造。

Heide說：“我們的想法是利用阿爾卡在超表面(metasurfaces)方面的開創(chuàng)性工作，將傳統(tǒng)上由電子完成的部分計算轉(zhuǎn)移到光學(xué)中以光速進行。通過這種方式，我們開發(fā)了一種新的計算機視覺系統(tǒng)，能夠以光學(xué)方式完成大量計算。”

Majumdar和Heide表示，他們打算繼續(xù)合作。這項研究的下一步包括進一步迭代，改進原型，使其更適用于自動駕駛車輛的自主導(dǎo)航。

這是他們共同認為有前景的應(yīng)用領(lǐng)域。他們還計劃處理更復(fù)雜的數(shù)據(jù)集和需要更大計算能力解決的問題，例如目標檢測(在圖像中定位特定物體)，這是計算機視覺的重要功能。

Majumdar說：“目前，這種光學(xué)計算系統(tǒng)是一個研究原型，適用于特定應(yīng)用。然而，我們預(yù)計它最終將廣泛應(yīng)用于許多技術(shù)領(lǐng)域。當(dāng)然，這還有待觀察，但在這里，我們展示了第一步。與所有其他現(xiàn)有的神經(jīng)網(wǎng)絡(luò)光學(xué)實現(xiàn)相比，這是一個巨大的進步。”

審核編輯 黃宇