相比于電子計(jì)算，光計(jì)算具有高速、高帶寬、低功耗的優(yōu)勢(shì)，但目前光計(jì)算還不夠成熟，只在某些特定領(lǐng)域得到了非常有限的應(yīng)用。近日，Nature 上一篇 Perspective 文章剖析了深度光學(xué)和深度光子學(xué)的人工智能推理應(yīng)用，展示了該領(lǐng)域（尤其是光 - 電混合系統(tǒng)）的發(fā)展?jié)摿Α?/p>

為了高速且低功耗地執(zhí)行各種應(yīng)用中的人工智能任務(wù)，我們需要加速器。光計(jì)算系統(tǒng)也許能夠滿(mǎn)足這些領(lǐng)域特定的需求，但即便已經(jīng)歷半個(gè)世紀(jì)的研究，通用型光計(jì)算系統(tǒng)仍還未發(fā)展成一項(xiàng)成熟的實(shí)用技術(shù)。但是，人工智能推理（尤其是用于視覺(jué)計(jì)算應(yīng)用的推理）也許能為基于光學(xué)和光子學(xué)系統(tǒng)的推理提供機(jī)會(huì)。

本文將回顧用于人工智能的光學(xué)計(jì)算的近期研究成果并探討其潛力和挑戰(zhàn)。

計(jì)算系統(tǒng)的能力正與它們?cè)噲D理解的飛速增長(zhǎng)的視覺(jué)數(shù)據(jù)進(jìn)行軍備競(jìng)賽。在自動(dòng)駕駛、機(jī)器人視覺(jué)、智能家居、遙感、顯微技術(shù)、監(jiān)控、國(guó)防和物聯(lián)網(wǎng)等多種應(yīng)用中，計(jì)算成像系統(tǒng)都會(huì)記錄和處理前所未有的巨量數(shù)據(jù)。對(duì)這些數(shù)據(jù)的解讀不可能由人類(lèi)完成，而是要使用基于人工智能（AI）構(gòu)建的算法。

在這些應(yīng)用之中，深度神經(jīng)網(wǎng)絡(luò)（DNN）正快速發(fā)展成為視覺(jué)數(shù)據(jù)處理的標(biāo)準(zhǔn)算法方法。這主要是因?yàn)?DNN 在許多基準(zhǔn)上都取得了當(dāng)前最佳的結(jié)果，而且往往超出其它方法一大截。深度學(xué)習(xí)近來(lái)的這些突破性進(jìn)展主要得益于現(xiàn)代圖形處理單元（GPU）的強(qiáng)大處理能力和并行計(jì)算能力以及大規(guī)模視覺(jué)數(shù)據(jù)集的可用性，這些進(jìn)展讓 DNN 可以高效地使用監(jiān)督式機(jī)器學(xué)習(xí)策略執(zhí)行訓(xùn)練。

但是，高端 GPU 和其它運(yùn)行日趨復(fù)雜的神經(jīng)網(wǎng)絡(luò)的加速器的功耗和帶寬需求非常高，它們需要大量處理時(shí)間而且具有尺寸龐大的外形。這些限制讓人難以在邊緣設(shè)備中使用 DNN，比如相機(jī)、自動(dòng)化載具、機(jī)器人或物聯(lián)網(wǎng)外圍設(shè)備。以自動(dòng)汽車(chē)中的視覺(jué)系統(tǒng)為例，其必須要能使用有限的計(jì)算資源實(shí)時(shí)地做出穩(wěn)定可靠的決策。當(dāng)汽車(chē)在高速行駛時(shí)，瞬間的決策關(guān)乎人的生死。事實(shí)上，如果計(jì)算成像系統(tǒng)能做到更精簡(jiǎn)，那么幾乎所有邊緣設(shè)備都能從中受益，這能帶來(lái)更低的延遲以及尺寸、重量和功耗方面的改進(jìn)。

DNN 一般都包含訓(xùn)練和推理兩個(gè)階段，這兩個(gè)階段的計(jì)算需求差異很大。在訓(xùn)練階段，會(huì)向 DNN 輸入大量有標(biāo)注的樣本，然后針對(duì)某個(gè)特定任務(wù)，使用迭代方法優(yōu)化該 DNN 的參數(shù)。訓(xùn)練完成后，可使用該 DNN 來(lái)執(zhí)行推理：以前向通過(guò)的方式向該網(wǎng)絡(luò)輸入一個(gè)數(shù)據(jù)（比如一張圖像），經(jīng)過(guò)該網(wǎng)絡(luò)處理后計(jì)算得到所需結(jié)果。雖然某些應(yīng)用也會(huì)使用 GPU 來(lái)執(zhí)行推理，但對(duì)許多邊緣設(shè)備而言，由于前述原因，使用 GPU 并不現(xiàn)實(shí)。

盡管電子 AI 加速器很靈活，但光神經(jīng)網(wǎng)絡(luò)（ONN）和光子回路可能為該應(yīng)用與其它機(jī)器學(xué)習(xí)應(yīng)用帶來(lái)一次范式轉(zhuǎn)換。光計(jì)算系統(tǒng)有望實(shí)現(xiàn)大規(guī)模的并行計(jì)算，同時(shí)設(shè)備尺寸還更小，而且在某些實(shí)現(xiàn)中的功耗非常低。事實(shí)上，在計(jì)算系統(tǒng)中使用光來(lái)實(shí)現(xiàn)通信的光互連（optical interconnect）技術(shù)已經(jīng)在現(xiàn)如今的數(shù)據(jù)中心中得到了廣泛應(yīng)用，而且在計(jì)算系統(tǒng)更深處越來(lái)越多地使用光互連可能是持續(xù)擴(kuò)展的關(guān)鍵。

不同于電互連技術(shù)，隨著光學(xué)、光電和電子設(shè)備的更深度整合，光互連有望為通信的帶寬密度和單位比特的能量消耗帶來(lái)幾個(gè)數(shù)量級(jí)的提升和改善。這種改進(jìn)過(guò)的互連技術(shù)能實(shí)現(xiàn)電 - 光混合 DNN，而且這種低功耗、高并行的集成技術(shù)還可用作模擬光處理器的部件。

盡管光計(jì)算機(jī)潛力巨大而且也已歷經(jīng)約半個(gè)世紀(jì)的研究，但通用型光計(jì)算仍還不是一項(xiàng)成熟的實(shí)用技術(shù)。但是，推理任務(wù)（尤其是用于視覺(jué)計(jì)算應(yīng)用的推理任務(wù)）已可使用全光學(xué)或光 - 電混合系統(tǒng)來(lái)很好地實(shí)現(xiàn)。舉個(gè)例子，線(xiàn)性光學(xué)元件可以近乎「免費(fèi)」地計(jì)算卷積、傅立葉變換、隨機(jī)投影和許多其它運(yùn)算，因?yàn)檫@些運(yùn)算可作為光與物質(zhì)交互或光傳播的副產(chǎn)物。這些運(yùn)算是 DNN 架構(gòu)的基本構(gòu)建模塊，驅(qū)動(dòng)著大多數(shù)現(xiàn)代視覺(jué)計(jì)算算法。我們有望以光速執(zhí)行這些運(yùn)算，同時(shí)功耗需求很低乃至沒(méi)有。本文認(rèn)為這具有變革性的潛力。

回顧光計(jì)算的歷史

下圖 1 展示了人工智能及相關(guān)光學(xué)和光子學(xué)實(shí)現(xiàn)的時(shí)間軸。其中展示了一些經(jīng)過(guò)挑選的里程碑和論文，并重點(diǎn)關(guān)注了近期進(jìn)展。

以具體年份計(jì)則如下所示：

1949 年，Donald O. Hebb 發(fā)表《行為的組織（The Organization of Behavior）》一書(shū)

1957 年，F(xiàn)rank Rosenblatt 提出感知器

1960 年，Widrow & Hoff 提出自適應(yīng)開(kāi)關(guān)電路

1964 年，Lugt 提出光學(xué)相關(guān)性（Optical correlation）

1982 年，John Hopfield 提出 Hopfield 網(wǎng)絡(luò)；Kohonen 提出自組織特征圖

1984 年，Goodman et al. 發(fā)表論文《用于超大規(guī)模集成電路系統(tǒng)的光互連（Optical interconnections for VLSI systems）》

1985 年，F(xiàn)arhat et al. 發(fā)表論文《Hopfield 模型的光學(xué)實(shí)現(xiàn)（Optical implementation of the Hopfield model）》

1986 年，Rumelhart et al. 提出使用反向傳播的多層感知器

2006 年，Hinton & Salakhutdinov 提出深度自編碼器

2012 年，Krizhevksy et al. 提出深度 CNN

2017 年，Shen et al. 提出使用納米光子電路的深度學(xué)習(xí)；Tait et al. 提出神經(jīng)形態(tài)光子網(wǎng)絡(luò)

2018 年，Chang et al. 提出光 CNN；Lin et al. 提出全光衍射神經(jīng)網(wǎng)絡(luò)

2019 年，F(xiàn)eldman et al. 提出高帶寬光子神經(jīng)突觸網(wǎng)絡(luò)

用于人工智能的光子回路

現(xiàn)代 DNN 架構(gòu)是級(jí)聯(lián)的線(xiàn)性層后面跟著非線(xiàn)性激活函數(shù)，而且這會(huì)重復(fù)很多次。最一般形式的線(xiàn)性層是全連接層。在這種情況下，每個(gè)輸出神經(jīng)元都是所有輸入神經(jīng)元的加權(quán)和。從數(shù)學(xué)上看，這可以表示成一種矩陣 - 向量乘法，從而可以有效地使用光學(xué)技術(shù)實(shí)現(xiàn)。也就是說(shuō)我們可以使用光子回路來(lái)執(zhí)行人工智能的相關(guān)計(jì)算。不過(guò)相關(guān)技術(shù)還面臨著可編程性等有待解決的問(wèn)題。

使用自由空間、透鏡和復(fù)雜介質(zhì)進(jìn)行計(jì)算

還有一種可替代光子回路的選擇：在自由空間或某種介質(zhì)中傳播的光場(chǎng)上直接構(gòu)建計(jì)算能力。（見(jiàn)下圖 2）從數(shù)學(xué)上講，在自由空間中傳播的波可用基爾霍夫衍射積分（Kirchhoff’s diffraction integral）來(lái)描述，這相當(dāng)于讓該場(chǎng)與一個(gè)固定的核（kernel）執(zhí)行卷積。該運(yùn)算又是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的一大基本構(gòu)建模塊，而 CNN 又是最常用的視覺(jué)計(jì)算框架。

圖 2：光波傳播概況。如圖所示，上面一行展示了波在自由空間和不同介質(zhì)中的傳播，下面一行是相應(yīng)的線(xiàn)性矩陣運(yùn)算。其中 a 是波穿過(guò)自由空間的情況，其在數(shù)學(xué)上被描述成波場(chǎng)與一個(gè)復(fù)值核的卷積。b-g 則使用了不同的介質(zhì)，它們也因此有各自不同的矩陣。

使用深度計(jì)算光學(xué)和成像來(lái)執(zhí)行推理

計(jì)算成像領(lǐng)域研究的是光學(xué)和圖像處理的聯(lián)合設(shè)計(jì)，這可用于增強(qiáng)計(jì)算式相機(jī)（computational camera）能力等應(yīng)用。將相機(jī)解釋成編碼器 - 解碼器系統(tǒng)會(huì)很有幫助。因此，我們可以從整體角度將相機(jī)設(shè)計(jì)問(wèn)題看作是光學(xué)和成像處理的端到端優(yōu)化問(wèn)題。因此可以針對(duì)經(jīng)由損失函數(shù)和訓(xùn)練數(shù)據(jù)集定義的特定任務(wù)對(duì)物理透鏡和深度神經(jīng)網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化。（見(jiàn)下圖 3）

圖 3：光學(xué)編碼器 - 電子解碼器系統(tǒng)示意圖。其中傳感器充當(dāng)瓶頸，在角度、波長(zhǎng)譜、曝光時(shí)間、相位和其它入射光指標(biāo)上進(jìn)行積分。自由曲面透鏡或定制傳感器電子設(shè)備能以離線(xiàn)方式針對(duì)特定任務(wù)進(jìn)行優(yōu)化，然后經(jīng)過(guò)生產(chǎn)加工后用于從光學(xué)和電子方面記錄圖像編碼。然后可以使用神經(jīng)網(wǎng)絡(luò)或其它可微分的圖像處理算法來(lái)從觀測(cè)結(jié)果提取所需的信息。這些編碼器和解碼器一起可共同組成一個(gè)混合式的光 - 電神經(jīng)網(wǎng)絡(luò)。

我們也可以將光學(xué)操作的原理解讀為一種形式的計(jì)算，即與處理數(shù)據(jù)記錄的電子平臺(tái)一起工作的預(yù)處理器或協(xié)處理器?；谶@一解讀，我們可以讓光學(xué)組件做盡可能多的工作，進(jìn)而優(yōu)化計(jì)算成像系統(tǒng)的延遲和功耗需求。

顯微鏡應(yīng)用

光學(xué)顯微鏡也是深度學(xué)習(xí)方法已經(jīng)取得重大影響的一個(gè)領(lǐng)域，其涵蓋多種模態(tài)，包括相干成像以及明視野顯微鏡和熒光顯微鏡。解決顯微圖像重建和增強(qiáng)的反向問(wèn)題已經(jīng)是一項(xiàng)持續(xù)數(shù)十年的熱門(mén)研究課題，之前方法的一大關(guān)鍵是建立成像系統(tǒng)的前向模型?；谏疃葘W(xué)習(xí)的數(shù)據(jù)驅(qū)動(dòng)方法是解決光學(xué)顯微鏡反向問(wèn)題的另一條途徑。

圖 4：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 光學(xué)圖像分類(lèi)；b. 混合光電圖像分類(lèi)；c. 使用偽隨機(jī)投影的圖像分類(lèi)；d. 虛擬染色；e. 虛擬重新聚焦。

圖 5：深度光學(xué)和光子學(xué)應(yīng)用示例 I。a. 單像素相機(jī)；b. 用于視頻超分辨率的神經(jīng)傳感器；c. 納米光子回路；d. 光子集成電路；e. 光學(xué)干涉儀；f. 逆向設(shè)計(jì)的非均勻介質(zhì)。

展望未來(lái)

文章認(rèn)為，混合光 - 電計(jì)算系統(tǒng)是這一領(lǐng)域最有發(fā)展前景的方向?；旌舷到y(tǒng)既具備光計(jì)算的帶寬和速度優(yōu)勢(shì)，又具備電計(jì)算的靈活性，而且還能利用模擬和數(shù)字光學(xué) / 光電 / 電子系統(tǒng)的高能效技術(shù)基礎(chǔ)。混合光 - 電推理機(jī)器能將 AI 推理用于計(jì)算機(jī)視覺(jué)、機(jī)器人學(xué)、顯微和其它視覺(jué)計(jì)算任務(wù)，進(jìn)而實(shí)現(xiàn)光學(xué)計(jì)算機(jī)早該具有的變革性能力。

責(zé)任編輯：PSY