人工神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于人臉識別、語音翻譯、醫(yī)療診斷、自動駕駛等重要領(lǐng)域，其性能主要由硬件算力決定，目前所廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)硬件都基于數(shù)字電子架構(gòu)。然而，該架構(gòu)的兩個本質(zhì)局限—馮諾曼依瓶頸與電子速率瓶頸，極大限制了神經(jīng)網(wǎng)絡(luò)硬件的潛在算力。首先，數(shù)字架構(gòu)中，數(shù)據(jù)的存儲和運(yùn)算是分布式的，因而在計算過程中，會有大量的能源和算力消耗在數(shù)據(jù)的反復(fù)讀取和存儲中，此限制被稱為馮諾曼依瓶頸。其次，由于電子微處理器中的寄生電容和互聯(lián)時延問題，電子系統(tǒng)存在著本質(zhì)的帶寬限制，導(dǎo)致電子微處理器的主頻事實(shí)上在過去十年已沒有明顯提升，此限制也被稱為電子速率瓶頸。

光子神經(jīng)網(wǎng)絡(luò)工作于模擬架構(gòu)中，即數(shù)據(jù)在硬件系統(tǒng)中的實(shí)時位置與進(jìn)行運(yùn)算的位置相同，因而規(guī)避了馮諾曼依瓶頸。此外，寬達(dá)數(shù)十太赫茲的光譜也為高速運(yùn)算提供了充足的帶寬。目前已有來自加州大學(xué)、麻省理工學(xué)院、明斯特大學(xué)等單位的研究團(tuán)隊做出了一系列在網(wǎng)絡(luò)尺度、可集成性、片上存儲等方面的突破，然而尚未能實(shí)現(xiàn)較高運(yùn)算速度與高維數(shù)據(jù)處理能力，光子神經(jīng)網(wǎng)絡(luò)的超高運(yùn)算潛力尚未得到證實(shí)。

近日，澳大利亞研究人員徐興元博士（莫納什大學(xué)）、譚朦曦博士、David Moss教授（斯文本科技大學(xué)）、Arnan Mitchell教授（皇家墨爾本理工大學(xué)）等首次提出并實(shí)現(xiàn)了基于波長、時間交織的光子卷積加速器。該文章以“ 11 TOPS photonic convolutional accelerator for optical neural networks”為題發(fā)表在Nature。

研究人員通過采用集成高品質(zhì)因素、高非線性微環(huán)與波導(dǎo)色散調(diào)控，實(shí)現(xiàn)了高相干度、易于產(chǎn)生的集成克爾孤子晶體光頻梳。

研究人員將該光頻梳進(jìn)行頻域整形并且與高速光電調(diào)制相結(jié)合，實(shí)現(xiàn)了輸入數(shù)據(jù)在并行波長通道上的組播與加權(quán)，然后采用光學(xué)色散介質(zhì)作為緩存，對組播信號進(jìn)行了步進(jìn)延時（步長為單個碼元時長），從而在時域上對齊了不同波長通道中需要加權(quán)求和的碼元，最后通過光電轉(zhuǎn)換實(shí)現(xiàn)處理結(jié)果的高速實(shí)時讀取（如圖1所示）。通過這一系列步驟，波長構(gòu)架的卷積窗口（感知域）即可在時域以超過60GBaud的速率滑動，結(jié)合克爾光頻梳所實(shí)現(xiàn)的高并行度（C波段90個波長通道），實(shí)現(xiàn)了11 TOPS（太運(yùn)算每秒）的運(yùn)算速度，即每秒可完成11萬億次運(yùn)算。

圖1 卷積加速器工作原理

圖源：Nature 589， 44–51 （2021）。 Fig 1

通過這一系列步驟，數(shù)學(xué)模型抽象的神經(jīng)元突觸就被光頻梳在實(shí)際物理系統(tǒng)中實(shí)現(xiàn)，其中突觸連接的權(quán)重由光頻梳的光功率體現(xiàn)。最終實(shí)驗驗證了高維圖片處理（實(shí)驗結(jié)果如圖2所示）以及深度學(xué)習(xí)光子卷積神經(jīng)網(wǎng)絡(luò)（實(shí)驗結(jié)果如圖3所示）。

圖2 卷積圖像處理結(jié)果

圖源：Nature 589， 44–51 （2021）。 Fig 3

在國際相關(guān)研究成果的基礎(chǔ)上實(shí)現(xiàn)了數(shù)個突破，包括：

1. 由于集成克爾光頻梳所提供的大量波長通道，運(yùn)算速度首次突破到11 TOPS以上；

2. 首次實(shí)現(xiàn)了利用光學(xué)手段進(jìn)行高維數(shù)據(jù)處理（25萬像素點(diǎn)），為光子神經(jīng)網(wǎng)絡(luò)的進(jìn)一步實(shí)際應(yīng)用如人臉識別等展現(xiàn)了可能；

3. 實(shí)現(xiàn)了500張MINIST手寫數(shù)字圖片的高速分類預(yù)測，準(zhǔn)確率達(dá)到88%以上；

4. 實(shí)現(xiàn)了具備高速光電接口的硬件加速器，速度可達(dá)64G Baud以上，并且可與現(xiàn)有電子或者光學(xué)硬件兼容互聯(lián)；

5. 結(jié)合應(yīng)用了集成克爾光頻梳，為實(shí)現(xiàn)光子神經(jīng)網(wǎng)絡(luò)的單片集成奠定了基礎(chǔ)。

圖3 卷積神經(jīng)網(wǎng)絡(luò)50張手寫數(shù)字識別結(jié)果。上圖為全連接層神經(jīng)元輸出幅度，下圖為混淆矩陣。

圖源：Nature 589， 44–51 （2021）。 Fig 6

后續(xù)，研究人員將繼續(xù)優(yōu)化本方案的性能指標(biāo)，如處理速度、并行度、體積與可集成性、功耗等。本工作實(shí)驗證明了光子神經(jīng)網(wǎng)絡(luò)硬件的運(yùn)算潛力，并且具有高速光電接口，未來可作為通用卷積特征提取前端與其他光電模數(shù)架構(gòu)互聯(lián)，在卷積神經(jīng)網(wǎng)絡(luò)中可承擔(dān)70%以上的運(yùn)算負(fù)荷，大幅提升系統(tǒng)整體算力，在未來實(shí)時人工智能應(yīng)用場景如無人駕駛、醫(yī)療診斷等方面有重要應(yīng)用。

責(zé)任編輯：PSY