編者按

人工智能視覺芯片是一種可以同時獲取圖像、處理圖像的半導(dǎo)體芯片，這種芯片可以將獲取的圖像數(shù)據(jù)進行并行處理，最終輸出處理結(jié)果。人工智能視覺芯片的目標是在傳感器內(nèi)部實現(xiàn)復(fù)雜圖像處理，包括圖像識別和分類。

中國工程院羅毅院士研究團隊在中國工程院院刊《Engineering》2022年第7期發(fā)表《感存算一體化智能視覺芯片的展望》一文。文章總結(jié)了感存算一體化智能成像系統(tǒng)中使用的兩種不同類型的架構(gòu)（即在傳感單元內(nèi)或附近進行計算），然后討論了未來的發(fā)展方向（包括與算法匹配的架構(gòu)、3D集成技術(shù)、新型材料和先進器件）。文章指出，感存算一體化智能成像系統(tǒng)的最終目標是實現(xiàn)更高效的AI硬件，該硬件系統(tǒng)具有低功耗、高速、高分辨率、高識別準確率和大規(guī)模集成的特點，同時具有可編程性。另外，為了將感存算一體化智能成像系統(tǒng)商業(yè)化，需要在物理學、材料學、計算機科學、電子學和生物學等領(lǐng)域進行更深入的研究。

近年來，人工智能（AI）的應(yīng)用變得越來越廣泛，其發(fā)展也隨著生物學、數(shù)學的進步而日漸成熟。然而，AI的發(fā)展也對系統(tǒng)的計算能力和能量效率提出了更高的要求，因此迫切需要新的硬件架構(gòu)來滿足AI的需求。AI的目標是使機器獲得類似人的智能，當前的硬件體系在執(zhí)行計算時仍然基于傳統(tǒng)的馮·諾依曼架構(gòu)。首先通過傳感器得到物理信號，然后將信號傳輸至計算中心結(jié)合算法進行感知，這種信息處理的模式與人腦完全不同。以視覺為例，人類的視覺系統(tǒng)（包含視覺皮層）是高度緊湊和高效的，其中，視網(wǎng)膜上的數(shù)億光敏神經(jīng)元與預(yù)處理、控制神經(jīng)元相連接，能夠?qū)崿F(xiàn)感光和信號預(yù)處理（增強圖像、提取特征等）。一旦光敏神經(jīng)元檢測到冗余信號，視覺系統(tǒng)會將其弱化，僅將關(guān)鍵信息傳輸至大腦皮層進行深度處理。

目前常用的人工成像硬件系統(tǒng)的功能并不像人類視覺系統(tǒng)那樣，如電荷耦合器件（CCD）陣列和互補金屬氧化物半導(dǎo)體（CMOS）陣列，這類傳感器通過總線將圖像數(shù)據(jù)串行傳輸至存儲器和處理單元進行交互運算（即馮·諾依曼架構(gòu)）。

盡管當前的成像硬件系統(tǒng)在傳感單元密度、響應(yīng)時間和波長范圍方面優(yōu)于人類視覺系統(tǒng)，但在執(zhí)行復(fù)雜AI任務(wù)時，它們的功耗和延時變成了不可忽略的問題。在大多數(shù)圖像處理任務(wù)中，超過90%的圖像數(shù)據(jù)是冗余且無用的，隨著像素數(shù)量的快速增長，數(shù)據(jù)冗余量顯著增加，給模數(shù)轉(zhuǎn)換（ADC）和數(shù)據(jù)傳輸帶來了嚴重負擔，并限制了實時圖像處理技術(shù)的發(fā)展。因此，AI的發(fā)展會迅速消耗硬件資源，并產(chǎn)生對新型硬件系統(tǒng)的強烈需求。

受人類視覺系統(tǒng)的啟發(fā)，部分研究嘗試將一些處理任務(wù)轉(zhuǎn)移至圖像傳感器內(nèi)，從而實現(xiàn)原位計算，并且減少數(shù)據(jù)傳輸。

在20世紀90年代，加州理工學院的Mead和Mahowald提出了人工智能視覺芯片，他們構(gòu)想了一種可以同時獲取圖像、處理圖像的半導(dǎo)體芯片，這種芯片可以將獲取的圖像數(shù)據(jù)進行并行處理，最終輸出處理結(jié)果。早期的視覺芯片旨在模仿視網(wǎng)膜的預(yù)處理功能，但只能實現(xiàn)簡單圖像處理，如圖像濾波和邊緣檢測，而后逐漸提出在傳感器內(nèi)部實現(xiàn)復(fù)雜圖像處理，包括圖像識別和分類，這也成為了人工智能視覺芯片的目標。此外，在2006年提出視覺芯片需要具備可編程功能，從而通過軟件控制靈活地處理各種應(yīng)用場景。在2021年，Liao等總結(jié)了生物視網(wǎng)膜的原理，并討論了基于新興器件的智能視覺傳感器發(fā)展。Wan等概述了用于神經(jīng)擬態(tài)傳感計算的電子、光學以及混合光電計算技術(shù)。

目前有兩種主要的智能視覺芯片架構(gòu)。

（1）架構(gòu)一：傳感單元內(nèi)部計算。這種架構(gòu)的光電探測器被置于模擬存儲器和計算單元中，以組成處理元件（PE），然后利用PE電路來實現(xiàn)原位傳感功能，并處理傳感器獲得的模擬信號。這種架構(gòu)如圖1（a）所示，其優(yōu)勢在于具有高度并行處理速度。然而，模擬存儲器和計算單元占用了較大的面積，使得PE電路比傳統(tǒng)傳感單元大得多，這導(dǎo)致像素填充因子較低，并限制了成像分辨率。

（2）架構(gòu)二：傳感單元附近計算。由于較低的填充因子，視覺芯片難以采用原位傳感和計算相結(jié)合的架構(gòu)。相反，將像素陣列和處理電路物理分離，但仍然保持片上并行連接，這使得二者可以根據(jù)系統(tǒng)要求進行獨立設(shè)計和優(yōu)化。這種架構(gòu)如圖1（b）所示，首先通過總線從像素陣列中獲取傳感數(shù)據(jù)（模擬），并轉(zhuǎn)換成數(shù)字信號，然后在附近的處理單元內(nèi)進行計算。這種架構(gòu)具有廣域圖像處理、高分辨率和大規(guī)模并行處理的優(yōu)勢，并且可以在數(shù)字處理電路中結(jié)合現(xiàn)有的AI算法（包括人工神經(jīng)網(wǎng)絡(luò)等）。

目前，視覺芯片的神經(jīng)元規(guī)模只有102~103個，遠少于視網(wǎng)膜和皮層（1010個），因此，感存算一體化智能視覺芯片需要更大規(guī)模的集成。其中一種方法是通過片上光學卷積神經(jīng)網(wǎng)絡(luò)（CNN）和光學脈沖神經(jīng)網(wǎng)絡(luò)（SNN）實現(xiàn)大規(guī)模高并行運算，以顯著提高計算效率。另一種方法是采用三維（3D）集成技術(shù)，使用硅通孔（TSV）垂直集成空間中的功能層（傳感器、存儲器、計算、通信等）。在2017年，索尼提出了一種3D集成視覺芯片，像素分辨率為1296×976，處理速度達到1000 fps。部分研究人員認為，3D集成芯片已經(jīng)成為一種必然趨勢，但在架構(gòu)設(shè)計和引線互連等方面仍然需要更深入的研究。研究證明，雖然短互連可以降低功耗和延遲，但由于層間距離較短可能會導(dǎo)致散熱難題。因此，解決3D集成的可靠性問題和提高性能至關(guān)重要。

圖1. 視覺芯片架構(gòu)。（a）傳感單元內(nèi)部計算；（b）傳感單元附近計算。CDS：雙精度采樣。

近些年來，在AI發(fā)展需求的驅(qū)動下，涉及新型材料和先進器件的技術(shù)不斷涌現(xiàn)，也為感存算一體化智能成像系統(tǒng)提供了新方案。

（1）具有探測和記憶功能的材料（DAM）。

光電突觸器件被視為構(gòu)建感存算一體化智能成像系統(tǒng)的一種方式，并有望促進視網(wǎng)膜仿生技術(shù)的發(fā)展。研究發(fā)現(xiàn)，一些金屬氧化物（氧化物半導(dǎo)體、二元氧化物等）、氧化物異質(zhì)結(jié)和二維（2D）材料在實現(xiàn)光電突觸器件方面有巨大的潛力。光電突觸具有臨時記憶能力和突觸可塑性，如短時程可塑性（STP）和長時程可塑性（LTP），可以通過光信號進行調(diào)制以完成實時圖像處理。這類器件有許多優(yōu)點，它提供了一種非接觸式的寫入方法（光寫入），權(quán)重寫入過程具有高速并行的特點。

然而，這類器件仍然面臨一些挑戰(zhàn)，包括脈沖寫入下電導(dǎo)非線性變化和由于較大的照明強度而導(dǎo)致的高能耗。在寫入過程中，光刺激用于實現(xiàn)增強突觸活性，而電刺激用于抑制突觸活性。具體來說，器件的電導(dǎo)在光脈沖作用下逐漸增加，而在負電脈沖作用下則逐漸減小，這類似于生物突觸中的增強和抑制，器件的電導(dǎo)變化對應(yīng)突觸的活性變化。此外，研究指出負光響應(yīng)或者光刺激用于抑制突觸活性可以實現(xiàn)全光調(diào)制的復(fù)雜神經(jīng)功能。目前大多數(shù)研究側(cè)重于在器件中模擬突觸行為[如興奮性突觸后電流（EPSC）、成對脈沖易化（PPF）、STP、LTP等]，因為模仿人眼視網(wǎng)膜神經(jīng)元仍然是一大挑戰(zhàn)。

為了模仿視網(wǎng)膜，光電突觸器件的大規(guī)模集成有待進一步研究。在DAM材料中，基于二元氧化物（如ZnO、HfO2、AlOx等）的器件具有結(jié)構(gòu)簡單和CMOS兼容性的優(yōu)點，這是大規(guī)模集成的關(guān)鍵因素。相反，與集成電路（IC）基礎(chǔ)結(jié)構(gòu)不兼容的材料可以通過采用異質(zhì)集成、異質(zhì)外延、鍵合和三維異質(zhì)集成等技術(shù)來實現(xiàn)。

（2）結(jié)合傳感器與存儲器的器件結(jié)構(gòu)。

近些年來，隨著半導(dǎo)體器件的發(fā)展，部分研究提出采用先進器件代替PE電路，如新型存儲器件[如阻變存儲器（RRAM）和其他憶阻器等。例如，兩類器件通過串聯(lián)的方式來實現(xiàn)固有特性的結(jié)合，使傳感器陣列具有可編程性，并且將光學圖像轉(zhuǎn)變?yōu)橐子谧R別的信息。

這種結(jié)構(gòu)將單個像素的占地面積顯著降低到4F2的理論極限（F是工藝的特征尺寸），可以實現(xiàn)高填充因子的集成方式。然而，與CCD不同的是，該陣列不顯示破壞性讀出，也不顯示任何積分行為。在該陣列中，乘加運算（MAC）可以通過模擬域中的基爾霍夫定律直接實現(xiàn)。然而，大規(guī)模集成引起的串擾是一個亟待解決的問題。有研究報道了一種由單光子雪崩二極管（SPAD）和憶阻器組成的系統(tǒng)，用于處理脈沖事件形式的信息，從而完成實時成像識別。

隨著新型材料與器件的發(fā)展，感存算一體化智能成像系統(tǒng)也同樣需要新的架構(gòu)和算法來適配其應(yīng)用。

例如，深度學習算法（如DNN、CNN、SNN等）是目前較為成熟的圖像處理技術(shù)，而如何將其應(yīng)用于感存算一體化智能成像系統(tǒng)是一個亟待解決的難題。SNN通過對時間并行編碼的神經(jīng)信號進行編碼和處理，為提高計算效率提供了一種很有前景的解決方案。

本文總結(jié)了感存算一體化智能成像系統(tǒng)中使用的兩種不同類型的架構(gòu)（即在傳感單元內(nèi)或附近進行計算），然后討論了未來的發(fā)展方向（包括與算法匹配的架構(gòu)、3D集成技術(shù)、新型材料和先進器件）?？傊写嫠阋惑w化智能成像系統(tǒng)的最終目標是實現(xiàn)更高效的AI硬件，該硬件系統(tǒng)具有低功耗、高速、高分辨率、高識別準確率和大規(guī)模集成的特點，同時具有可編程性。為了將感存算一體化智能成像系統(tǒng)商業(yè)化，需要在物理學、材料學、計算機科學、電子學和生物學等領(lǐng)域進行更深入的研究。

審核編輯：劉清