類腦計算芯片結(jié)合微電子技術(shù)和新型神經(jīng)形態(tài)器件，模仿人腦神經(jīng)系統(tǒng)計算原理進行設(shè)計，旨在突破“馮·諾依曼瓶頸”，實現(xiàn)類似人腦的超低功耗和并行信息處理能力。

在今日舉辦的創(chuàng)新智能芯片，共筑未來航天學(xué)術(shù)會議當(dāng)中，北京大學(xué)集成電路學(xué)院教授王源做了題為《類腦芯片與應(yīng)用技術(shù)》的報告。王源教授主要介紹了類腦計算概述、類腦計算關(guān)鍵技術(shù)、類腦計算芯片與應(yīng)用、趨勢與展望。

類腦計算概述

類腦計算（Brain-inspired Computing）又被稱為神經(jīng)形態(tài)計算（Neuromorphic Computing）。是借鑒生物神經(jīng)系統(tǒng)信息處理模式和結(jié)構(gòu)的計算理論、體系結(jié)構(gòu)、芯片設(shè)計以及應(yīng)用模型與算法的總稱。王源教授表示人工神經(jīng)網(wǎng)絡(luò)（ANN）是對神經(jīng)網(wǎng)絡(luò)連接性的模擬而脈沖神經(jīng)網(wǎng)絡(luò)（SNN）是對生物神經(jīng)系統(tǒng)的仿生模擬，并展示了ANN與SNN的區(qū)別。

ANN的原理為計算機科學(xué)、數(shù)學(xué)；編碼方式為電平高低；神經(jīng)元是非線性激活函數(shù)；學(xué)習(xí)規(guī)劃通過BP等全局學(xué)習(xí)算法；應(yīng)用場景主要是圖像分類、語音識別、自然語言處理等。

SNN的原理為神經(jīng)科學(xué)原理；編碼方式為脈沖時間或頻率；神經(jīng)元包含內(nèi)在動力學(xué)；學(xué)習(xí)規(guī)則主要是生物啟發(fā)學(xué)習(xí)算法；應(yīng)用場景主要是物體追蹤等低延時應(yīng)用，超低功耗應(yīng)用以及類腦智能。

類腦計算關(guān)鍵技術(shù)

神經(jīng)元：對從樹突接收到的時空信息進行整合，并在超過特定閾值時發(fā)放新的脈沖，通過軸突傳遞到其他神經(jīng)元。準確但復(fù)雜度高的神經(jīng)元模型：HH模型；較為簡化神經(jīng)元模型：累積釋放（I&F）模型。

突觸：突觸是不同神經(jīng)元之間的連接，支撐記憶、學(xué)習(xí)功能；記憶以突觸連接強度的形式存儲在神經(jīng)網(wǎng)絡(luò)中。突觸連接強度能夠變化，體現(xiàn)為不同類型的可塑性包括短時程、長時程可塑性等，從而實現(xiàn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)功能。

神經(jīng)網(wǎng)絡(luò)：由神經(jīng)元與突觸組成的高度互連網(wǎng)絡(luò)，包含約1011神經(jīng)元，1015突觸。信息以脈沖形式（二值型）在生物神經(jīng)網(wǎng)絡(luò)中傳遞，并以局域模擬的形式進行處理；支撐人腦復(fù)雜的感知、認知等功能。

發(fā)射率編碼：信息編碼在發(fā)射率r=N/T中，即在一定時間T內(nèi)發(fā)放了N個脈沖。

時間編碼：信息編碼在發(fā)放脈沖的具體時間或時間間隔中。

群編碼：信息編碼在某一組神經(jīng)元的行為模式中。

關(guān)鍵技術(shù)：片上網(wǎng)絡(luò)、片上網(wǎng)絡(luò)拓撲、片上網(wǎng)絡(luò)路由

片上網(wǎng)絡(luò)的四個基本組成部分：

路由節(jié)點：執(zhí)行通訊任務(wù)的節(jié)點，其核心是交換開關(guān)，包括仲裁器、縱橫交換電路、輸入緩沖器等。

資源節(jié)點：執(zhí)行計算任務(wù)的 IP 核，可以是同質(zhì)的處理核，也可以是異質(zhì)的處理器核、存儲器核、數(shù)字信號處理核等。

網(wǎng)絡(luò)接口：指路由節(jié)點與資源節(jié)點之間的接口，配置了網(wǎng)絡(luò)接口才能通過NOC與其他資源節(jié)點通訊。

通道：指路由節(jié)點與資源節(jié)點之間、路由節(jié)點與路由節(jié)點之間的連線，通道具有一定的方向性。

按照路由節(jié)點的連接方式，NoC拓撲結(jié)構(gòu)可分類如下：

一維結(jié)構(gòu)：鏈式（Chain)、環(huán)形（Ring）等。

二維結(jié)構(gòu)：網(wǎng)格 (Mesh)、環(huán)面 (Torus) 、多邊形、蜘蛛網(wǎng)形 (Spidergon) 、星形（Star）等。

高維及層次化結(jié)構(gòu)：3D網(wǎng)格、3D環(huán)面、樹形 (Tree)、蝶形 (Butterfly) 等。

路由設(shè)計的功能考量多種不利現(xiàn)象：

死鎖：數(shù)據(jù)包等待前級清空，前級又在等待更前級，依賴關(guān)系形成閉環(huán)，數(shù)據(jù)包無法路由。

活鎖：數(shù)據(jù)包持續(xù)進行路由，但就是無法到達目標地址。只出現(xiàn)在自適應(yīng)的非最短路徑中。

饑餓：多個方向的數(shù)據(jù)包競爭輸入，優(yōu)先級固定只處理一個方向，其他方向被完全堵死。

解決活鎖：僅使用最短路徑路由方案，限制錯誤路由操作數(shù)量。

解決饑餓：采用需求跟蹤的循環(huán)優(yōu)先級，為低優(yōu)先級適當(dāng)保留帶寬。

解決死鎖：一般有死鎖預(yù)防、死鎖恢復(fù)和死鎖避免方案。

關(guān)鍵技術(shù)：SNN學(xué)習(xí)算法

脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法分類：

ANN轉(zhuǎn)SNN離線學(xué)習(xí)：任何在ANN中能實現(xiàn)學(xué)習(xí)的算法，只要求能轉(zhuǎn)換到SNN。

無監(jiān)督在線學(xué)習(xí)：主要包含Hebb、STDP、BCM等與突觸可塑性相關(guān)的仿生學(xué)習(xí)算法。

監(jiān)督在線學(xué)習(xí)：依賴于梯度下降、突觸可塑性、脈沖卷積序列、時空反向傳播的淺層/深層學(xué)習(xí)算法。

其他在線學(xué)習(xí)：基于SNN的強化學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、液體狀態(tài)機學(xué)習(xí)、深度信念網(wǎng)絡(luò)學(xué)習(xí)等。

其中，無監(jiān)督在線學(xué)習(xí)的實現(xiàn)方式包括：

突觸可塑性：無監(jiān)督學(xué)習(xí)的理論基礎(chǔ)，生物可信，表征為突觸連接強度增強或抑制。

長時程增強 (LTP):NMDA受體強烈興奮，Ca2+大量內(nèi)流，形成新的AMPA受體。（海馬體）

長時程抑制（LTD):NMDA受體活動處于低水平，Ca2+流量低下，AMPA受體消亡。（紋狀體）

STDP學(xué)習(xí)規(guī)則：對Hebb學(xué)習(xí)在突觸前后脈沖時間依賴可塑性上的拓展。

類腦計算芯片與應(yīng)用

IBM TrueNorth芯片

規(guī)格指標：4096核眾核架構(gòu)（64x64)，每核256神經(jīng)元、64K突觸（256x256)。

NoC拓撲：片內(nèi)及片間擴展均為2D Mesh結(jié)構(gòu)，片間傳輸速度顯著慢于片內(nèi)。

路由算法：片內(nèi)外均為X-Y維序路由，片內(nèi)采用異步雙軌四相、片間采用異步單軌兩相協(xié)議。

近存計算：非馮·諾依曼架構(gòu)，存儲與計算單元鄰近分布在各處理核，高度并行，事件驅(qū)動。路由節(jié)點：需要處理東/西/南/北/本地五個方向的數(shù)據(jù)出入，首先處理東西向，再處理南北向。路由節(jié)點內(nèi)置FIFO緩存緩解擁堵饑餓，最短路徑算法避免活鎖，支持一對一發(fā)射（同時避免死鎖）

Intel Loihi芯片

規(guī)格指標：128核眾核架構(gòu) (16x8)，每核含1K神經(jīng)元，1M突觸，此外有3（6）個x86嵌入式處理核心。

NoC拓撲：四個核與一個路由節(jié)點構(gòu)成四叉樹，路由節(jié)點之間構(gòu)成2D Mesh結(jié)構(gòu)，片間也是2D Mesh。

路由算法：片內(nèi)及片間X-Y維序算法，純異步路由握手設(shè)計。

框架本身僅支持一對一發(fā)射，但可在源神經(jīng)元處，通過復(fù)制多個一對一實現(xiàn)一對多發(fā)射。

Loihi芯片每個核都包含一個基于微碼操作的學(xué)習(xí)引擎，可以編程在線學(xué)習(xí)算法。

神經(jīng)元模型：采用基于電流的LIF模型。

片上學(xué)習(xí)：學(xué)習(xí)引擎針對過濾的脈沖軌跡進行操作，根據(jù)歷史脈沖活動情況，隨著時間的推移改變突觸狀態(tài)變量。為適配包括STDP在內(nèi)的高級學(xué)習(xí)規(guī)則，Loihi定義了多種微碼操作來滿足不同算法需求。

清華大學(xué)：Tianjic芯片

規(guī)格指標：156核眾核架構(gòu) (12x13)，每核256神經(jīng)元、64K突觸 (256x256)。

NoC拓撲：片內(nèi)及片間擴展均為2D Mesh結(jié)構(gòu)，片間采用LVDS協(xié)議進行高速傳輸 (1.05Gb/s)。

路由算法：片內(nèi)外均為X-Y維序路由，片內(nèi)采用異步握手協(xié)議。

可使用額外的廣播神經(jīng)元和復(fù)制神經(jīng)元來實現(xiàn)一對多發(fā)射，也可在核內(nèi)執(zhí)行多播判斷

北京大學(xué)：PAICore芯片

規(guī)格指標：64核眾核架構(gòu) (8x8)，每核1K神經(jīng)元、1M突觸 (1024x1024)。

NoC拓撲：片內(nèi)及片間擴展均為2D Mesh結(jié)構(gòu)，片間采用8:1Merge/Split合并或分流8個核心的數(shù)據(jù)。

路由算法：片內(nèi)外均為Y-X維序路由，采用基于異步FIFO的異步握手協(xié)議。

路由地址采用絕對地址表示，比對目標地址與當(dāng)前核地址是否一致。

智能芯片的發(fā)展趨勢

人腦的優(yōu)勢：

超低功耗

在處理同樣復(fù)雜任務(wù)時，沒有任何人工系統(tǒng)能夠媲美人腦的高能效性。

學(xué)習(xí)能力

沒有任何自然/人工系統(tǒng)能夠像人腦一樣，具有對新環(huán)境的自適應(yīng)能力、對新信息與新技能的自動獲取能力。

存算融合

神經(jīng)元實現(xiàn)信息整合，突觸完成存儲和學(xué)習(xí)，每個神經(jīng)元通過上萬突觸與其他神經(jīng)元互聯(lián)，高度并行、存算一體。

高魯棒性

沒有任何系統(tǒng)能夠像人腦一樣，在復(fù)雜環(huán)境下有效決策并穩(wěn)定工作、能夠在多處損傷情況下依然具有很好魯棒性。

智能芯片的未來發(fā)展：

計算驅(qū)動：算力和能效的持續(xù)提升推進軍事智能應(yīng)用。

ANN深度學(xué)習(xí)處理器：高性能計算稠密性數(shù)據(jù)、高算力。

SNN類腦計算芯片：事件驅(qū)動型稀疏性數(shù)據(jù)、低功耗。

生物啟發(fā)：持續(xù)提升規(guī)模、復(fù)雜度探索通用智能實現(xiàn)方法。

審核編輯：郭婷