電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）無(wú)論是前段時(shí)間爆火的繪圖模型Stable Diffusion，還是大規(guī)模語(yǔ)言模型ChatGPT，AI無(wú)疑已經(jīng)成了新時(shí)代的自動(dòng)化工具，哪怕是在某些與認(rèn)知相關(guān)的任務(wù)上，也能通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)高于人類的精度。

但正因我們提過(guò)多次的算力問(wèn)題，對(duì)于大型AI訓(xùn)練的計(jì)算要求已經(jīng)在每?jī)蓚€(gè)月翻倍了，別說(shuō)可持續(xù)能源供應(yīng)了，就連硬件的可持續(xù)都有些陷入停滯了。其實(shí)以目前各種模型的迭代速度來(lái)看，更高的運(yùn)算效率才是重中之重，畢竟這些模型并不需要每?jī)蓚€(gè)月就推陳出新。

深度學(xué)習(xí)還有哪些環(huán)節(jié)可以提升效率

我們先從深度學(xué)習(xí)運(yùn)算來(lái)看哪些算數(shù)運(yùn)算占比最高，根據(jù)IBM給出的統(tǒng)計(jì)數(shù)據(jù)，無(wú)論是語(yǔ)音識(shí)別的RNN、語(yǔ)言模型DNN和視覺(jué)模型CNN，矩陣向量乘法都占據(jù)了運(yùn)算總數(shù)的70%到90%，所以打造一個(gè)矩陣矢量乘法加速器，是多數(shù)AI加速器的思路。

要考慮效率，我們就不能不談到功耗的問(wèn)題，如果只顧算力而不考慮功耗，任由龐大規(guī)模的GPU等硬件消耗能量不顧碳排放的話，也不符合全球當(dāng)下的節(jié)能減排趨勢(shì)。而在深度學(xué)習(xí)中，各種精度的加法乘法都會(huì)消耗能量，但這些運(yùn)算消耗的能量與傳統(tǒng)馮諾依曼結(jié)構(gòu)中數(shù)據(jù)移動(dòng)消耗的能量相比，就顯得微不足道了，尤其是從DRAM中讀寫(xiě)高精度數(shù)值時(shí)，能耗差距甚至可以達(dá)到數(shù)十倍以上。

這還只是在數(shù)據(jù)中心場(chǎng)景中，如果我們放到邊緣來(lái)看，如今的移動(dòng)設(shè)備需要語(yǔ)音識(shí)別、圖像識(shí)別之類的各種深度學(xué)習(xí)應(yīng)用。所以提升這類設(shè)備的效率，才有可能在功耗和內(nèi)存都有所限制的嵌入式應(yīng)用中普及深度學(xué)習(xí)。

存內(nèi)計(jì)算的存儲(chǔ)選擇

為了減少數(shù)據(jù)移動(dòng)消耗的能量，提高M(jìn)VM的計(jì)算性能，存內(nèi)計(jì)算成了一個(gè)不錯(cuò)的選擇。存內(nèi)計(jì)算（IMC）是一項(xiàng)創(chuàng)新的計(jì)算方式，將特定的計(jì)算任務(wù)放到存儲(chǔ)設(shè)備中，并使用模擬或混合信號(hào)的計(jì)算技術(shù)。相較馮諾依曼結(jié)構(gòu)或近存計(jì)算來(lái)說(shuō)，最大程度地減少了數(shù)據(jù)移動(dòng)。

而早期利用IMC進(jìn)行神經(jīng)網(wǎng)絡(luò)推理的測(cè)試結(jié)果證明，在軟硬件結(jié)合的情況下，可以得到優(yōu)秀的精度結(jié)果，而DAC、ADC、功能激活之類的數(shù)字操作則是通過(guò)片外的軟件或硬件來(lái)實(shí)現(xiàn)的。自那之后，各種使用SRAM、NOR Flash、RRAM、PCM和MRAM的單核或多核存內(nèi)計(jì)算芯片紛紛面世。

在對(duì)于正確存儲(chǔ)類型的選擇上，存內(nèi)計(jì)算必須面臨取舍的問(wèn)題，比如性能、密度、寫(xiě)入時(shí)間、寫(xiě)入功耗、穩(wěn)定性以及制造工藝上。性能自然就是直接影響到我們說(shuō)的TOPS算力以及效率，目前SRAM優(yōu)勢(shì)較大，密度則決定了裸片大小，同時(shí)也影響到了成本。

而在邊緣場(chǎng)景下，環(huán)境一致性往往不比數(shù)據(jù)中心，所以如果不能保證穩(wěn)定性的話，就會(huì)影響到存內(nèi)計(jì)算進(jìn)行深度學(xué)習(xí)的精度。最后的制造工藝不僅決定了這類存內(nèi)計(jì)算芯片能否量產(chǎn)，是否存在供應(yīng)鏈危機(jī)或成本問(wèn)題，也決定了它有沒(méi)有繼續(xù)推進(jìn)的空間，比如目前工藝較為先進(jìn)的主要是PCM和SRAM，最高分別已經(jīng)到了14nm和12nm。

在2021年的VLSI技術(shù)大會(huì)上，IBM發(fā)表了一篇文章，講述了他們以14nm CMOS工藝打造的一個(gè)64核PCM模擬存內(nèi)計(jì)算芯片，HERMES。該芯片采用了后端集成的多層相變化內(nèi)存，由256個(gè)線性化的CCO ADC組成，可以在1GHz的工作頻率之上進(jìn)行精確的片上矩陣矢量乘法運(yùn)算。在深度學(xué)習(xí)的運(yùn)算測(cè)試中，HERMES獲得了10.5 TOPS/W的運(yùn)算效率以及1.59TOPS/mm2的性能密度。

而荷蘭初創(chuàng)企業(yè)Axelera AI則選了數(shù)字SRAM這一路線，他們?cè)谌ツ?2月成功流片第一代IMC芯片Thetis Core。Thetis Core的面積不到9mm2，卻可以在INT8精度下提供39.3TOPS的算力和14.1 TOPS/W的性能，甚至還可以超頻到48.16TOPS。但不少存內(nèi)計(jì)算芯片提到性能表現(xiàn)時(shí)，往往都是指滿載的情況，正因如此，Thetis Core在低利用率下的效率表現(xiàn)才顯得無(wú)比亮眼。哪怕從100%利用率降低至25%的，該芯片也能展現(xiàn)13TOPS/W的效率，降幅只有7%左右。

小結(jié)

除了“存”以外，存內(nèi)計(jì)算在“算”上的選擇也不盡相同，比如進(jìn)行模擬或數(shù)字MAC運(yùn)算等等。從斯坦福大學(xué)教授Boris Murmann提出的觀點(diǎn)來(lái)看，在低精度下模擬運(yùn)算要比數(shù)字運(yùn)算更高效，但一旦精度拔高，比如8位以后，模擬計(jì)算的功耗就會(huì)成倍增加了?？紤]到落地應(yīng)用較少，未來(lái)的存內(nèi)計(jì)算會(huì)更傾向于哪種形式仍有待觀察，但從存儲(chǔ)廠商、存算一體芯片廠商的動(dòng)向來(lái)看，這或許是存儲(chǔ)市場(chǎng)迎來(lái)又一輪爆發(fā)的絕佳機(jī)遇。