作者：Wenbo Yin，TetraMem公司IC設(shè)計(jì)副總

簡介

人工智能在越來越多的硬件應(yīng)用中快速發(fā)展，推動(dòng)了對傳統(tǒng)馮·諾依曼架構(gòu)無法滿足專業(yè)計(jì)算加速的前所未有的需求。在眾多競爭性替代方案中，最有前景的一種方案是模擬存內(nèi)運(yùn)算（In-Memory Computing, IMC）。釋放多級阻變存儲器（RRAM）的潛力，讓這一承諾在今天比以往更加真實(shí)，硅谷新創(chuàng)公司TetraMem引領(lǐng)這一發(fā)展，正在解決阻礙這一解決方案發(fā)展的根本挑戰(zhàn)。該公司的獨(dú)特IMC采用多級RRAM技術(shù)，提供更高效、低延遲的AI處理，滿足AR/VR、移動(dòng)設(shè)備、物聯(lián)網(wǎng)等現(xiàn)代應(yīng)用不斷增長的需求。

半導(dǎo)體產(chǎn)業(yè)背景

過去幾十年來，半導(dǎo)體產(chǎn)業(yè)取得了顯著進(jìn)步，特別是在滿足人工智能和機(jī)器學(xué)習(xí)不斷增長的需求方面。芯片設(shè)計(jì)的創(chuàng)新突破了性能和效率的界限，然而，一些固有的持續(xù)挑戰(zhàn)仍然存在，例如馮·諾依曼瓶頸和存儲墻（memory wall），限制了CPU和內(nèi)存之間的數(shù)據(jù)傳輸速率，以及與先進(jìn)節(jié)點(diǎn)技術(shù)相關(guān)的不斷升級的功耗和熱管理問題。

IMC代表了一種突破性的計(jì)算方法轉(zhuǎn)變，改變了數(shù)據(jù)處理的方式。傳統(tǒng)的運(yùn)算架構(gòu)將存儲和處理單元分開，產(chǎn)生大量的數(shù)據(jù)傳輸負(fù)擔(dān)，特別是對于以數(shù)據(jù)為中心的人工智能應(yīng)用程序。另一方面，IMC將存儲器和處理器整合在同一實(shí)體中，通過交叉陣列架構(gòu)實(shí)現(xiàn)更快、更高效的數(shù)據(jù)運(yùn)算，進(jìn)一步消除矩陣運(yùn)算中的大量中間數(shù)據(jù)。這種方法對于大規(guī)模數(shù)據(jù)處理和實(shí)時(shí)分析至關(guān)重要的人工智能和機(jī)器學(xué)習(xí)應(yīng)用特別有益。

為IMC選擇合適的存儲設(shè)備至關(guān)重要，SRAM和DRAM等傳統(tǒng)存儲技術(shù)由于其設(shè)備和單元限制及其易失性特性，并未針對存儲中操作進(jìn)行優(yōu)化。RRAM憑借其高密度、多級功能和非揮發(fā)性以及卓越的保持能力，無需刷新即可克服這些挑戰(zhàn)。RRAM的工作原理是通過控制電壓或電流來調(diào)整存儲單元的電阻變化，模仿人類大腦中突觸的行為，這一功能使RRAM特別適合模擬IMC。

TetraMem專注于多級RRAM（阻變存儲器）技術(shù)，與傳統(tǒng)的單級單元存儲技術(shù)相比，該技術(shù)具有多種優(yōu)勢。RRAM能夠在每個(gè)單元中存儲多個(gè)比特，并在原地執(zhí)行高效的矩陣乘法運(yùn)算，這使其成為IMC的理想選擇。該技術(shù)解決了傳統(tǒng)數(shù)字運(yùn)算的許多限制，例如帶寬限制和能效不足等問題。

RRAM可編程電路設(shè)備會(huì)記住其最后的穩(wěn)定電阻值，此電阻值可以通過施加電壓或電流來調(diào)節(jié)，施加在設(shè)備上的電壓和電流的大小和方向變化會(huì)改變其導(dǎo)電性，從而改變其電阻值。類似人類神經(jīng)元的功能，這種機(jī)制有多種應(yīng)用：存儲、模擬神經(jīng)元，以及TetraMem的存內(nèi)運(yùn)算IMC。RRAM的操作由離子驅(qū)動(dòng)，通過控制導(dǎo)電絲的尺寸、離子濃度和高度，可以精確實(shí)現(xiàn)不同的單元電阻多級變化。

數(shù)據(jù)在與存儲相同的實(shí)體中進(jìn)行處理，中間數(shù)據(jù)移動(dòng)和存儲最少，從而實(shí)現(xiàn)低功耗。通過具有設(shè)備級顆粒內(nèi)核的交叉陣列架構(gòu)進(jìn)行大規(guī)模并行運(yùn)算可產(chǎn)生高吞吐量。通過物理定律（歐姆定律和基爾霍夫電流定律）進(jìn)行運(yùn)算，確保低延遲。TetraMem的非易失性存內(nèi)運(yùn)算單元相比傳統(tǒng)的數(shù)字馮·諾依曼架構(gòu)可大幅降低功耗。

顯著成就

TetraMem在RRAM技術(shù)的發(fā)展中取得了重要的里程碑。值得注意的是，該公司展示了一個(gè)前所未有的設(shè)備，每個(gè)單元具有11位，在單個(gè)設(shè)備中實(shí)現(xiàn)了2000多個(gè)信息等級，這一精度水平代表了存內(nèi)運(yùn)算IMC技術(shù)的重大突破。

近期在Nature和Science等著名期刊上發(fā)表的文章強(qiáng)調(diào)了TetraMem的創(chuàng)新方法。提高單元噪聲性能和增強(qiáng)多級信息IMC運(yùn)算技術(shù)是其重要的進(jìn)展領(lǐng)域。例如，TetraMem開發(fā)了專有算法來抑制隨機(jī)電報(bào)噪聲（telegraph noise），從而使RRAM單元具有更優(yōu)越的記憶保持和耐久性特征。

存內(nèi)運(yùn)算（IMC）的運(yùn)作

TetraMem的IMC技術(shù)采用交叉架構(gòu)，其中陣列中的每個(gè)交點(diǎn)對應(yīng)于一個(gè)可編程的RRAM存儲單元。這種配置允許高度并行操作，這對神經(jīng)網(wǎng)絡(luò)計(jì)算至關(guān)重要。在向量矩陣乘法（Vector-Matrix Multiplication, VMM）操作期間，輸入信號會(huì)應(yīng)用于交叉開關(guān)陣列，計(jì)算結(jié)果被收集到位線（bit lines）上。這種方法大大減少了在存儲和處理單元之間傳輸數(shù)據(jù)的需求，從而提高了計(jì)算效率。

實(shí)際應(yīng)用

TetraMem通過商業(yè)晶圓廠制造的首款評估SoC，MX100芯片展示了其IMC技術(shù)的實(shí)際應(yīng)用。該芯片已在多個(gè)芯片內(nèi)演示中展示了其能力，展示了其在現(xiàn)實(shí)場景中的功能。一個(gè)值得注意的演示是瞳孔中心網(wǎng)絡(luò)（Pupil Center Net, PCN），展示了該芯片在AR/VR中的應(yīng)用，用于自動(dòng)駕駛車輛中的面部追蹤和身份驗(yàn)證監(jiān)控。

為了促進(jìn)其技術(shù)的采用，TetraMem提供了全面的軟件開發(fā)套件（Software Development Kit, SDK）。此SDK使開發(fā)者能夠無縫地定義邊緣AI模型。此外，與Andes晶心科技的NX27V RISC-V CPU及其向量擴(kuò)展功能的整合簡化了操作，讓客戶更輕松地將TetraMem的解決方案部署到其產(chǎn)品中。

TetraMem的IMC設(shè)計(jì)非常適合矩陣乘法，但在向量或標(biāo)量運(yùn)算等其他功能上的效率不高。這些運(yùn)算在神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用，為了支持這些功能，Andes晶心科技提供了CPU加向量引擎的靈活性，并擁有現(xiàn)有的SoC參考設(shè)計(jì)以及成熟的編譯器和函數(shù)庫，以加快我們的市場推廣時(shí)間。

TetraMem與Andes晶心科技合作，將其IMC技術(shù)與Andes晶心的RISC-V CPU和向量擴(kuò)展集成在一起。這一合作提升了整體系統(tǒng)性能，為各種AI任務(wù)提供了強(qiáng)大的平臺。結(jié)合的解決方案充分利用了兩家公司優(yōu)勢，提供了一個(gè)靈活且高效的架構(gòu)。

展望未來，TetraMem準(zhǔn)備推出基于22nm技術(shù)的MX200芯片，這款芯片承諾將提供更大的性能和效率。該芯片專為邊緣推理應(yīng)用而設(shè)計(jì)，提供低功耗、低延遲的AI處理。MX200預(yù)計(jì)將開拓新的市場機(jī)會(huì)，特別是在能源效率至關(guān)重要的電池供電的人工智能設(shè)備中。

結(jié)論

TetraMem在IMC方面的進(jìn)展代表了AI硬件領(lǐng)域的一次重大飛躍。通過解決傳統(tǒng)計(jì)算的基本挑戰(zhàn)，TetraMem正在為更高效和可擴(kuò)展的AI解決方案鋪平道路。隨著公司不斷創(chuàng)新并與Andes晶心科技等行業(yè)領(lǐng)導(dǎo)者合作，AI處理的未來看起來充滿希望。TetraMem的解決方案不僅提升了性能，還降低了采用尖端AI技術(shù)的門檻。