西班牙的SemiDynamics基于其完全可定制的64位內(nèi)核開發(fā)了用于AI芯片設(shè)計的RISC-V Tensor Unit。

RISC-V Tensor 單元集成到緩存子系統(tǒng)中，SemiDynamics 使其成為第一個用于數(shù)據(jù)中心高性能 AI 芯片設(shè)計的完全一致的此類單元。

LLaMa-2 或 ChatGPT 等大型語言機(jī)器學(xué)習(xí)模型 (LLM) 使用數(shù)十億個參數(shù)，需要大量計算能力。LLM 層中的大部分計算可以作為張量單元硬件中的矩陣乘法有效實(shí)現(xiàn)。

張量單元構(gòu)建在 Semidynamics RVV1.0 矢量處理單元之上，并使用現(xiàn)有的矢量寄存器來存儲矩陣。這使得張量單元可以用于需要矩陣乘法功能的層，例如全連接和卷積，并將向量單元用于激活函數(shù)層（ReLU、Sigmoid、Softmax 等），這是一個很大的改進(jìn)- 單獨(dú)的 NPU 可能會與激活層作斗爭。

張量單元使用矢量單元功能以及 Atrevido-423 Gazzillion CPU 從內(nèi)存中獲取所需的數(shù)據(jù)。64 位 CPU 內(nèi)核的性能意味著不需要直接內(nèi)存訪問 (DMA) 來管理數(shù)據(jù)流。由于張量單元使用向量寄存器來存儲其數(shù)據(jù)，并且不包含新的、架構(gòu)上可見的狀態(tài)，因此它可以與任何支持 RISC-V 向量的 Linux 一起使用，而無需進(jìn)行任何更改。

SemiDynamics 創(chuàng)始人兼首席執(zhí)行官 Roger Espasa 表示：“這個新的 Tensor Unit 旨在與我們的其他創(chuàng)新技術(shù)完全集成，以提供具有出色 AI 性能的解決方案?！?/p>

“首先，核心是我們的 64 位完全可定制的 RISC-V 內(nèi)核。然后是我們的矢量單元，它通過我們的 Gazzillion 技術(shù)不斷饋送數(shù)據(jù)，因此不會丟失任何數(shù)據(jù)。然后是張量單元，它執(zhí)行人工智能所需的矩陣乘法。該解決方案的每個階段都經(jīng)過精心設(shè)計，可與其他階段完全集成，以實(shí)現(xiàn)最佳的人工智能性能和非常簡單的編程。與僅在標(biāo)量核心上運(yùn)行 AI 軟件相比，性能提高了 128 倍?！?/p>

Tensor Unit 將于下個月在美國舉行的 RISC-V 峰會上進(jìn)行討論，作為人工智能芯片設(shè)計重點(diǎn)的一部分。

審核編輯：黃飛