為了應對大模型(LLM)、AIGC等智能化浪潮的挑戰(zhàn),進迭時空通過AI指令擴展,在RISC-V CPU中注入了原生AI算力。這種具有原生AI能力的CPU,我們稱之為AI CPU。K1作為進迭時空第一顆AI CPU芯片,已于今年4月份發(fā)布。
下面我們以K1為例,結(jié)合llama.cpp來展示AI CPU在大模型領(lǐng)域的優(yōu)勢。
llama.cpp是一個開源的高性能CPU/GPU大語言模型推理框架,適用于消費級設(shè)備及邊緣設(shè)備。開發(fā)者可以通過工具將各類開源大語言模型轉(zhuǎn)換并量化成gguf格式的文件,然后通過llama.cpp實現(xiàn)本地推理。
得益于RISC-V社區(qū)的貢獻,已有l(wèi)lama.cpp在K1上高效運行的案例,但大語言模型的CPU資源使用過高,使其很難負載其他的上層應用。為此進迭時空在llama.cpp社區(qū)版本的基礎(chǔ)上,基于IME矩陣加速拓展指令,對大模型相關(guān)算子進行了優(yōu)化,在僅使用4核CPU的情況下,達到目前社區(qū)最好版本8核性能的2-3倍,充分釋放了CPU Loading,給開發(fā)者更多空間實現(xiàn)AI應用。
Ollama是一個開源的大型語言模型服務(wù)工具,它幫助用戶快速在本地運行大模型。通過簡單的安裝指令,用戶可以執(zhí)行一條命令就在本地運行開源大型語言模型,如Llama、Qwen、Gemma等。
部署實踐
工具與模型準備
#在K1上拉取ollama與llama.cpp預編譯包apt updateapt install spacemit-ollama-toolkit
#k開啟ollama服務(wù)ollama serve
#下載模型wget -P /home/llm/ https://archive.spacemit.com/spacemit-ai/ModelZoo/gguf/qwen2.5-0.5b-q4_0_16_8.gguf
#導入模型,例為qwen2.5-0.5b#modelfile地址:https://archive.spacemit.com/spacemit-ai/ollama/modelfile/qwen2.5-0.5b.modelfileollama create qwen2 -f qwen2.5-0.5b.modelfile
#運行模型ollama run qwen2
Ollama效果展示
性能與資源展示
我們選取了端側(cè)具有代表性的0.5B-4B尺寸的大語言模型,展示K1的AI擴展指令的加速效果。
參考性能分別為llama.cpp的master分支(下稱官方版本),以及RISC-V社區(qū)的優(yōu)化版本(下稱RISC-V社區(qū)版本,GitHub地址為:
https://github.com/xctan/llama.cpp/tree/rvv_q4_0_8x8)
所有模型均采用4bit量化。其中RISC-V社區(qū)版本以及官方版本模型為最優(yōu)實現(xiàn)的加速效果,模型量化時將token-embedding-type設(shè)置為q8_0。
llama.cpp的進迭時空版本CPU占用情況:
llama.cpp的RISC-V社區(qū)版本CPU占用情況:
參考文檔
https://github.com/ggerganov/llama.cpp
https://github.com/ollama/ollama
https://github.com/QwenLM/Qwen2.5
Qwen2 Technical Report
https://ollama.com
結(jié)語
進迭時空在K1平臺上大模型部署方面取得了初步進展,其卓越的性能與高度的開放性令人矚目。這為開發(fā)者們提供了一個極為友好的環(huán)境,使他們能夠輕松依托社區(qū)資源,進一步拓展和創(chuàng)新,開發(fā)出更多豐富的應用。
我們滿懷期待地憧憬著K1平臺上未來可能出現(xiàn)的更多大語言模型應用的創(chuàng)新設(shè)想。在此過程中,我們將持續(xù)保持關(guān)注并不斷推進相關(guān)工作。此外,本文所提及的預發(fā)布軟件包,將在年底以源代碼的形式開源,以供廣大開發(fā)者共同學習與探索。
-
芯片
+關(guān)注
關(guān)注
460文章
52520瀏覽量
441054 -
cpu
+關(guān)注
關(guān)注
68文章
11080瀏覽量
217116 -
大模型
+關(guān)注
關(guān)注
2文章
3146瀏覽量
4075
發(fā)布評論請先 登錄
【VisionFive 2單板計算機試用體驗】3、開源大語言模型部署
Arm Neoverse N2平臺實現(xiàn)DeepSeek-R1滿血版部署

【幸狐Omni3576邊緣計算套件試用體驗】CPU部署DeekSeek-R1模型(1B和7B)
如何在Ollama中使用OpenVINO后端
將Deepseek移植到i.MX 8MP|93 EVK的步驟
在MAC mini4上安裝Ollama、Chatbox及模型交互指南

K230D部署模型失敗的原因?
添越智創(chuàng)基于 RK3588 開發(fā)板部署測試 DeepSeek 模型全攻略
進迭時空 K1 系列 8 核 64 位 RISC - V AI CPU 芯片介紹
用Ollama輕松搞定Llama 3.2 Vision模型本地部署


Llama 3 與開源AI模型的關(guān)系
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

[技術(shù)] 【飛凌嵌入式OK3576-C開發(fā)板體驗】llama2.c部署
NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型

評論