DeepSeek來襲！

最近，AI界新星DeepSeek（中文名：深度求索）迅速崛起，憑借低成本、高性能的AI模型火爆全網(wǎng)。其核心是一個強大的語言模型，能夠理解自然語言并生成高質(zhì)量文本，此外DeepSeek免費向全球開發(fā)者開放，加速了AI技術(shù)普及。

RK3588性能優(yōu)勢

RK3588作為一款高性能AI芯片，采用了8nm LP 制程，搭載八核處理器，四核GPU以及6TOPS算力的NPU，依靠強大的性能和低功耗特性，非常適合邊緣計算場景。>>>>【新品發(fā)布】迅為RK3588人工智能AI主板

能否在RK3588部署Deepseek呢

在RK3588上部署Deepseek有兩種方法,分別是使用Ollama工具部署和使用瑞芯微官方的 RKLLM量化部署。下面分別對這兩種部署方式進行介紹。

01-使用Ollama工具部署

Ollama 是一個開源的大模型服務(wù)工具，可以支持最新的deepseek模型，以及Llama 3，Phi 3，Mistral，Gemma 和其他多種模型，在安裝Ollama工具之后，使用以下命令即可一鍵部署15億參數(shù)的deepseek-r1模型，運行之后如下圖所示：

ollama run deepseek-r1:1.5b

接下來就可以向該模型進行提問了，如下圖所示：

這里只是運行的15億參數(shù)大小的模型，所以回復(fù)的可能并不是很準(zhǔn)確，如果想要更高的準(zhǔn)確率可以切換為參數(shù)更大的模型，但參數(shù)變大之后相應(yīng)的回復(fù)速度也會變慢，并且使用Ollama工具部署的推理模型調(diào)用的是CPU進行的運算，如下圖所示：

可以看到在回復(fù)的過程中CPU的負載達到了百分之百，并沒有調(diào)用NPU進行加速，那要如何將RK3588強悍的NPU調(diào)用起來呢，這就要看第二種方法使用瑞芯微官方的RKLLM進行量化部署了。

02-使用RKLLM量化部署

RKLLM-Toolkit 是為用戶提供在計算機上進行大語言模型的量化、轉(zhuǎn)換的開發(fā)套件。通過該工具提供的Python接口可以便捷地完成以下功能：

1.模型轉(zhuǎn)換：支持部分格式的大語言模型轉(zhuǎn)換為RKLLM 模型轉(zhuǎn)換后的 RKLLM 模型能夠在 Rockchip NPU 平臺上加載使用
2.量化功能：支持將浮點模型量化為定點模型

DeepSeek轉(zhuǎn)換完成的RKLLM模型如下圖所示：

然后將其傳輸?shù)介_發(fā)板上，使用對應(yīng)的可執(zhí)行文件運行即可，運行之后如下圖所示：

接下來向該模型提出問題即可，回復(fù)內(nèi)容如下所示：

在回復(fù)的過程中查看CPU和NPU的利用率，可以看到CPU的占用率已經(jīng)降了下來，并且調(diào)用了NPU的3個核心進行加速推理：

至此，關(guān)于DeepSeek在RK3588上的部署推理就測試完成了。