1. Deepseek簡介

DeepSeek-R1，是幻方量化旗下AI公司深度求索（DeepSeek）研發(fā)的推理模型。DeepSeek-R1采用強化學習進行后訓練，旨在提升推理能力，尤其擅長數(shù)學、代碼和自然語言推理等復雜任務。作為國產(chǎn)AI大數(shù)據(jù)模型的代表，憑借其卓越的推理能力和高效的文本生成技術，在全球人工智能領域引發(fā)廣泛關注。

本文主要說明DeepSeek-R1如何離線運行在EASY-EAI-Orin-Nano(RK3576)硬件上, RK3576 具有優(yōu)異的端側AI能效比與極高的性價比，是AI落地的不二之選。

2. 開發(fā)環(huán)境搭建

2.1 RKLLM-Toolkit安裝

本節(jié)主要說明如何通過 pip 方式來安裝 RKLLM-Toolkit，用戶可以參考以下的具體流程說明完成 RKLLM-Toolkit 工具鏈的安裝。

工具安裝包鏈接: https://pan.baidu.com/s/1y5ZN5sl4e3HJI5d9Imt4pg?pwd=1234（提取碼: 1234）。

2.1.1 安裝miniforge3工具

為防止系統(tǒng)對多個不同版本的 Python 環(huán)境的需求，建議使用 miniforge3 管理 Python 環(huán)境。 檢查是否安裝 miniforge3 和 conda 版本信息，若已安裝則可省略此小節(jié)步驟。

下載 miniforge3 安裝包：

wget -c https://mirrors.bfsu.edu.cn/github-release/conda-forge/miniforge/LatestRelease/Miniforge3-Linux-x86_64.sh

安裝miniforge3:

chmod 777 Miniforge3-Linux-x86_64.sh
bash Miniforge3-Linux-x86_64.sh

2.1.2 創(chuàng)建 RKLLM-Toolkit Conda 環(huán)境

進入 Conda base 環(huán)境:

source ~/miniforge3/bin/activate

創(chuàng)建一個 Python3.8 版本（建議版本）名為 RKLLM-Toolkit 的 Conda 環(huán)境:

conda create -n RKLLM-Toolkit python=3.8

進入 RKLLM-Toolkit Conda 環(huán)境:

conda activate RKLLM-Toolkit

2.1.3 安裝RKLLM-Toolkit

在 RKLLM-Toolkit Conda 環(huán)境下使用 pip 工具直接安裝所提供的工具鏈 whl 包，在安裝過程 中，安裝工具會自動下載 RKLLM-Toolkit 工具所需要的相關依賴包。

pip3 install nvidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl
pip3 install torch-2.1.0-cp38-cp38-manylinux1_x86_64.whl
pip3 install rkllm_toolkit-1.1.4-cp38-cp38-linux_x86_64.whl

若在安裝的過程中，某些文件安裝很慢，可以登錄python官網(wǎng)單獨下載:

https://pypi.org/

執(zhí)行以下命令沒有報錯，則安裝成功。

3. Deepseek-R1模型轉換

本章主要說明如何實現(xiàn)Deepseek-R1大語言模型如何轉換為RKLLM模型。

3.1 模型與腳本下載

本節(jié)提供兩種大模型文件，Hugging face的原始模型和轉換完成的NPU模型。

還有用于模型轉換的腳本：

下載鏈接: https://pan.baidu.com/s/1yLALcGl4jUupU8BZvU9xcA?pwd=1234 （提取碼: 1234）。

3.2 模型轉換

下載完成后模型和腳本放到同一個目錄:

在RKLLM-Toolkit環(huán)境，執(zhí)行以下指令進行模型轉換:

至此模型轉換成功,生成deepseek_w4a16.rkllm NPU化的大模型文件：

test.py轉換腳本如下所示, 用于轉換deepseek-r1模型:

from rkllm.api import RKLLM
from datasets import load_dataset
from transformers import AutoTokenizer
from tqdm import tqdm
import torch
from torch import nn
import os
# os.environ['CUDA_VISIBLE_DEVICES']='1'


modelpath = '/home/developer/RKLLM-Toolkit/DeepSeek-R1-Distill-Qwen-1.5B'
llm = RKLLM()

# Load model
# Use 'export CUDA_VISIBLE_DEVICES=2' to specify GPU device
# options ['cpu', 'cuda']
ret = llm.load_huggingface(model=modelpath, model_lora = None, device='cpu')
# ret = llm.load_gguf(model = modelpath)
if ret != 0:
    print('Load model failed!')
    exit(ret)

# Build model
dataset = "./data_quant.json"
# Json file format, please note to add prompt in the input，like this:
# [{"input":"Human: 你好！nAssistant: ", "target": "你好！我是人工智能助手KK！"},...]

qparams = None
# qparams = 'gdq.qparams' # Use extra_qparams
ret = llm.build(do_quantization=True, optimization_level=1, quantized_dtype='w4a16',
                quantized_algorithm='normal', target_platform='rk3576', num_npu_core=2, extra_qparams=qparams, dataset=None)

if ret != 0:
    print('Build model failed!')
    exit(ret)

# Chat with model
messages = "<|im_start|?>system You are a helpful assistant.<|im_end|?><|im_start|?>user你好！n<|im_end|?><|im_start|?>assistant"
kwargs = {"max_length": 128, "top_k": 1, "top_p": 0.8,
          "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
# print(llm.chat_model(messages, kwargs))


# Export rkllm model
ret = llm.export_rkllm("./deepseek_r1_rk3576_w4a16.rkllm")
if ret != 0:
print('Export model failed!')

4. Deepseek-R1模型部署

本章主要說明RKLLM格式的NPU模型如何運行在EASY-EAI-Orin-Nano硬件上。

下載鏈接:https://pan.baidu.com/s/1B-DZTI-Q6i__b6Tdsrk_Ow?pwd=1234（提取碼: 1234）。

然后把例程【復制粘貼】到nfs掛載目錄中。（不清楚目錄如何構建的，可以參考《入門指南/開發(fā)環(huán)境準備/nfs服務搭建與掛載》）。特別注意:源碼目錄和模型最好cp到板子上，如/userdata，否則在nfs目錄執(zhí)行大模型會導致模型初始化過慢。

進入到開發(fā)板對應的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd /userdata/deepseek-demo/
./build.sh

4.1 例程運行及效果

進入例程的deepseek-demo/deepseek-demo_release目錄，執(zhí)行下方命令，運行示例程序：

cd deepseek-demo_release/
ulimit -HSn 102400 
./deepseek-demo deepseek_w4a16.rkllm 256 512

至此可以進行對話測試了，試著輸入“直角三角形兩直角邊是3和4，斜邊是多少？”?；卮鹑缦滤?

4.2 RKLLM算法例程

例程目錄為rkllm-demo/src/main.cpp，操作流程如下。

具體代碼如下所示:

#include 
#include 
#include 
#include "rkllm.h"
#include 
#include 
#include 
#include 

#define PROMPT_TEXT_PREFIX "<|im_start|?>system You are a helpful assistant. <|im_end|?> <|im_start|?>user"
#define PROMPT_TEXT_POSTFIX "<|im_end|?><|im_start|?>assistant"


using namespace std;
LLMHandle llmHandle = nullptr;

void exit_handler(int signal)
{
    if (llmHandle != nullptr)
    {
        {
            cout last_hidden_layer.embd_size != 0 && result->last_hidden_layer.num_tokens != 0) {
            int data_size = result->last_hidden_layer.embd_size * result->last_hidden_layer.num_tokens * sizeof(float);
            printf("ndata_size:%d",data_size);
            std::ofstream outFile("last_hidden_layer.bin", std::ios::binary);
            if (outFile.is_open()) {
                outFile.write(reinterpret_cast(result->last_hidden_layer.hidden_states), data_size);
                outFile.close();
                std::cout text);
    }
}

int main(int argc, char **argv)
{
    if (argc < 4) {
        std::cerr 

	

	5. 資料獲取

	   完整資料包的下載鏈接:https://pan.baidu.com/s/1FY7XHwQydqRPuTxdQezhyw?pwd=1234（提取碼:1234）。

	

	審核編輯 黃宇