在DeepSeek迅速成為行業(yè)焦點(diǎn)之際，香橙派昇騰系列產(chǎn)品已經(jīng)率先完成了與 DeepSeek 模型的深度適配，通過在邊緣進(jìn)行離線部署，幫助用戶實(shí)現(xiàn)高效端側(cè)智能，確保數(shù)據(jù)處理的安全性和可控性。

緊接著，香橙派官方發(fā)布OrangePi5Plus運(yùn)行Deepseek-R1蒸餾模型實(shí)操指南，趕緊收藏起來吧！

OrangePi 5 Plus采用了瑞芯微RK3588八核64位處理器，具體為四核A76+四核A55，8nm工藝設(shè)計，主頻最高可達(dá)2.4GHz，集成ARM Mali-G610,內(nèi)置3D GPU，兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2；內(nèi)嵌的NPU支持INT4/INT8/INT16/FP16混合運(yùn)算，算力高達(dá)6TOPS，可以滿足絕大多數(shù)終端設(shè)備的邊緣計算需求；擁有4GB/8GB/16GB（LPDDR4/4X）、32GB LPDDR4X，和eMMC閃存插座，可以外接16GB/32GB/64GB/128GB/256GB eMMC模塊。OrangePi 5 Plus支持OrangePi官方研發(fā)的操作系統(tǒng)Orangepi OS，同時，支持Android12、Debian11、Ubuntu22.04等操作系統(tǒng)。OrangePi 5 Plus順利通過開放原子開源基金會XTS認(rèn)證，并獲頒OpenHarmony生態(tài)產(chǎn)品兼容性證書。

實(shí)操指南：OrangePi5Plus運(yùn)行Deepseek-R1蒸餾模型

1.1.6.DeepSeek-R1-Distill-Qwen-1.5B

1）參考用戶手冊在pc端安裝RKLLM工具鏈。

2）參考用戶手冊在pc端編譯llm_demo測試程序。

3）先在Ubuntu操作系統(tǒng)上安裝GitLFS，如果已安裝可跳過這一步。

test@test:~$sudo apt update

test@test:~$sudo apt install curl git git-lfs

4）接著下載DeepSeek-R1-Distill-Qwen-1.5B模型。

test@test:~$git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

5）參考下面的代碼修改test.py文件。

a. modelpath：DeepSeek-R1-Distill-Qwen-1.5B文件夾所在的絕對路徑。

b. llm.export_rkllm：轉(zhuǎn)換后模型保存路徑。

test@test:~$vimrknn-llm/rkllm-toolkit/examples/test.py

modelpath ="/path/your/DeepSeek-R1-Distill-Qwen-1.5B"#填你自己的路徑

ret = llm.export_rkllm("./DeepSeek-R1-Distill-Qwen-1.5B.rkllm")

6) 創(chuàng)建一個名為“data_quant.json”的文件。內(nèi)容可以參考下面的示例。

test@test:~$vimrknn-llm/rkllm-toolkit/examples/data_quant.json

[{"input":"Human: 你好！\nAssistant: ", "target": "你好！我是人工智能助手KK！"}]

7) 然后用python3運(yùn)行test.py文件來轉(zhuǎn)換大模型。

test@test:~$cdrknn-llm/rkllm-toolkit/examples

test@test:~/rknn-llm/rkllm-toolkit/examples$python3test.py

8) 轉(zhuǎn)換成功的輸出如下所示：

9) 最后轉(zhuǎn)換成功會在當(dāng)前目錄下得到DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件，大小約為1.9G。

test@test:~/rknn-llm/rkllm-toolkit/examples$ls

data_quant.json test.py DeepSeek-R1-Distill-Qwen-1.5B.rkllm

10) 參考用戶手冊更新NPU內(nèi)核驅(qū)動和rknn-llm相關(guān)文件。這里使用的版本是：

rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.6

11) 將在Ubuntu PC端編譯好的llm_demo程序和DeepSeek-R1-Distill-Qwen-1.5B.rkllm模型文件上傳到開發(fā)板中。

orangepi@orangepi:~$ls

llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm

12) 然后運(yùn)行下面的命令限制最多打開的文件描述符（每開一個終端都要運(yùn)行）。

orangepi@orangepi:~$ulimit -HSn 102400

13) 然后運(yùn)行下面的命令來啟動模型。

orangepi@orangepi:~$chmod 777 llm_demo

orangepi@orangepi:~$./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B.rkllm256 320

14) 運(yùn)行成功的話就會彈出以下界面。

15) 如果運(yùn)行完彈出以下失敗界面的話，reboot重啟開發(fā)板就可以了。第四步運(yùn)行成功的話則跳過這一步。

orangepi@orangepi:~$sudo reboot

16) 在交互界面輸入問題后按回車，測試成功的結(jié)果如下：