幸狐Core3576邊緣計(jì)算套件Luckfox Omni3576 主控采用Rockchip RK3576 處理器，該處理器采用先進(jìn)的 8nm 制程工藝，搭載了八核 64 位 CPU（包括 4×Cortex-A72@2.3GHz 和 4×Cortex-A53@2.2GHz），內(nèi)置 ARM Mali-G52 MC3 GPU，并集成了 6 TOPS 算力的 NPU。支持多種視頻輸入輸出接口，具備強(qiáng)大的計(jì)算和圖形處理能力，支持8G大內(nèi)存，支持2.4/5G WIFI,4G無線網(wǎng)絡(luò)通訊，擁有豐富的接口擴(kuò)展，適用于多種應(yīng)用領(lǐng)域，包括物聯(lián)網(wǎng)設(shè)備、智能音頻、智能顯示、工業(yè)控制和教育設(shè)備等。Luckfox omni3576 支持Buildroot、Debian12、Android14 和 Ubuntu22.04 系統(tǒng)。

本文來源自試用活動：【新品體驗(yàn)】幸狐Omni3576邊緣計(jì)算套件免費(fèi)試用

一、DeepSeek簡介

DeepSeek是由中國深度求索公司開發(fā)的開源大語言模型系列，其研發(fā)始于2023年，目標(biāo)是為學(xué)術(shù)界和產(chǎn)業(yè)界提供高效可控的AI基礎(chǔ)設(shè)施。R1系列作為其里程碑版本，通過稀疏化架構(gòu)和動態(tài)計(jì)算分配技術(shù)，在保持模型性能的同時顯著降低了計(jì)算資源需求。

模型特點(diǎn)：

參數(shù)規(guī)模靈活 ：提供1.5B/7B/33B等多種規(guī)格

混合精度訓(xùn)練 ：支持FP16/INT8/INT4量化部署

上下文感知優(yōu)化 ：動態(tài)分配計(jì)算資源至關(guān)鍵token

中文優(yōu)化 ：在Wudao Corpus等中文數(shù)據(jù)集上強(qiáng)化訓(xùn)練

技術(shù)突破：

相比傳統(tǒng)LLM，DeepSeek-R1通過以下創(chuàng)新實(shí)現(xiàn)低資源部署：

MoE架構(gòu) ：專家混合層動態(tài)路由計(jì)算路徑

梯度稀疏化 ：反向傳播時僅更新關(guān)鍵參數(shù)

自適應(yīng)量化 ：運(yùn)行時根據(jù)硬件自動選擇最優(yōu)精度

二、CPU運(yùn)行DeekSeek-R1:1.5b

2.1 ollama工具簡介

使用ollama命令行工具，可以非常方便的下載和運(yùn)行DeepSeek模型。

Ollama是一個獲取和運(yùn)行大語言模型的工具，官網(wǎng)的簡介是：

Get up and running with large language models.

2.2 ollama命令安裝

安裝ollama非常簡單，官網(wǎng)提供了在線安裝腳本（install.sh），使用如下命令即可下載在線安裝腳本并運(yùn)行：

curl -fsSL https://ollama.com/install.sh | sh

命令輸出如下：

2.3 ollama下載模型

安裝好了ollama之后，我們就可以使用ollama下載deepseek-r1:1.5b模型了，使用如下命令：

ollama pull deepseek-r1:1.5b

拉取deepseek-r1 1.5b模型，過程中會下載速度和進(jìn)度：

稍等一段時間，下載完成：

2.4 ollama運(yùn)行模型

下載完deepseek-r1:1.5b模型后，就可以使用ollama運(yùn)行deepseek模型了，使用如下命令：

ollama run deepseek-r1:1.5b

使用--verbose選項(xiàng)可以輸出速度等數(shù)據(jù)，例如，問他“你是誰”，輸出信息如下：

接下來，問一個經(jīng)典的雞兔同籠問題，結(jié)果也可以正確回答：

速度6.58 tokens/s，不是很快，但不算很卡。

三、CPU運(yùn)行DeekSeek-R1:7b

和前面類似的，可以通過 ollama 命令拉取 deepseek-r1:7b 模型，命令為：

ollama pull deepseek-r1:7b

接著嘗試運(yùn)行deepseek-r1:7b模型，默認(rèn)會出現(xiàn)內(nèi)存不夠的報(bào)錯：

報(bào)錯提示模型需要5.5GiB內(nèi)次，當(dāng)前可用的只有3.2GiB。

3.1 掛載固態(tài)硬盤

首先安裝好固體硬盤：

然后上電，啟動系統(tǒng)。

不出意外，執(zhí)行l(wèi)sblk命令，能夠看到這個固體硬盤對應(yīng)的塊設(shè)備：

將其格式化為ext4文件系統(tǒng)，執(zhí)行命令：

sudo mkfs.ext4 /dev/nvme0n1

命令輸出如下：

接著創(chuàng)建用于掛載的目錄：

sudo mkdir /mnt/ssd

最后，就可以前面格式化好的固態(tài)硬盤設(shè)備掛載到這個目錄了：

這里可以看到lost+found目錄，這個目錄是mkfs.ext4命令創(chuàng)建的，看到它說明已經(jīng)成功掛載了。

3.2 測試固體硬盤

使用dd創(chuàng)建一個4GiB的文件，測試一下固態(tài)硬盤的寫速度：

類似的可以測試一下，eMMC的寫入速度：

測試結(jié)果上看，eMMC沒有固體硬盤快，這也是為什么要用nvme固態(tài)作為后面配置交換分區(qū)的原因。

3.3 配置虛擬內(nèi)存

Linux系統(tǒng)上，可以通過配置虛擬內(nèi)存解決應(yīng)用程序內(nèi)存不夠用的問題。配置交換分區(qū)的磁盤空間，可以被內(nèi)核當(dāng)做內(nèi)存來用，但相應(yīng)的速度要比實(shí)際的內(nèi)存慢。

創(chuàng)建/mnt/ssd/swap.bin文件，并將內(nèi)容格式化為swap格式：

接著，準(zhǔn)備將其設(shè)置為交換分區(qū)，設(shè)置之前，查看當(dāng)前系統(tǒng)內(nèi)存信息：

可以看到，當(dāng)前Swap大小為0.

設(shè)置交換分區(qū)之前，將swap.bin文件的讀寫權(quán)限設(shè)置為600：

設(shè)置剛剛創(chuàng)建的swap.bin文件為交換分區(qū)：

設(shè)置成功后，可以通過free命令看到Swap內(nèi)存變?yōu)?GiB了。

通過swapon --show命令也可以看到：

3.4 運(yùn)行deepseek-r1:7b

接著，就可以運(yùn)行deepseek-r1:7b了：

能跑起來，但是非?？?，已經(jīng)卡的沒法用了[doge]。不過也算是一次有意義的嘗試。

四、參考鏈接

DeepSeek官方文檔

Ollama GitHub倉庫

原文鏈接：https://bbs.elecfans.com/jishu_2485728_1_1.html