隨著DeepSeek 的蒸餾技術(shù)的橫空出世，端側(cè) SoC 芯片上運(yùn)行大模型成為可能。那么端側(cè)芯片跑大模型的效果如何呢？本文將在全志 A733 芯片平臺(tái)上部署一個(gè) DeepSeek-R1:1.5B 模型，并進(jìn)行實(shí)測(cè)效果展示。 端側(cè)平臺(tái)環(huán)境

設(shè)備：全志A733平板

系統(tǒng)：Android 15

DDR：8GB LPDDR5 @2400MHz

Flash：128GB UFS3.0

測(cè)試模型：Deepseek-R1-Distill-Qwen-1.5B

首先，我們測(cè)試AI經(jīng)典哲學(xué)問題“你是誰？”

實(shí)測(cè)視頻：

輸入運(yùn)行命令之后可看到模型運(yùn)行起來了，此時(shí)我們就可以開始和Deepseek對(duì)話了。

從實(shí)拍視頻可以看到，這個(gè)輸出速度基本可以滿足正常對(duì)話的交互體驗(yàn)。

然后我們要求Deepseek“快速寫一段代碼計(jì)算1-9999的和”

實(shí)測(cè)視頻如下：

可以看到，Deepseek會(huì)先對(duì)題目進(jìn)行分析，他很快就分辨出了這是一個(gè)經(jīng)典的等差數(shù)列求和問題，并給出了計(jì)算公式。

然后，可以看到在沒有指定編程語言的情況下，Deepseek默認(rèn)使用python寫出了計(jì)算代碼。

最后，Deepseek對(duì)整個(gè)解題思路進(jìn)行了歸納總結(jié)。

我們?cè)賴L試解一個(gè)一元二次方程：“求解方程x^2+4x+4=0”

實(shí)測(cè)視頻如下：

同樣，Deepseek也是快速理清了題意，判別出了這是一個(gè)解一元二次方程的題目，并給出了求解公式。

然后Deepseek知道先對(duì)方程進(jìn)行重根判別，判別出這道題是只有一個(gè)重根的。

最后，Deeepseek 將題目代入公式進(jìn)行求解，馬上便得出了正確的計(jì)算結(jié)果。

經(jīng)測(cè)試，可以得出結(jié)論是Deepseek-R1-Distill-Qwen-1.5B 是可以在全志A733芯片平臺(tái)的平板電腦上較流暢地運(yùn)行的，并且可以讓Deepseek擁有中學(xué)生級(jí)別的邏輯推理能力。而這才是一個(gè)開始。后續(xù)，隨著量化技術(shù)的不斷發(fā)展，模型的體積和計(jì)算復(fù)雜度將進(jìn)一步降低，從而更好地適應(yīng)端側(cè)設(shè)備的資源限制。未來，我們期待 DeepSeek 在更多場(chǎng)景中發(fā)揮其強(qiáng)大的功能，為用戶提供更加智能和便捷的體驗(yàn)。