| 作者：Mike Croucher，MathWorks 總部 &技術(shù)小哥，MathWorks中國

（下文翻譯自 MATLAB Central 博客系列 The MATLAB Blog，點擊文末“閱讀原文”可以直接跳轉(zhuǎn)至該原文。）

在 DeepSeek-R1(https://github.com/deepseek-ai/DeepSeek-R1) AI 模型橫空出世后，人們幾乎就立馬開始詢問如何在 MATLAB 中使用這些模型。上周末，MathWorks 的軟件測試工程師 Vasileios Papanastasiou 在 LinkedIn 上發(fā)了指南帖，今天上午我第一次在自己的機子上根據(jù)他的指導(dǎo)嘗試了下。

在本地運行 deepseek-r1:1.5b

我將使用附加功能 “Large Language Models (LLMS) with MATLAB” 以及 ollama，在我的本地機子上運行一個較小的 DeepSeek 模型，并在 MATLAB 中與之交互。按照 Vasileios 的指導(dǎo)，我做的第一件事是:

下載并安裝 Ollama: https://ollama.com/download

我在 Windows 上進行了此操作。安裝完成后，我打開操作系統(tǒng)的命令行并運行了該命令:

ollama run deepseek-r1:1.5b

這將安裝一個 15 億參數(shù)的模型，雖然模型很小，但希望這意味著我不需要擔心計算資源的限制。以后我還可以嘗試更大的模型。

現(xiàn)在來看看 MATLAB。Vasileios 建議我們從 GitHub(https://github.com/matlab-deep-learning/llms-with-matlab) 獲取附加功能 “Large Language Models (LLMS) with MATLAB”，但我采取了不同的方法。我點擊了 MATLAB R2024b 的“環(huán)境”中的“附加功能”。

我在附加功能資源瀏覽器中搜索 “Large Language Models”，找到后點擊 “添加”。這樣就完成了下載和安裝。

安裝就這樣完成了。現(xiàn)在讓我們在 MATLAB 中開始使用它！
首先，創(chuàng)建一個 ollamaChat 對象

chat = ollamaChat("deepseek-r1:1.5b")

終于，我們可以嘗試與 AI 對話

txt = generate(chat,"What is the speed of light?")

我覺得像這樣的 LLM 模型有趣的一點是，你可以反復(fù)問同一個問題，每次都會得到不同的答案，這反映了它們的隨機性。有時結(jié)果只是略有不同

txt = generate(chat,"What is the speed of light?")

而有時回復(fù)確實會非常冗長，包含很多“思考”的內(nèi)容。

txt = generate(chat,"What is the speed of light?")

哇太多字了！

我想這是許多人所說的 AI 冗余(https://en.wikipedia.org/wiki/AI_slop)的一個例子。不過，不管它還說了什么，這個模型似乎相當確定光速是299,792,458米每秒，根據(jù)維基百科，這是正確的。這是 DeepSeek 模型的一個非常小的版本，但它仍然可以做一些有用的事情，而且是了解基于 LLM 的 AI 技術(shù)優(yōu)缺點的一種有趣且有意義的方式。
您也不妨試試看，然后告訴我們你的想法！

技術(shù)小哥本地測評

在本地部署 DeepSeek，并用 MATLAB 調(diào)用，是非常容易的，我并未遇到太多困難就成功了，全過程可以總結(jié)為以下步驟：

MATLAB 調(diào)用大語言模型的優(yōu)勢之一是，容易對大預(yù)言模型的返回結(jié)果進行處理。

這里給出兩個玩法：
1. 利用字符處理能力，對大語言模型結(jié)果的關(guān)鍵信息進行提取。這里我問 DeepSeek 光速是多少 m/s，并反復(fù)提問 10 次，對回答結(jié)果中的數(shù)字進行提取，從而獲得更為可靠的結(jié)果，代碼如下：

chat = ollamaChat("deepseek-r1:32b");
raws = {};
for i=1:10
    raws{i} = generate(chat,"光速是多少m/s");
end
%對 DeepSeek 詢問10次
processed=[];
for i=1:10
    temp=char(raws{i});
    [a,b] = regexp(temp,'');
    temp=temp(b:end);
    [a,b] = regexp(temp,'[0123456789,(?s)]{2,}');
    temp=temp([a(1):b(1)]);
    temp=replace(temp,',','');
    processed(i)=str2num(temp);
end
%對每次回答中的數(shù)字進行提取
median(processed)
%求取中位數(shù)