1DeepSeek在端側(cè)設(shè)備的應(yīng)用場景

DeepSeek大語言模型（LLM）可用于理解人類語言的交互方式，思考，并給出合適的回應(yīng)。同時(shí)，通過結(jié)合RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）技術(shù)，可以從用戶定制知識(shí)數(shù)據(jù)庫檢索信息，將其作為提示輸入給LLM，LLM通過將這些額外的知識(shí)與自己的語言技能相結(jié)合，可以撰寫更準(zhǔn)確、更具時(shí)效性且更貼合具體需求的文字，提供面向某個(gè)具體領(lǐng)域的專業(yè)應(yīng)答。在AI概念和端側(cè)AI技術(shù)火熱的當(dāng)下，瑞薩半導(dǎo)體推出的面向端側(cè)AI應(yīng)用的高性能MPU，也可以部署DeepSeek-R1模型。在我們預(yù)想的應(yīng)用場景中，我們可以在部署了DeepSeek-R1模型和RAG定制數(shù)據(jù)庫的瑞薩MPU電路板上，在不聯(lián)網(wǎng)的情況下，實(shí)現(xiàn)如下應(yīng)用：

向AI模型投喂高端家電、車輛等復(fù)雜電子產(chǎn)品的用戶手冊，對(duì)這些模型進(jìn)行訓(xùn)練，以創(chuàng)建一個(gè)AI助手，能夠自動(dòng)執(zhí)行某些復(fù)雜功能的設(shè)置。如此，用戶就不必為了使用某一樣新奇的功能而花費(fèi)大量時(shí)間閱讀手冊。相對(duì)于傳統(tǒng)的語音識(shí)別應(yīng)用需要特定的命令或者喚醒詞，引入LLM對(duì)口頭語言的表達(dá)進(jìn)行分析，可以讓硬件設(shè)備更容易理解用戶的需求。

面向騎行愛好者，讓AI助手在自行車電腦中運(yùn)行，這樣用戶在騎自行車時(shí)就可以獲得個(gè)性化的導(dǎo)覽/導(dǎo)航以及其他信息。

AI智能眼鏡&耳機(jī)，直接理解用戶口語表達(dá)的命令，以日常使用的人類語言與電子系統(tǒng)進(jìn)行交互。

實(shí)時(shí)的翻譯機(jī)，在不聯(lián)網(wǎng)的應(yīng)用場景中，利用AI做一些簡單的語言轉(zhuǎn)換，甚至可以作為人與寵物之間的交互。例如，寵物貓和寵物狗的語言表達(dá)相對(duì)于人類語言更簡單，可以把它們的語言轉(zhuǎn)換成人類理解和思考的方式表現(xiàn)出來。

為此，我們在瑞薩定位于AI應(yīng)用的MPU芯片RZ/V2H，適配了DeepSeek-R1:1.5B的LLM模型，以支撐這些潛在的AI應(yīng)用。

2瑞薩RZ/V2H硬件平臺(tái)簡介

在演示用例中，使用瑞薩官方的RZ/V2H-EVK開發(fā)板，如圖1所示。

圖1 瑞薩官方RZ/V2H-EVK開發(fā)板

板載豐富的外擴(kuò)資源，如圖2所示。

圖2 RZ/V2H-EVK開發(fā)板板載資源

其中，RZ/V2H集成了7個(gè)處理器核心，分別是4個(gè)Cortex-A55@1.8GHz，2個(gè)Cortex-R8@800MHz，1個(gè)Cortex-M33@200MHz，同時(shí)還集成了瑞薩自主研發(fā)的AI計(jì)算專用加速引擎DRP-AI3和圖像計(jì)算加速引擎DRP，有系統(tǒng)框圖，如圖3所示。

圖3 RZ/V2H處理器系統(tǒng)框圖

3下載、配置和啟動(dòng)DeepSeek-R1

RZ/V2H-EVK開發(fā)板已經(jīng)適配了Yocto Linux操作系統(tǒng)，在此基礎(chǔ)上，使用Ollama官方推薦的方式，可以完成部署并運(yùn)行DeepSeek-R1大模型。

使用可以聯(lián)通外部網(wǎng)絡(luò)的路由器，用網(wǎng)線將RZ/V2H-EVK電路板和PC連起來，確保RZ/V2H-EVK電路板和電腦可以聯(lián)網(wǎng)，并可互相訪問。對(duì)RZ-V2H-EVK電路板的配置工作，將通過電腦完成。

在電腦上，通過Tera Term工具（或者其它SSH工具）連接到開發(fā)板。在終端中，使用腳本安裝并啟動(dòng)Ollama服務(wù)：

通過Ollama啟動(dòng)DeepSeek-R1模型。注意，在第一次運(yùn)行命令時(shí)，會(huì)自行下載DeepSeek-R1模型文件。在此過程中，需要確保聯(lián)網(wǎng)情況良好。

下載完成之后，自行啟動(dòng)DeepSeek-R1模型。后續(xù)運(yùn)行這個(gè)命令載入模型時(shí)，就不需要聯(lián)網(wǎng)了。

載入模型成功后，可以看到命令行中有提示信息“Send a message（/? for help）”。此時(shí)，可以向運(yùn)行在RZ/V2H-EVK電路板上的離線版DeepSeek提問了。

圖4 在RZ/V2H上啟動(dòng)DeepSeek-R1

4運(yùn)行演示

在啟動(dòng)DeepSeek-R1后，我們問了第一個(gè)問題"介紹一下你自己"，接下來，請(qǐng)看RZ/V2H-EVK電路板的反應(yīng)：

從視頻中可以看到，DeepSeek-R1大模型已經(jīng)成功運(yùn)行在RZ/V2H-EVK電路板上。

接下來，讓我們期待更多基于瑞薩產(chǎn)品和DeepSeek開發(fā)出的有趣應(yīng)用吧。