背景介紹

隨著邊緣計算與實時智能需求的快速增長，如何在資源受限的嵌入式設(shè)備上同時滿足實時控制與AI推理能力成為技術(shù)熱點。本文以ROCK 5B開發(fā)板為開發(fā)平臺（搭載4核Cortex-A76 + 4核Cortex-A55，8GB LPDDR4），通過虛擬化技術(shù)實現(xiàn)虛擬化Linux+RTOS混合部署，并在Linux環(huán)境中部署輕量化大語言模型DeepSeek-1.5B+語音轉(zhuǎn)文字模型，實現(xiàn)實時語音對話大模型功能，探索實時控制與AI推理的融合方案。

vmRT-Thread

vmRT-Thread是一個基于虛擬化技術(shù)的嵌入式軟件集成開發(fā)平臺，使得在高性能嵌入式設(shè)備上開發(fā)同時具備高實時性、高安全性和高復(fù)雜度的應(yīng)用更簡單和高效。整體系統(tǒng)架構(gòu)如下：

1、實時/安全虛擬機（RVM/SVM，Realtime/Safety Virtual Machine） – 運行要求高實時性、或符合功能安全要求的應(yīng)用，可以使用RT-Thread API或POSIX（PSE51）API，底層操作系統(tǒng)使用標準版ASIL-D認證版的RT-Thread或RT-Thread Smart；

2、管理虛擬機（MVM，Management Virtual Machine） - 運行高級管理服務(wù)（比如：復(fù)雜的監(jiān)控、升級和日志等功能）和虛擬外設(shè)服務(wù)（比如：網(wǎng)絡(luò)、存儲、圖形和圖像等外設(shè)的虛擬化共享），如果沒有這些功能則不需此虛擬機，可使用Linux、RT-Thread或RT-Thread Smart操作系統(tǒng)；普通虛擬機（NVM，Normal Virtual Machine） – 運行多媒體和人工智能等復(fù)雜應(yīng)用，可以使用Android API或POSIX（PSE54） API，底層操作系統(tǒng)可以使用Linux或Android；

3、虛擬機間通信 – 支持虛擬機間的高性能共享內(nèi)存，以及易用的套接字通信；vmRT-Thread虛擬機管理器（Hypervisor/VMM） - 利用硬件虛擬化功能運行在虛擬化層，是針對嵌入式設(shè)備設(shè)計實現(xiàn)的輕量級、高安全性、高性能的Type1虛擬機管理器。

通過vmRT-Thread我們可以在ROCK 5B上同時部署RT-Thread系統(tǒng)和Linux系統(tǒng)，實現(xiàn)在Linux上部署大模型，在RT-Thread系統(tǒng)中可以控制小車等硬件設(shè)備。在本文中，我使用vmRT-Thread將ROCK 5B的8個CPU分為2部分，Linux系統(tǒng)占6核，RT-Thread系統(tǒng)占2核以下是htop查看的Linux系統(tǒng)的CPU信息

部署DeepSeek-R1-Distill-Qwen-1.5B大模型

DeepSeek-R1 是由杭州深度求索公司開發(fā)的大模型，DeepSeek系列模型完全開源且deepseek 通過 DeepSeek-R1蒸餾了 6 個小模型。rock 5B官方提供了編譯好的 DeepSeek-R1-Distill-Qwen-1.5B 模型和執(zhí)行文件，我們可以直接下載，下載鏈接：模型文件下載：https://docs.radxa.com/rock5/rock5b/app-development/rkllm_deepseek_r1下載文件如下下載好的模型文件上傳到開發(fā)板上，導(dǎo)入必需的環(huán)境變量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/librkllmrt.so所在文件夾路徑
export RKLLM_LOG_LEVEL=1

測試模型推理, 128分別是模型輸入的最大token數(shù)量和生成的最大token數(shù)量

./llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm 128 128

部署語音喚醒和語音識別

語音喚醒使用pyaudio和webrtcvad實現(xiàn)，代碼參考自ASR-LLM-TTS（https://github.com/ABexit/ASR-LLM-TTS/tree/master）。語音識別為SenseVoiceSmall模型，模型下載鏈接。

語音喚醒

我們主要通過pyaudio實時采集音頻數(shù)據(jù)，然后將一段時間內(nèi)采集的音頻數(shù)據(jù)用webrtcvad進行VAD檢測，將檢測到的有語音活動的數(shù)據(jù)拼接保存為wav格式的音頻，用于語音識別。代碼流程圖如下

語音識別

語音識別使用的是SenseVoiceSmall模型，比官方提供的語音識別模型快6倍。他的部署方式與DeepSeek-R1-Distill-Qwen-1.5B一致，下載編譯好的模型文件并上傳到開發(fā)板中即可通過命令行或者代碼部署模型。部署語音識別模型還需要安裝rknn-toolkit2-lite2和以下依賴

pip install kaldi_native_fbank onnxruntime sentencepiece soundfile pyyaml numpy

運行sensevoice_rknn.py測試識別效果

python ./sensevoice_rknn.py --audio_file output.wav

實現(xiàn)實時語音與大模型對話

有了上面的基礎(chǔ)，我們已經(jīng)可以實現(xiàn)實時語音與大模型對話了。只要在語音喚醒和識別的基礎(chǔ)上，與大模型溝通即可。這里rknn-llm（https://github.com/airockchip/rknn-llm/tree/29a9fb97d14c773b6efa07415dce6ec91c7d8461/examples/rkllm_server_demo）中有example代碼，用Flask實現(xiàn)大模型服務(wù)。在開發(fā)板上下載rknn-llm代碼。修改flask_server.py中的PROMPT_TEXT_PREFIX和PROMPT_TEXT_POSTFIX為

PROMPT_TEXT_PREFIX = "<|im_start|>system\nYou are a helpful assistant.\n<|im_end|>\n<|im_start|>user\n"
PROMPT_TEXT_POSTFIX = "\n<|im_end|>\n<|im_start|>assistant\n"

然后運行以下代碼啟動大模型服務(wù)

python flask_server.py --rkllm_model_path ../ds_r1/DeepSeek-R1-Distill-Qwen-1.5B.rkllm --target_platform rk3588

以下是實時語音對話的運行效果

總結(jié)

在傳統(tǒng)的嵌入式方案中，往往只能選擇Linux或者RT-Thread一個系統(tǒng)，這種方式使得系統(tǒng)只能用于一般的非實時交互環(huán)境。而在當前眾多的生產(chǎn)生活環(huán)境中，往往需要滿足交互的情況下，盡可能的提高控制系統(tǒng)的響應(yīng)和實時性能。因此，本文從這一出發(fā)點，詳細的介紹了基于vmRT-Thread的虛擬化方案，通過提供虛擬化層，既滿足了人機交互的可能，同時，又滿足了RT-Thread OS的實時性性能，該方案可以廣泛的應(yīng)用在當前各種工業(yè)、生產(chǎn)環(huán)境中，為原有嵌入式設(shè)備提供高實時性、高穩(wěn)定性的智能化交互解決方案，該方案有潛力運用在智能家居、智慧制造等諸多領(lǐng)域。下一期，我們將介紹基于該方案的智能小車解決方案，在該方案中，我們可以更加直觀的理解基于這種基于虛擬化的嵌入式AI方案給設(shè)備智能化開發(fā)帶來的便利。體驗了解虛擬化