近日，阿里巴巴正式發(fā)布新一代Qwen大語言模型系列（Qwen3與Qwen3-MoE），在模型規(guī)模與性能上實現(xiàn)多方面升級。openEuler社區(qū)團隊與vLLM社區(qū)通力合作，在第一時間完成Qwen3模型驗證。目前，開發(fā)者可以基于OpenAtom openEuler（簡稱“openEuler”）和vLLM在昇騰設(shè)備上完成 Qwen3 推理。

新一代Qwen大語言模型主要包含2個版本：

?Qwen3，包括Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-8B

?Qwen3-MoE，包括Qwen3-MoE-15B-A2B、Qwen3-30B-A3B、Qwen3-235B-A22B

早在4月中旬，vLLM發(fā)布的v0.8.4版本中已經(jīng)包括對Qwen3最新結(jié)構(gòu)的支持。隨即，vLLM社區(qū)的vLLM Ascend團隊同步發(fā)布了v0.8.4rc1版本，并完成了跟進(jìn)和適配。在該版本中，openEuler成為上游默認(rèn)支持的操作系統(tǒng)之一，同步發(fā)布容器鏡像。

Qwen3發(fā)布后，openEuler社區(qū)與vLLM社區(qū)通力合作，在第一時間完成Qwen3模型驗證，這意味著開發(fā)者現(xiàn)在就可以一鍵拉起基于openEuler的vLLM-Ascend容器鏡像在昇騰設(shè)備上實現(xiàn)Qwen3的推理。

快速體驗Qwen3

體驗之前，您需確認(rèn)固件/驅(qū)動已正確安裝，可運行如下命令確認(rèn)：

npu-smi info

您可以使用如下命令，一鍵拉起基于openEuler的vLLM-Ascend容器鏡像：

# Update DEVICE according to your device (/dev/davinci[0-7])
exportDEVICE=/dev/davinci0
# Update the openeuler-vllm-ascend image
exportIMAGE=quay.io/ascend/vllm-ascend:v0.8.4rc2-openeuler
docker run --rm
--name openeuler-vllm-ascend 
--device$DEVICE
--device /dev/davinci_manager 
--device /dev/devmm_svm 
--device /dev/hisi_hdc 
-v /usr/local/dcmi:/usr/local/dcmi 
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi 
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ 
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info 
-v /etc/ascend_install.info:/etc/ascend_install.info 
-v /root/.cache:/root/.cache 
-p 8000:8000 
-it$IMAGEbash

進(jìn)入容器環(huán)境后，使用ModelScope平臺進(jìn)行下載加速：

exportVLLM_USE_MODELSCOPE=true

在線推理

您可以使用vLLM和vLLM Ascend一鍵部署在線推理服務(wù)：

vllmserve Qwen/Qwen3-8B

服務(wù)啟動后，您可以通過curl請求來進(jìn)行內(nèi)容生成：

curl http://localhost:8000/v1/completions 
-H"Content-Type: application/json"
-d '{"model":"Qwen/Qwen3-8B","prompt":"The future of AI is","max_tokens":5, "temperature":0}'|python3-m json.tool

離線推理

您可以使用vLLM和vLLM Ascend進(jìn)行離線推理。

以下是example.py的示例：

fromvllmimportLLM, SamplingParams
prompts = [
 "Hello, my name is",
 "The future of AI is",]
# Create a sampling params object.
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
# Create an LLM.
llm = LLM(model="Qwen/Qwen3-8B")
# Generate texts from the prompts.
outputs = llm.generate(prompts, sampling_params)
foroutputinoutputs:
  prompt = output.prompt
  generated_text = output.outputs[0].text
 print(f"Prompt:{prompt!r}, Generated text:{generated_text!r}")

運行以上腳本即可使用vLLM和vLLM Ascend進(jìn)行推理：

#exportVLLM_USE_MODELSCOPE=trueto speed up downloadifhuggingface is not reachable.
python example.py

推理結(jié)果如下圖所示：

問題反饋

若您在openEuler上部署與運行Qwen3時遇到任何問題，可在openEuler官方論壇【Qwen3 on openEuler】問題收集與討論專帖下面進(jìn)行反饋。