作者：

武卓 英特爾AI布道師

隨著 DeepSeek、 GPT 和 Llama 等大語言模型（LLMs）不斷推動人工智能的邊界，它們在高效部署方面也帶來了重大挑戰(zhàn)。這些模型在生成類似人類的文本方面具有革命性，但每生成一個 token 都需要耗費巨大的計算資源。這不僅導致成本上升、能耗增加，還使響應(yīng)速度變慢。在實時應(yīng)用場景，如聊天機器人、虛擬助手和創(chuàng)意內(nèi)容生成工具等場景中，這些挑戰(zhàn)尤為突出。

本文將探討如何利用 OpenVINO GenAI 的推測式解碼技術(shù)使這一變革性創(chuàng)新成為現(xiàn)實。借助于簡化開發(fā)和優(yōu)化硬件利用率的工具，OpenVINO 使開發(fā)者能夠在各種實時和資源受限的場景中部署高性能的 LLMs。無論您是在構(gòu)建響應(yīng)迅速的聊天機器人、高效的虛擬助手，還是具備可擴展性的創(chuàng)意應(yīng)用，OpenVINO 正在重新定義 AI 推理的可能性。

1性能瓶頸

想象這樣一個場景：聊天機器人響應(yīng)緩慢，或者創(chuàng)意寫作助手難以跟上用戶的思維節(jié)奏。這些并非假設(shè)的問題，而是當今 AI 開發(fā)者和用戶面臨的現(xiàn)實挑戰(zhàn)。傳統(tǒng)的大語言模型 (LLMs) 推理方法按序處理 token，導致計算瓶頸，進而影響用戶體驗。當在計算資源受限的硬件上部署大語言模型，同時又要保持高性能時，這一問題變得更加嚴峻。

2推測式解碼：

一項顛覆性的解決方案

推測式解碼（Speculative Decoding）作為一種突破性技術(shù)，從根本上改變了大語言模型（LLM）的推理方式。通過引入一個較小的草稿模型（draft model）與完整的大模型（main model）協(xié)同工作，推測式解碼大幅加速了 token 生成。該方法最早在論文 “Fast Inference from Transformers via Speculative Decoding”（arXiv:2211.17192）中提出，其核心機制是讓草稿模型提前預測多個 token，并由主模型定期驗證這些預測是否符合預期，必要時進行修正。這種迭代式方法減少了生成 token 所需的完整計算次數(shù)，從而在實時應(yīng)用中實現(xiàn)顯著的加速效果。

Fast Inference from Transformers via Speculative Decoding

https://arxiv.org/abs/2211.17192

可以把它類比成一個協(xié)同寫作的過程：草稿模型快速提出建議，而主模型則進行仔細審核并優(yōu)化。主模型會評估這些建議的相關(guān)性和質(zhì)量，并在必要時進行調(diào)整。這種協(xié)作方式確保了生成內(nèi)容的高質(zhì)量，同時大幅減少主模型從零生成每個 token 的計算負擔。通過利用草稿模型的高速度和主模型的高準確性，整體推理過程變得更快且更加高效。

這種迭代式的方法通過將大部分 token 生成任務(wù)交給草稿模型處理，從而顯著減輕主模型的計算負擔。在 LLM 處理中，token 指的是文本的基本單位，如單詞或子詞。推測式解碼通過同時使用兩個模型來加速 token 生成：

輔助模型（草稿模型）：快速生成 token 候選項。

主模型：驗證并優(yōu)化這些候選項，以確保生成的文本質(zhì)量。

這一方法不僅提高了推理速度，還優(yōu)化了計算資源的利用，使 LLM 部署在計算受限環(huán)境中更加可行。

推測式解碼能夠快速生成高準確度的響應(yīng)，使其成為對時延敏感場景的顛覆性技術(shù)，尤其適用于以下應(yīng)用：

實時聊天機器人：提供流暢的客戶交互體驗。

端側(cè) AI 助手：適用于計算資源受限的環(huán)境。

大規(guī)模應(yīng)用的動態(tài)內(nèi)容生成：支持高效且可擴展的內(nèi)容創(chuàng)作。

3OpenVINO GenAI：

從創(chuàng)新到落地

盡管推測式解碼的概念極具潛力，但要高效實現(xiàn)這一技術(shù)并不簡單。需要協(xié)調(diào)預測 token 生成、驗證以及模型優(yōu)化，并確保在不同硬件平臺上高效運行，這對開發(fā)者提出了較高的要求。這正是 OpenVINO GenAI API 發(fā)揮作用的地方。

OpenVINO GenAI 簡化 AI 開發(fā)，提供以下關(guān)鍵優(yōu)勢：

預優(yōu)化的生成式 AI 模型，簡化部署，降低開發(fā)復雜度。

針對 Intel CPU、NPU 和 GPU 的硬件加速，提升推理性能。

Optimum CLI 工具，支持模型的便捷導出與優(yōu)化。

通過無縫集成推測式解碼，OpenVINO 讓開發(fā)者能夠?qū)Ｗ⒂跇?gòu)建高效、優(yōu)質(zhì)的 AI 體驗，同時最大程度降低計算負擔。在理想情況下，草稿模型的預測完全符合主模型的預期，使得驗證過程可以在單次請求內(nèi)完成。這種協(xié)作方式不僅提升了性能，還有效減少了資源消耗，為 AI 推理帶來全新優(yōu)化方案。

步驟1: 克隆 OpenVINO GenAI 倉庫

要使用 OpenVINO GenAI API 實現(xiàn)推測式解碼，首先需要克隆 openvino.genai GitHub 倉庫。該倉庫包含推測式解碼的示例實現(xiàn)，支持 Python 和 C++，可幫助開發(fā)者快速上手并部署高效的 LLM 推理方案。

openvino.genai GitHub 倉庫

https://github.com/openvinotoolkit/openvino.genai/blob/master/samples/python/text_generation/prompt_lookup_decoding_lm.py

克隆倉庫的步驟：

1. 使用以下命令克隆OpenVINO GenAI 倉庫:

git clone 
https://github.com/openvinotoolkit/openvino.genai.git
cd openvino.genai/samples/

2. 查看Python或C++代碼：

Python路徑：

cd python/speculative_decoding_lm/

C++路徑：

cd python/speculative_decoding_lm/

步驟2: 安裝依賴項（Python）

要運行 OpenVINO GenAI的推測式解碼示例，需要配置環(huán)境并安裝必要的工具、庫和相關(guān)依賴項。請按照以下步驟正確安裝所需組件。

1．創(chuàng)建 Python 虛擬環(huán)境

虛擬環(huán)境可以隔離項目依賴，確保一個干凈、無沖突的開發(fā)環(huán)境。使用以下命令創(chuàng)建并激活虛擬環(huán)境：

python3 -m venv openvino_env
source openvino_env/bin/activate # For Windows: openvino_envScriptsactivate

2．安裝必要的庫

為了將模型導出為 OpenVINO 兼容格式，需要安裝相關(guān)依賴項。運行以下命令安裝必要的庫：

pip install --upgrade-strategy eager -r ../../export-requirements.txt

此命令確保所有必需的庫都已安裝并可正常使用，包括 OpenVINO GenAI、Hugging Face 工具 和 Optimum CLI。這些組件將支持推測式解碼 的實現(xiàn)，使開發(fā)者能夠高效導出和優(yōu)化模型，從而加速 LLM 推理過程。

步驟3: 使用 Optimum CLI 導出模型

為了啟用推測式解碼，需要準備草稿模型（Draft Model）和主模型（Main Model），并將它們導出為OpenVINO 兼容格式。這樣可以確保模型經(jīng)過優(yōu)化，以便在Intel硬件上高效運行。

1.導出 Dolly v2–3B（草稿模型）

Dolly v2–3B 將用作推測式解碼過程中的草稿模型。請使用以下命令將其導出為 OpenVINO 兼容格式：

optimum-cli export openvino --trust-remote-code --weight-format fp16 --model databricks/dolly-v2-3b dolly-v2-3b

在導出過程中，將執(zhí)行以下關(guān)鍵步驟：

從 Hugging Face 下載模型和分詞器：自動獲取 Dolly v2–3B 及其對應(yīng)的 tokenizer。

轉(zhuǎn)換為 OpenVINO 的中間表示（IR）格式：模型被優(yōu)化為 OpenVINO 兼容的推理格式，以提高執(zhí)行效率。

降精度至 FP16：模型的精度會被降低為 FP16，以優(yōu)化計算性能，減少內(nèi)存占用，并在 Intel 硬件（CPU、GPU、NPU）上獲得更快的推理速度。

2. 導出 Dolly v2–7B（主模型）

Dolly v2–7B 作為主模型（Main Model），負責驗證并優(yōu)化草稿模型生成的token，確保最終輸出的質(zhì)量和準確性。請使用以下命令將其導出為OpenVINO 兼容格式：

optimum-cli export openvino --trust-remote-code --weight-format fp16 --model databricks/dolly-v2-7b dolly-v2-7b

--trust-remote-code 標志確保在導出過程中包含模型的自定義實現(xiàn)，使其能夠正確適配 OpenVINO 推理管道。只有在信任模型來源時，才應(yīng)啟用此標志，以避免潛在的安全風險。導出的模型將被轉(zhuǎn)換為OpenVINO 的中間表示（IR）格式，并針對Intel硬件進行優(yōu)化，以提升推理效率和計算性能。

如果小伙伴不方便從 HuggingFace 的網(wǎng)站直接下載模型的，也可以利用以下命令，直接從魔搭社區(qū)OpenVINO 模型專區(qū)下載由 OpenVINO 預優(yōu)化后的模型：

modelscope download --model OpenVINO/dolly-v2-3b-fp16-ov
modelscope download --model OpenVINO/dolly-v2-7b-fp16-ov

OpenVINO 模型專區(qū)https://www.modelscope.cn/organization/OpenVINO

步驟4: 在 Python 中運行推測式解碼流程

在成功導出草稿模型（Draft Model）和主模型（Main Model）后，下一步是在 Python 中運行推測式解碼流程，以演示 OpenVINO 如何利用兩個模型協(xié)同加速 token 生成。

1.安裝部署依賴包

在運行推測式解碼流水線之前，需要安裝必要的運行時依賴。請執(zhí)行以下命令：

pip install -r ../../deployment-requirements.txt

2. 配置并運行推測式解碼流水線

OpenVINO 提供的 speculative_decoding_lm.py 腳本可用于運行推測式解碼流程。請使用以下命令執(zhí)行該腳本：

python speculative_decoding_lm.py dolly-v2-7b dolly-v2-3b "Your input prompt here"

在運行推測式解碼流水線時，需要提供以下參數(shù)：

dolly-v2-7b：主模型（Main Model）的路徑，用于驗證和優(yōu)化 token 結(jié)果。

dolly-v2-3b：草稿模型（Draft Model）的路徑，用于快速生成 token 候選項。

"Your input prompt here"：輸入提示詞，模型將根據(jù)該文本生成響應(yīng)。

推測式解碼流水線代碼片段

推測式解碼流水線的配置確保了最佳性能和高準確度。其中，SchedulerConfig 負責定義token 緩存策略以及草稿模型生成的候選 token 數(shù)量。

# Specify hardware devices for each model 
main_device = 'CPU' # Optionally, 'GPU' can be used 
draft_device = 'CPU'
 
scheduler_config = openvino_genai.SchedulerConfig()
scheduler_config.cache_size = 2
scheduler_config.num_assistant_tokens = 5
 
draft_model = openvino_genai.draft_model(args.draft_model_dir, draft_device)
pipe = openvino_genai.LLMPipeline(
  args.model_dir, main_device, scheduler_config=scheduler_config, draft_model=draft_model
)
 
config = openvino_genai.GenerationConfig()
config.max_new_tokens = 100
config.num_assistant_tokens = 5
 
pipe.generate(args.prompt, config, streamer)

在推測式解碼過程中，以下參數(shù)對性能優(yōu)化至關(guān)重要：

cache_size緩存大?。?/strong>指定緩存中存儲的token 數(shù)量，以便在推測式解碼過程中復用，減少重復計算。

build_samples_msvc.bat

speculative_decoding_lm dolly-v2–3b dolly-v2–7b “Why is the Sun yellow?”

from pathlib import Path
import huggingface_hub as hf_hub
 
draft_model_id = "OpenVINO/Phi-3-mini-FastDraft-50M-int8-ov"
target_model_id = "OpenVINO/Phi-3-mini-4k-instruct-int4-ov"
 
hf_hub.snapshot_download(draft_model_id, local_dir="draft_model")
hf_hub.snapshot_download(target_model_id, local_dir="main_model")