01

OpenVINO Notebooks簡(jiǎn)介

OpenVINO Notebooks是Jupyter Notebook形式的OpenVINO范例程序大集合，方便開發(fā)者快速學(xué)習(xí)并掌握OpenVINO推理程序，并通過Copy&Paste方式將范例中的關(guān)鍵程序應(yīng)用到自己的AI軟件中去。

02

運(yùn)行AI大模型的挑戰(zhàn)

OpenVINO Notebooks提供了非常豐富的AI大模型范例程序，例如：Dolly2、Stable Diffusion、LLama2、ChatGLM2等等，方便廣大開發(fā)者學(xué)習(xí)并應(yīng)用AI大模型。

但運(yùn)行AI大模型范例程序時(shí)，由于眾所周知的原因，通常會(huì)遇到因無法從HuggingFace下載模型，導(dǎo)致范例程序無法運(yùn)行的情況。

以240-dolly-2-instruction-following.ipynb為例，運(yùn)行“Download and Convert Model”代碼時(shí)會(huì)收到報(bào)錯(cuò)信息，如下圖所示：

03

解決AI大模型下載問題

＞解決方案一：命令行模式

從https://hf-mirror.com/用命令行手動(dòng)下載。

第一步，安裝下載工具：

pip install -U huggingface_hub hf_transfer

第二步，設(shè)置環(huán)境變量

在Linux中，執(zhí)行：

export HF_HUB_ENABLE_HF_TRANSFER=1

export HF_ENDPOINT=https://hf-mirror.com

在Windows中，執(zhí)行：

SET HF_HUB_ENABLE_HF_TRANSFER=1

SET HF_ENDPOINT=https://hf-mirror.com

第三步：運(yùn)行下載命令，下載模型到本地

huggingface-cli download --resume-download databricks/dolly-v2-3b --local-dir dolly-v2-3b

＞解決方案二：命令行模式

在模型頁面：https://hf-mirror.com/databricks/dolly-v2-3b/tree/main，右鍵菜單啟動(dòng)：“多選下載模式”，如下圖所示。

然后選擇所有要下載的文件，最后按“Enter”啟動(dòng)下載。

實(shí)際測(cè)試，迅雷下載的方式，速度最快，平均在6MB/s左右

04

從本地加載AI大模型模型

將AI大模型下載到本地后，在，把model_id改為model_local_path, 讓程序從本地加載AI大模型，例如：

model_id ="databricks/dolly-v2-3b"

model_local_path ="D:/dolly-v2-3b"

tokenizer =AutoTokenizer.from_pretrained(model_local_path,local_file_only=True)

ov_model =OVModelForCausalLM.from_pretrained(model_local_path, device=current_device, export=True, ov_config=ov_config, load_in_8bit=False,local_file_only=True)

在240-dolly-2-instruction-following.ipynb中“Download and Convert Model”代碼塊更改如下所示：

frompathlib importPath

fromtransformers importAutoTokenizer

fromoptimum.intel.openvino importOVModelForCausalLM

model_id ="databricks/dolly-v2-3b"

model_local_path ="D:/dolly-v2-3b"

model_path =Path("dolly-v2-3b")

tokenizer =AutoTokenizer.from_pretrained(model_local_path,local_file_only=True)

current_device =device.value

ov_config ={'PERFORMANCE_HINT': 'LATENCY', 'NUM_STREAMS': '1', "CACHE_DIR": ""}

ifmodel_path.exists():

ov_model =OVModelForCausalLM.from_pretrained(model_path, device=current_device, ov_config=ov_config)

else:

ov_model =OVModelForCausalLM.from_pretrained(model_local_path, device=current_device, export=True, ov_config=ov_config, load_in_8bit=False,local_file_only=True)

ov_model.half()

ov_model.save_pretrained(model_path)

240-dolly-2-instruction-following.ipynb從本地加載模型的運(yùn)行效果，如下圖所示：

?

總結(jié)：在遇到AI大模型無法下載時(shí)，可以選擇用命令行的方式，或者下載器的方式，手動(dòng)從HuggingFace鏡像網(wǎng)站下載，然后修改加載模型的參數(shù)，從本地加載模型，實(shí)現(xiàn)OpenVINO Notebooks的范例代碼順利運(yùn)行。

審核編輯：劉清