文章作者：

英特爾AI布道師 武卓博士

英特爾物聯(lián)網(wǎng)行業(yè)創(chuàng)新大使 劉力

01什么是 stable diffusion 模型

Stable Diffusion 是 stability.ai 開源的 AI 圖像生成模型，實現(xiàn)輸入文字，生成圖像的功能。Stable Diffusion 將 AI 圖像生成提升到了全新高度，將引發(fā)媒體創(chuàng)作領(lǐng)域的革命。

引用自：https://github.com/Stability-AI/StableDiffusion

02什么是算力魔方

算力魔方是一款可以DIY的迷你主機，采用了抽屜式設(shè)計，后續(xù)組裝、升級、維護只需要拔插模塊。

通過選擇計算模塊的版本，再搭配不同額 IO 模塊可以組成豐富的配置，適應(yīng)不同場景。性能不夠時，可以升級計算模塊提升算力， IO 接口不匹配時，可以更換 IO 模塊調(diào)整功能，而無需重構(gòu)整個系統(tǒng)。

基于 OpenVINO 在算力魔方上實現(xiàn) Stable Diffusion 模型的推理加速，獲得了14.9秒出圖(不含模型初始化)的性能。

在圖像生成過程中：CPU 占用16%，內(nèi)存占用7.5GB， GPU 占用100%，顯存利用率98.5%。

測試代碼如下所示，方便讀者在算力魔方上復(fù)現(xiàn)：

https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks/225-stable-diffusion-text-to-image

（復(fù)制鏈接到瀏覽器打開）

那么接下來，我們就為大家劃劃重點，一起來看看有哪些重要的步驟、以及生成的畫作效果如何吧！

在這個代碼示例中，我們采用了 Stable Diffusion 模型，將模型轉(zhuǎn)換為 OpenVINO 中間表示 ( IR ) 格式，以便它在英特爾 GPU 上獲得高效運行。

另外，通過將 FP32 模型壓縮到 FP16 ，我們將模型大小減少了一半（接近一半），而且運行所需的 RAM/VRAM 現(xiàn)在也少了很多。最重要的是，由于加入了英特爾 Xe 矩陣擴展（ XMX ）， GPU 處理速度也獲得了顯著提升。

以下是我運行這個 Notebook 得到的一些結(jié)果，非常有趣。借助英特爾銳炫 A380 獨立顯卡，我可以實現(xiàn)大約每秒 6.0 次的迭代（未使用調(diào)試模式）。這意味著生成一幅下面的高質(zhì)量圖像通常只需不到 10 秒鐘。

圖1在基于OpenVINO Notebooks 和算力魔方(英特爾銳炫 A380 )的平臺上，通過“ StableDiffusion ”模型文本轉(zhuǎn)圖像功能生成的結(jié)果

看完了以上的 AI 作畫的結(jié)果，你有沒有心動、想自己動手試試呢？接下來，我們來看看你需要哪些主要步驟，就能在自己的機器上運行我們這個 StableDiffusion 的 notebook 代碼示例了。

首先，這是 OpenVINO Notebooks 的倉庫。它具有今天完成演示所需要的一切。

openvino_notebooks/notebooks at main · openvinotoolkit/openvino_notebooks

向右滑動查看完整代碼

Stable Diffusion 位于 225-stable-diffusion-text-to-image 文件夾下。

在 notebook 代碼示例中，我們不僅介紹了著名的文本轉(zhuǎn)圖像管道，還加入了圖像轉(zhuǎn)圖像生成管道。但它的真正意義是什么？我們?nèi)绾芜\行它？

管道

03如何安裝

如需安裝 OpenVINO Notebooks ，您可參照此處的說明（適用于 Windows ）：

https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows

如果您是 Linux 用戶，可點擊此鏈接：

https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu

總體而言，您可實施以下幾步：

安裝 Python 3.10.x。(或下方內(nèi)容）并創(chuàng)建一個虛擬環(huán)境

python3 -m venv openvino_env
source openvino_env/bin/activate #for linux

對目錄實施 Git 克隆

git clone --depth=1 https://github.com/openvinotoolkit/openvino_notebooks.gitcd openvino_notebooks

安裝所有的庫和依賴項

pip install -r requirements.txt

運行 Jupyter Notebook

jupyter lab notebooks

運行所有單元格并等待 =)

現(xiàn)在，查看代碼。我們切實地優(yōu)化 PyTorch 管道，并使用 OpenVINO 執(zhí)行代碼。

首次下載和轉(zhuǎn)換可能需要一點時間。完成之后，您將得到一組 IR 文件。

為了方便，我已在這里將這些預(yù)訓(xùn)練的優(yōu)化模型更新到 huggingface，大家可以直接下載使用：

https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino

（復(fù)制鏈接到瀏覽器打開）

現(xiàn)在，如果您有幸使用英特爾銳炫獨立顯卡，您便可將下圖中設(shè)備名稱的代碼改為“ GPU ”。默認情況下，它使用“ AUTO ”，并會自動切換至檢測到的 GPU 。

讓它在 GPU 上運行：

自動插件。它先使用 CPU ，然后自動切換至 GPU 。

04結(jié)論

算力魔方是一款小巧而強大的計算設(shè)備，它們外形小巧、功耗低、接口豐富、可拓展性高，廣泛用于教育、醫(yī)療保健、機器人、自動化和物聯(lián)網(wǎng)等行業(yè)。

通過將算力魔方與 OpenVINO 相結(jié)合，可以實現(xiàn)各種復(fù)雜 AI 應(yīng)用，包括加速 AI 模型的推理計算，實時圖像和視頻處理以及設(shè)備之間的低延遲通信等。

在算力魔方上評估 OpenVINO 的 AI 加速效果， OpenVINO Notebooks 無疑是首選。

歡迎在算力魔方上下載并安裝 OpenVINO Notebooks

https://github.com/openvinotoolkit/openvino_notebooks

（復(fù)制鏈接到瀏覽器打開）

審核編輯：湯梓紅