即使公眾對(duì)創(chuàng)始人產(chǎn)生了諸多質(zhì)疑，但不影響 Stability AI 在文本生成圖像領(lǐng)域的持續(xù)推進(jìn)。

日前，Stability AI 發(fā)布了 SDXL 0.9，這是其 Stable Diffusion 文本到圖像模型的最新版本，代表 Stability AI 文本到圖像模型套件迎來了新的發(fā)展里程碑。

繼今年 4 月成功發(fā)布 Stable Diffusion XL beta 之后，SDXL 0.9 在圖像和構(gòu)圖細(xì)節(jié)方面繼續(xù)做出大幅突破。SDXL 0.9 是一款強(qiáng)大的工具，可用于在各種創(chuàng)意產(chǎn)業(yè)中創(chuàng)建高度逼真的圖像。與之前的版本相比，此更新的模型對(duì)生成圖像的質(zhì)量和細(xì)節(jié)帶來了重大改進(jìn)。

SDXL 0.9 有哪些重大升級(jí)？

現(xiàn)在用戶已可通過 ClipDrop 訪問該模型，API 也將在不久后推出。研究人員正在努力完善 1.0 版本，相關(guān)成果包括權(quán)重設(shè)置預(yù)計(jì)將在七月中旬與大家見面。

SDXL 0.9 在繼續(xù)保持通過現(xiàn)代消費(fèi)級(jí) GPU 運(yùn)行的能力之外，在生成 AI 圖像的創(chuàng)意用例方面也實(shí)現(xiàn)了飛躍。SDXL 能夠?yàn)橛耙晞?、音樂和教學(xué)視頻生成超現(xiàn)實(shí)風(fēng)格的創(chuàng)作結(jié)果，也具備在設(shè)計(jì)和工業(yè)用途中一展身手的水平。

示例：

在 SDXL beta（左）和 0.9 版本上以相同提示詞進(jìn)行測(cè)試，即可體現(xiàn)該模型在短短兩個(gè)月內(nèi)取得的重大進(jìn)展。

提示詞: 美學(xué) 外星人拉在拉斯維加斯的人群中，粗礪的膠片攝影

(左圖 - SDXL Beta, 右圖 - SDXL 0.9)

提示詞: 優(yōu)勝美地國(guó)家公園的狼，冷冽的自然紀(jì)實(shí)膠片攝影

（左圖 - SDXL Beta, 右圖 - SDXL 0.9）

SDXL 系列還提供一系列超出基礎(chǔ)文本提示的功能。其中包括圖像到圖像提示（輸入一張圖像，以獲取該圖像的更多變體）、填充（重建圖像內(nèi)的缺失部分）和外延（根據(jù)現(xiàn)有圖像無縫向外擴(kuò)展）。簡(jiǎn)單來說，它可以讓用戶更有創(chuàng)意，以更高級(jí)有趣的方式對(duì)圖像進(jìn)行更改。

SDXL 0.9 背后的力量

那么，SDXL 0.9 的底層技術(shù)到底是怎樣的？

據(jù) Stability AI 介紹，SDXL 0.9 之所以取得重大進(jìn)展，核心驅(qū)動(dòng)因素在于參數(shù)數(shù)量（模型訓(xùn)練時(shí)神經(jīng)網(wǎng)絡(luò)中所有權(quán)重和偏差的總和）較 Beta 版本有了顯著增加。

SDXL 0.9 是目前所有開源圖像模型中參數(shù)量最大的模型之一，基礎(chǔ)模型擁有 35 億參數(shù)，模型集成管線擁有 66 億參數(shù)（最終輸出由兩套模型的運(yùn)行聚合結(jié)果創(chuàng)建而成）。管線的第二階段模型，專門用于向第一階段模型生成的輸出添加更多精巧細(xì)節(jié)。

相比之下，之前的 beta 版權(quán)擁有 31 億參數(shù)并使用單一模型。

SDXL 0.9 運(yùn)行在兩個(gè) CLIP 模型之上，其中包括迄今為止訓(xùn)練的最大 OpenCLIP 模型之一 OpenCLIP ViT-G/14。它增強(qiáng)了 SDXL 0.9 的處理能力，使其能夠創(chuàng)建出更具深度和 1024 x 1024 更高分辨率的逼真圖像。

SDXL 團(tuán)隊(duì)將很快發(fā)布一篇研究博客，詳細(xì)介紹該模型的規(guī)格和測(cè)試情況。

盡管具有強(qiáng)大的輸出和更先進(jìn)的模型架構(gòu)，但 SDXL 0.9 仍能夠在現(xiàn)代消費(fèi)級(jí) GPU 上運(yùn)行。具體配置要求為：

Windows 10 或 11/Linux 操作系統(tǒng)；

16 GB 內(nèi)存、英偉達(dá) GeForce RTX 20 系列顯卡（或更高版本）且至少配備 8 GB 顯存；

Linux 用戶也可以使用配備 16 GB 顯存的 AMD 兼容顯卡。

測(cè)試版發(fā)布期間獲得積極反響

Stability AI 因于 2022 年 8 月推出開源圖像生成器 Stable Diffusion 而聞名，進(jìn)一步加劇了其與 OpenAI 的 Dall-E 和 MidJourney 的競(jìng)爭(zhēng)。

近日，Stability AI 剛被《時(shí)代》周刊評(píng)為 2023 年最具影響力的公司之一。其他出現(xiàn)在榜單上的人工智能公司還有 OpenAI（ChatGPT）、Hugging Face（協(xié)作開源人工智能平臺(tái)）、Runway AI（生成視頻）、Nvidia 和谷歌 DeepMind。

自 4 月 13 日 SDXL beta 版發(fā)布以來，Stability AI 在 Discord 社區(qū)上收到近 7000 名用戶的熱烈響應(yīng)。用戶們生成了超過 70 萬張圖像，平均每天超過 2 萬張。超過 5.4 萬張圖像進(jìn)入 Discord 社區(qū)的“Showdowns”評(píng)選，最終有 3521 張 SDXL 圖像被評(píng)為優(yōu)秀作品。

可用性和未來計(jì)劃

SDXL 0.9 現(xiàn)已在 Clipdrop by Stability AI 平臺(tái)上發(fā)布。Stability AI API 及 DreamStudio 客戶端將于 6 月 26 日星期一開放該模型，同時(shí)提供 NightCafe 等其他領(lǐng)先的圖像生成工具。

SDXL 0.9 目前暫時(shí)僅供研究學(xué)習(xí)目的使用，希望在全面發(fā)布前收集反饋并充分完善模型。相關(guān)代碼后續(xù)將在 GitHub（https://github.com/Stability-AI/generative-models）上公開。

如果研究人員希望訪問這些模型，請(qǐng)通過以下鏈接申請(qǐng)：

SDXL-0.9-Base 模型：https://huggingface.co/stabilityai/stable-diffusion-xl-base-0.9

SDXL-0.9-Refiner：https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-0.9

Stability AI 一再?gòu)?qiáng)調(diào)，目前 SDXL 0.9 僅用于研究學(xué)習(xí)目的。

SDXL 1.0 計(jì)劃在今年七月中旬（時(shí)間選定）全面發(fā)布。SDXL 0.9 遵循非商用、僅供研究的許可證發(fā)布，并受相關(guān)使用條款的約束。