最近的生成式 AI 可謂十分火爆，新出的預訓練圖像生成模型多到讓人目不暇接。無論是肖像、風景，還是卡通漫畫、特定藝術家風格元素等等，每個模型都有它擅長生成的內(nèi)容。

這么多模型里面，如何快速找到一個能滿足自己創(chuàng)作欲的最佳模型呢？

近日，卡內(nèi)基梅隆大學的助理教授朱俊彥等人首次提出了基于內(nèi)容的模型搜索算法，讓你能夠一鍵搜索出最匹配的深度圖像生成模型。

論文地址：https://arxiv.org/pdf/2210.03116.pdf

在團隊基于這套模型搜索算開發(fā)的在線模型共享和搜索平臺 Modelverse 上，你可以輸入文本、圖像、草圖和給定模型，來搜索出最匹配或相似的相關模型。

Modelverse 平臺地址：https://modelverse.cs.cmu.edu/

圖注：輸入文本（如“非洲動物”）、圖像（如一張風景圖）、草圖（如一只站立的貓的草圖）或者一個給定模型，輸出排名靠前的相關模型（第二行、第三行）

比如，輸入文本“face”，得到結果如下：

輸入一只貓咪圖像：

輸入一匹馬的草圖：

1 ? 基于內(nèi)容的模型搜索

和傳統(tǒng)的多媒體搜索一樣，模型搜索能夠幫助用戶找到最適合其特定需求的模型。但基于內(nèi)容的模型搜索任務有其特殊難點：

判斷模型是否可以生成特定圖像，這是一個比較難計算的問題，而且很多深度生成模型并沒有提供有效方法來估計密度，其本身也不支持評估跨模態(tài)相似性。而蒙特卡洛這種基于抽樣的方法又會使模型搜索過程變得非常緩慢。

為此，朱俊彥團隊提出了一種新的模型搜索系統(tǒng)。

每個生成模型都會產(chǎn)生一個圖像分布，所以作者將搜索問題處理為優(yōu)化，以最大化在給定模型的情況下生成與查詢匹配的概率。如下圖所示，該系統(tǒng)由預緩存階段（a，b）和推理階段（c）組成。

圖注：模型搜索方法概覽

給定一組模型，（a）首先為每個模型生成 50K 樣本；(b) 然后將圖像編碼為圖像特征并計算每個模型的一階和二階特征統(tǒng)計。統(tǒng)計數(shù)據(jù)緩存在系統(tǒng)中以提高效率；(c) 在推理階段，支持不同模態(tài)的查詢，包括圖像、草圖、文本描述、另一個生成模型或這些查詢類型的組合。作者在這里引入近似值，查詢被編碼為特征向量，通過評估查詢特征與每個模型統(tǒng)計數(shù)據(jù)之間的相似性，來檢索具有最佳相似性度量的模型。

2 ? 模型搜索效果

作者對算法進行評估，對 133 個深度生成模型（包括 GAN、擴散模型和自回歸模型）進行了消融實驗分析。與蒙特卡洛基線相比，該方法可以實現(xiàn)更高效的搜索，速度在 0.08 毫秒內(nèi)，提升 5 倍，同時還能保持高精度。

通過對比模型檢索結果，我們也可以大致了解針對不同查詢輸入，哪些模型能生成質(zhì)量更高的圖像。比如下圖展示了模型檢索的結果對比。

圖注：模型檢索結果示例

最上面一行是圖像查詢，輸入靜物畫，檢索相關藝術風格的模型，得到排名第一的 StyleGAN2 模型和排名最后的 Vision-aided GAN 模型。中間行是草圖查詢，輸入馬和教堂的草圖，得到 ADM、ProGAN 等模型。最下面一行是文本查詢，輸入“戴眼鏡的人”和“說話的鳥”，分別檢索得出排名第一的 GANSketch 模型和 Self-Distilled GAN 模型。

作者還發(fā)現(xiàn)，不同網(wǎng)絡特征空間的模型性能存在差異。如下圖所示，在輸入圖像查詢時，結果顯示三個網(wǎng)絡 CLIP、DINO 和 Inception 都具有相似的性能；而在輸入草圖查詢時，CLIP 效果明顯更好，而 DINO 和 Inception 則不太適合給定查詢，它們在藝術風格的模型上表現(xiàn)更好。

圖注：不同網(wǎng)絡特征空間中基于圖像和草圖的模型檢索比較

另外，這項工作所提出的模型搜索算法還能支持多種應用，包括多模態(tài)用戶查詢、相似模型查詢、真實圖像重構和編輯等。

例如多模態(tài)查詢可以幫助細化模型搜索，在只有“Nicolas Cage”的圖像時，只能檢索到人臉模型；但當同時使用“Nicolas Cage”和“dog”作為輸入時，就可以檢索到能生成“Nicolas Cage dog”圖像的 ?StyleGAN-NADA 模型。（如下圖）

圖注：多模態(tài)用戶查詢

當輸入是一個人臉模型時，可以檢索到更多的人臉生成模型，并且類別保持相似。（如下圖）

圖注：相似模型查詢

給定真實人臉的查詢圖像，使用排名較高的模型能獲得更準確的圖像重建。下圖是使用不同排名模型的 CelebA-HQ 和 LSUN Church 圖像的圖像逆映射示例。

圖注：將真實圖像投射到檢索到的 StyleGAN2 模型。

在對真實圖像進行編輯的任務中，不同模型的表現(xiàn)也有高低之分。下圖中，使用基于圖像的模型檢索算法排名第一的模型來對真實圖像進行逆映射，然后使用 GANspace 進行編輯，從而將浮世繪圖像中的皺眉人臉變成笑臉。

圖注：編輯真實圖像

這項研究已經(jīng)證明了模型搜索的可行性，而文本、音頻或其他內(nèi)容生成的模型搜索還有很大的研究空間。

但目前來看，這項工作所提出的方法還有一定的局限性。例如，在查詢特定的草圖時，有時會匹配出抽象形狀的模型；而有時進行多模態(tài)查詢時，只能檢索到單一的模型，系統(tǒng)可能會很難處理像一只狗的圖像 + “大象”這樣的多模態(tài)查詢。（如下圖）

圖注：失敗案例

另外，在其模型搜索平臺上，對檢索出的模型列表并未根據(jù)其效果進行自動排序，如在生成圖像的分辨率、逼真度、匹配度等方面對不同模型進行評估并給出排名，這樣可更便于用戶檢索，也能幫助用戶更好地了解目前生成模型的優(yōu)劣情況，期待這方面的后續(xù)工作。

參考鏈接：

https://twitter.com/junyanz89/status/1578429385719177223

https://www.youtube.com/watch?v=smm0t81st_w

編輯：黃飛

?