作者：京東零售 馮偉

WWW2025: CTR-Driven Advertising Image Generation with Multimodal Large Language Models

論文鏈接：https://arxiv.org/pdf/2502.06823?

代碼鏈接：https://github.com/Chenguoz/CAIG?

摘要：在電商平臺(tái)中，廣告圖片對(duì)于吸引用戶注意力和提高廣告效果至關(guān)重要。大多數(shù)現(xiàn)有的方法在為商品生成背景時(shí)主要關(guān)注美學(xué)質(zhì)量，這可能無(wú)法實(shí)現(xiàn)令人滿意的在線表現(xiàn)。為了解決這一局限性，我們探索使用多模態(tài)大型語(yǔ)言模型（MLLMs）來(lái)生成廣告圖片，并將優(yōu)化點(diǎn)擊率（CTR）作為主要目標(biāo)。首先，我們構(gòu)建了針對(duì)性的預(yù)訓(xùn)練任務(wù)，并利用大規(guī)模的電商多模態(tài)數(shù)據(jù)集，為MLLMs提供廣告圖片生成任務(wù)的初始能力。為了進(jìn)一步提高生成圖片的CTR，我們提出了一種新穎的獎(jiǎng)勵(lì)模型，通過(guò)強(qiáng)化學(xué)習(xí)（RL）對(duì)預(yù)訓(xùn)練的MLLMs進(jìn)行微調(diào)，該模型能夠聯(lián)合利用多模態(tài)特征并準(zhǔn)確反映用戶的點(diǎn)擊偏好。同時(shí)，我們開(kāi)發(fā)了一種以商品為中心的偏好優(yōu)化策略，以確保微調(diào)后生成的背景內(nèi)容與商品特征一致，從而增強(qiáng)廣告圖片的整體相關(guān)性和效果。大量實(shí)驗(yàn)表明，我們的方法在在線和離線指標(biāo)上均達(dá)到了最先進(jìn)的性能。

?

一、背景及現(xiàn)狀

隨著圖像生成技術(shù)的發(fā)展，為商品生成和諧且逼真的背景成為可能。然而，大多數(shù)現(xiàn)有的廣告圖像生成方法主要關(guān)注離線指標(biāo)，如圖像質(zhì)量或語(yǔ)義一致性，而沒(méi)有充分考慮視覺(jué)內(nèi)容與場(chǎng)域目標(biāo)（如點(diǎn)擊率）之間的重要聯(lián)系。這導(dǎo)致生成的廣告圖像與符合實(shí)際用戶偏好的理想圖像之間存在顯著差異。

受最近RLHF方法的啟發(fā)，我們可以訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型（RM），再使用強(qiáng)化學(xué)習(xí)（RL）算法來(lái)微調(diào)生成模型，由RM提供獎(jiǎng)勵(lì)以指導(dǎo)優(yōu)化過(guò)程。這個(gè)流程的一個(gè)關(guān)鍵方面是RM能夠準(zhǔn)確反映用戶對(duì)圖像的點(diǎn)擊偏好。然而，先前結(jié)合視覺(jué)內(nèi)容進(jìn)行點(diǎn)擊率（CTR）預(yù)測(cè)的方法圖像理解能力有限，且難以融合多模態(tài)特征（如下圖所示）。

此外，廣告圖像生成中考慮背景與商品之間的相關(guān)性至關(guān)重要。現(xiàn)有的強(qiáng)化學(xué)習(xí)算法僅專注于優(yōu)化獎(jiǎng)勵(lì)值，忽視了視覺(jué)吸引力和背景相關(guān)性之間的平衡。這種疏忽可能導(dǎo)致背景與商品不協(xié)調(diào)，誤導(dǎo)用戶并導(dǎo)致糟糕的購(gòu)物體驗(yàn)。如下圖所示，雖然動(dòng)態(tài)、運(yùn)動(dòng)風(fēng)格的背景可能會(huì)提高運(yùn)動(dòng)鞋的點(diǎn)擊率，但模型可能錯(cuò)誤地將類似的背景應(yīng)用于化妝品等無(wú)關(guān)商品，從而破壞視覺(jué)和諧性和商品相關(guān)性。

?

二、整體方案

在本文中，我們提出了一種點(diǎn)擊率驅(qū)動(dòng)廣告圖像生成（CAIG）的新方法，旨在生成能夠吸引用戶興趣的引人注目的廣告圖像，如下圖所示。首先，我們?cè)诖笠?guī)模多模態(tài)電商數(shù)據(jù)集上預(yù)訓(xùn)練多模態(tài)大語(yǔ)言模型（MLLM），將領(lǐng)域特定知識(shí)注入模型中。這為我們的提示模型（PM）和獎(jiǎng)勵(lì)模型（RM）奠定了基礎(chǔ)。然后，我們從預(yù)訓(xùn)練的MLLM初始化RM，并在大量多模態(tài)在線用戶點(diǎn)擊數(shù)據(jù)上進(jìn)一步訓(xùn)練RM，使RM能夠模擬人類反饋。最后，我們引入了一個(gè)點(diǎn)擊率驅(qū)動(dòng)的偏好優(yōu)化階段，該階段采用以商品為中心的偏好優(yōu)化（PCPO）作為核心策略。該階段利用RM的反饋對(duì)PM進(jìn)行微調(diào)，最終生成既具吸引力又與商品相關(guān)的廣告圖像。

三、電商知識(shí)預(yù)訓(xùn)練

為了應(yīng)對(duì)高效且可擴(kuò)展的廣告創(chuàng)意生成的挑戰(zhàn)，我們通過(guò)在大規(guī)模多模態(tài)電商數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，在多模態(tài)大語(yǔ)言模型（MLLMs）強(qiáng)大功能的基礎(chǔ)上，注入了特定于電商領(lǐng)域的知識(shí)。該數(shù)據(jù)集包含來(lái)自京東電商平臺(tái)的120萬(wàn)個(gè)樣本，如下表所示。具體來(lái)說(shuō)，預(yù)訓(xùn)練任務(wù)包括三個(gè)主要任務(wù)：

(1) 圖像理解：根據(jù)商品圖像描述商品或背景。

(2) 多模態(tài)內(nèi)容理解：根據(jù)多模態(tài)商品信息（例如標(biāo)題、類別、標(biāo)簽）描述商品背景或生成商品標(biāo)題。

(3) 提示詞生成：根據(jù)多模態(tài)商品信息生成或重寫提示詞。

四、基于MLLM的reward model

為了減輕不同商品類別之間CTR絕對(duì)值變化的影響，我們將CTR預(yù)測(cè)任務(wù)重新定義為圖像對(duì)之間的相對(duì)比較任務(wù)。具體來(lái)說(shuō)，我們從用戶點(diǎn)擊數(shù)據(jù)中構(gòu)建成對(duì)的訓(xùn)練樣本，每對(duì)樣本包含同一商品的兩張廣告圖像及其對(duì)應(yīng)的CTR。對(duì)于共享商品屬性的圖片對(duì)（I1,I2），我們首先將商品屬性與RM特定的問(wèn)題模板Q_RM結(jié)合，使用提示工程函數(shù)f_instruct生成一個(gè)指令提示C_RM。然后將兩張圖像的視覺(jué)表征與文本表征連接起來(lái)，形成多模態(tài)輸入。

接下來(lái)，我們使用大語(yǔ)言模型（LLM）處理多模態(tài)輸入，生成隱藏狀態(tài)H。按照使用LLM進(jìn)行序列分類的常規(guī)做法，我們利用H的最后一個(gè)token作為判別性表示，捕捉整個(gè)輸入序列的上下文信息。最后我們使用一個(gè)分類頭FC_cls，將最后一個(gè)token 映射到一個(gè)二維概率分布p上。此外，為了使模型能夠在復(fù)合圖像中對(duì)左圖和右圖的CTR進(jìn)行精細(xì)的預(yù)測(cè)，我們引入了一個(gè)點(diǎn)級(jí)別的損失函數(shù)，通過(guò)一個(gè)獨(dú)立的CTR回歸分支來(lái)實(shí)現(xiàn)。最終，RM的損失函數(shù)是二元交叉熵?fù)p失和點(diǎn)級(jí)別損失的組合：

?

五、CTR驅(qū)動(dòng)優(yōu)化

為了生成高CTR廣告圖像的，我們將該任務(wù)形式化為一個(gè)偏好選擇問(wèn)題，鼓勵(lì)生成模型選擇更具吸引力的廣告圖像， 并拒絕吸引力較低的廣告圖像。這一過(guò)程包含兩個(gè)關(guān)鍵步驟：(1) 生成圖像對(duì)并使用RM比較它們的CTR，(2) 根據(jù)RM的反饋對(duì)生成模型進(jìn)行微調(diào)，如下算法所示。

為了生成廣告圖像，我們將PM生成的背景描述詞輸入Stable Diffusion，并使用ControlNet的inpaint操作來(lái)為商品生成背景?？紤]到收集真實(shí)CTR反饋耗時(shí)且資源需求大，我們利用RM實(shí)時(shí)區(qū)分更具吸引力的和吸引力較低的圖像，以微調(diào)生成流程。這里我們采用直接偏好優(yōu)化（DPO） 作為基本策略，該過(guò)程可表示為：

其中I_o和C表示商品的原始圖形和對(duì)應(yīng)的指令。

值得注意的是，在DPO訓(xùn)練過(guò)程中過(guò)度關(guān)注CTR優(yōu)化可能會(huì)忽略偏好數(shù)據(jù)中的商品信息，導(dǎo)致生成圖像中前景和背景不匹配。因此，我們引入了以商品為中心的偏好優(yōu)化（PCPO）。PCPO的核心機(jī)制是在訓(xùn)練過(guò)程中將商品信息作為唯一變量，并構(gòu)建額外的偏好數(shù)據(jù)對(duì)，從而鼓勵(lì)模型生成與商品特征相匹配的背景描述。具體來(lái)說(shuō)，給定一個(gè)商品圖像I_o和指令C，我們構(gòu)建偏好數(shù)據(jù)對(duì) (I_o, y^+, y^-) ，其中y^+是與商品特征更匹配的背景描述，而y^-則是匹配度較低的背景描述。通過(guò)這種方式，我們確保生成的背景描述不僅吸引人，而且與商品信息一致。PCPO的目標(biāo)可寫作：

最終，DPO和PCPO損失被用于聯(lián)合優(yōu)化模型。

?

六、實(shí)驗(yàn)結(jié)果

（1）Reward Model性能

我們?cè)谏虡I(yè)和公開(kāi)數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，將我們的方法與各種基于多模態(tài)大語(yǔ)言模型（MLLM）的開(kāi)源和閉源模型進(jìn)行了比較。如下圖所示，現(xiàn)有的閉源模型（如GLM4V、Claude3.5 Sonnet、GPT4o和GPT4V）在比較廣告圖像CTR方面表現(xiàn)不佳，準(zhǔn)確率接近隨機(jī)水平（約50%的配對(duì)準(zhǔn)確率），這表明這些模型盡管在通用任務(wù)上表現(xiàn)出色，但在廣告CTR任務(wù)中并未得到專門優(yōu)化。開(kāi)源模型如VAM和CG4CTR雖然有所改進(jìn)，但由于其視覺(jué)表示能力較弱且無(wú)法有效整合多模態(tài)信息，表現(xiàn)仍然有限。相比之下，我們提出的方法在商業(yè)和公開(kāi)數(shù)據(jù)集上均取得了最先進(jìn)的性能。

（2）商品-背景相關(guān)性

為了確保公平比較，我們?cè)贑TR驅(qū)動(dòng)優(yōu)化過(guò)程中使用相同的RM進(jìn)行CTR反饋，并且訓(xùn)練輪數(shù)相同，來(lái)評(píng)估PCPO與標(biāo)準(zhǔn)DPO的性能。下圖展示了兩種方法在訓(xùn)練過(guò)程中的表現(xiàn)。值得注意的是，標(biāo)準(zhǔn)DPO在訓(xùn)練5個(gè)epoch后，匹配率顯著下降，從0.842降至0.597。而我們的PCPO則表現(xiàn)出更為平緩的下降趨勢(shì)，在第5個(gè)epoch時(shí)保持了0.798的匹配率，這比標(biāo)準(zhǔn)DPO在同一階段的表現(xiàn)高出33.7%。

下圖為我們的方案與DPO方案對(duì)比的定性分析：

（3）線上實(shí)驗(yàn)

為了驗(yàn)證我們提出的CAIG方法在提高生成廣告圖像CTR方面的有效性，我們?cè)谕扑]廣告上進(jìn)行了一周的在線實(shí)驗(yàn)。我們?yōu)?4個(gè)類目的商品生成了兩張圖像，這些類目幾乎涵蓋了所有常見(jiàn)的商品，遠(yuǎn)超之前方法僅覆蓋的五個(gè)類目。我們?cè)谙卤碇袌?bào)告了不同方法在所有類目和五個(gè)常見(jiàn)類目中的結(jié)果，其中CTR的提升是相對(duì)于直接使用預(yù)訓(xùn)練的MLLM而言的。我們的RM在所有類目和五個(gè)常見(jiàn)類目中均優(yōu)于之前的方法，證明了更準(zhǔn)確的CTR預(yù)測(cè)能夠驅(qū)動(dòng)生成模型產(chǎn)生CTR更高的圖像。我們還比較了僅使用DPO作為優(yōu)化算法的效果，結(jié)果表明使用我們的PCPO可以使生成模型更加關(guān)注商品特征，從而提高CTR。

?審核編輯 黃宇