自從大模型出現(xiàn)以來,很多行業(yè)領(lǐng)袖和專家都曾表達過像“考慮使用大模型重新構(gòu)建所有行業(yè)和產(chǎn)品”這樣的觀點。具體來說,對于各個行業(yè)來說,我們需要關(guān)注和了解哪些問題可以通過大模型的能力來解決,以及在實際應(yīng)用時可能面臨的挑戰(zhàn)。在本期"極客有約"節(jié)目中,魚哲和崔世杰深入探討了廣告創(chuàng)意領(lǐng)域中 AIGC 的實際應(yīng)用情況。
原視頻網(wǎng)址:
https://www.infoq.cn/video/p56ceAHvdxwtkZN9d7ct
亮點:
要創(chuàng)建一個成功的 AIGC 應(yīng)用,一個關(guān)鍵的先決條件是擁有垂直領(lǐng)域的高質(zhì)量數(shù)據(jù)。
AIGC 正在改變廣告創(chuàng)意領(lǐng)域。
隨著 AI 能力的提升,人們需要深入使用并掌握它。像 fine-tuning、LangChain 等我不會推薦,我會鼓勵周圍的人去深入使用 AIGC,重點在于使用,好的 AGI 只需要被編譯一次。
建議使用國內(nèi)模型并在中國境內(nèi)部署。
這個領(lǐng)域非??焖侔l(fā)展,所以你應(yīng)該保持好奇心,不斷嘗試新事物,不斷挑戰(zhàn)自己。
嘉賓簡介:
魚哲,Lepton AI 創(chuàng)始團隊成員,產(chǎn)品負責(zé)人。
崔世杰,廣推科技 AIGC 商業(yè)化負責(zé)人,資深開發(fā),《微信小程序底層框架實現(xiàn)原理》掘金小冊作者。擁有多年全平臺一線研發(fā)經(jīng)驗,多年團隊管理經(jīng)驗,擅長 Web、跨端、AIGC 技術(shù),熟悉多種編程語言。負責(zé)過多個領(lǐng)域的項目開發(fā),涉及的項目包括智慧醫(yī)療、智慧城市、直播等多個領(lǐng)域。
大模型是如何被應(yīng)用到廣告創(chuàng)意中的
魚哲:首先,世杰老師可以給我們科普下“廣告創(chuàng)意”是什么?
崔世杰:很高興能與大家分享 AIGC 在廣告領(lǐng)域的應(yīng)用情況。我使用一個比較正式的定義來解釋一下。廣告創(chuàng)意是一種以營銷傳播為目的的多媒體內(nèi)容,其主要目標(biāo)是吸引目標(biāo)用戶,讓用戶完成行為轉(zhuǎn)化,通常是與產(chǎn)品或服務(wù)相關(guān)的互動。廣告是我們生活中常見的東西,幾乎無處不在。
然而,我所負責(zé)的廣告形式與傳統(tǒng)的品牌廣告有所不同。品牌廣告通常涉及明星代言的產(chǎn)品推廣。而我們主要關(guān)注信息流廣告,也被稱為原生廣告,這是大家最常接觸到的廣告形式。信息流廣告包括各種類型的宣傳,如產(chǎn)品促銷、電商促銷和打折產(chǎn)品推廣。此外,它還覆蓋了視頻廣告,例如實時熱點內(nèi)容、小說類內(nèi)容等。
魚哲:在廣告行業(yè)的運作過程中,廣告創(chuàng)意的生成和傳播牽涉到多個角色,從生產(chǎn)方到消費方分別是什么樣的人?
崔世杰:生產(chǎn)側(cè)主要是各大廣告主,他們具有特定的推廣目標(biāo),旨在推廣自己的產(chǎn)品或促使用戶執(zhí)行特定行為。這些行動可以非常具體。例如,假設(shè)要運營一款新興的應(yīng)用程序,希望吸引更多用戶使用,增加日活躍用戶數(shù),或者實現(xiàn)其他行為轉(zhuǎn)化目標(biāo)。對于電商來說,一種典型的轉(zhuǎn)化目標(biāo)是用戶在應(yīng)用中下單購買產(chǎn)品。還有其他類型目標(biāo),例如提高現(xiàn)有用戶的日活躍度,這也可以被視為一種轉(zhuǎn)化。
消費側(cè)就是我們的普羅大眾,每個人都可能做出消費行為。
魚哲:在 AIGC 出現(xiàn)之前,傳統(tǒng)的廣告創(chuàng)意是如何制作的?
崔世杰:信息流廣告通常需要標(biāo)配的是廣告優(yōu)化師和剪輯師的團隊協(xié)作。一般情況下,一個廣告優(yōu)化師會搭配兩名剪輯師。這個團隊的配置會根據(jù)廣告要投放的媒介以及廣告內(nèi)容的主題方向來調(diào)整。例如,如果廣告與小說相關(guān),就需要選擇小說方向的內(nèi)容,而對于電商廣告,則需要選擇電商相關(guān)的素材。
在傳統(tǒng)的工作方式中,廣告優(yōu)化師通常會提供一些關(guān)鍵詞或指導(dǎo),然后剪輯師會根據(jù)這些信息進行創(chuàng)作。創(chuàng)作完成后,這些素材將被交給投放師進行進一步的處理。這可能是一種自由創(chuàng)作的方式,也可能有一些固定的輸入輸出模板,這取決于具體的廣告項目和團隊的工作流程。
創(chuàng)意方向通常是基于廣告優(yōu)化師的過往經(jīng)驗來確定,然后傳達給剪輯師。然而,團隊成員之間也可以進行相互討論和合作,因為創(chuàng)意是非常重要的。有時,集體智慧可以帶來新的創(chuàng)意思路,盡管大部分情況下,創(chuàng)意方向仍然受廣告優(yōu)化師個人經(jīng)驗的指導(dǎo)。
魚哲:我理解,廣告主可以看作是甲方,他們提出需求,例如,他們想要推廣一種礦泉水。然后,廣告優(yōu)化師會根據(jù)自己的經(jīng)驗提出一些廣告構(gòu)思,然后與兩名剪輯師合作,共同討論和制定廣告的具體內(nèi)容,包括可能的看板廣告、視頻內(nèi)容,以及圖文素材等等。那廣告做出來之后是直接投放還是要經(jīng)過甲方審核?
崔世杰:在信息流廣告領(lǐng)域,我們主要關(guān)注的是最終的數(shù)據(jù)消耗。因為信息流廣告的創(chuàng)意形式多種多樣,它可能包括了品牌廣告等不同類型。這種創(chuàng)意類型更多地取決于廣告主的需求,而我們則以數(shù)據(jù)為基礎(chǔ)來提供反饋。
AIGC 為廣告創(chuàng)意帶來了哪些改變?
魚哲:AIGC 為廣告創(chuàng)意帶來了哪些改變?我了解廣推在這一塊用了非常多的技術(shù),而且效果非常好。
崔世杰:廣告創(chuàng)意具有一些獨特的特點。相比于社交,廣告通常受到非常嚴(yán)格的審核要求,因為廣告創(chuàng)意本身具有傳播屬性,它的初衷是為了傳達給更多人看,因此審核要求非常高。舉個例子,如果廣告涉及一個商品,旁邊需要有一個真人模特。審核可能會要求這位模特的著裝不能露肩、不能露腰、不能露肚臍、不能露膝蓋,甚至站姿也可能有具體的要求,比如不可以是“S 型”。
目前面臨的一個重要挑戰(zhàn)是云計算服務(wù)提供商提供的審核服務(wù)的范圍非常有限。這意味著像我剛才提到的那些嚴(yán)格的審核要求往往無法被滿足,因此這是一個挑戰(zhàn)。此外,版權(quán)問題也是一個挑戰(zhàn)。在我們收集原始資源時,需要非常注重版權(quán)問題,這會限制我們原始資源的獲取。此外,嚴(yán)格的法規(guī)也是一個挑戰(zhàn)。每年 315 廣告法都會進行修改和更新,要求變得越來越嚴(yán)格。
另一個關(guān)鍵特點是廣告創(chuàng)意是可耗盡的。如果你看到一個核潛艇廣告并決定購買,完成了一次轉(zhuǎn)化,但如果我再次向你展示相同的廣告,你可能不會再次進行轉(zhuǎn)化。這就強調(diào)了創(chuàng)意的異質(zhì)性要求,創(chuàng)意不能完全一樣,也不能太相似。如果創(chuàng)意過于相似,會對數(shù)據(jù)表現(xiàn)和賬戶產(chǎn)生影響。
最后一個特點是廣告創(chuàng)意的數(shù)量要求很大。因為廣告創(chuàng)意是可耗盡的,如果一批創(chuàng)意的表現(xiàn)不佳,我們需要更換廣告創(chuàng)意,重新探索人群,這意味著我們需要大量的廣告創(chuàng)意。
總結(jié)一下,首先,合規(guī)性至關(guān)重要,因為廣告必須符合法規(guī)。其次,它是一種可耗盡的產(chǎn)品,一般只會被用戶看到一次或很少幾次。第三,廣告的體量和消耗量非常龐大。在這方面,AIGC 填補了一些空白,帶來了一些重要的改變。
魚哲:這些問題是客觀存在的,AIGC 或大型模型并不能像魔法一樣立刻解決這些問題。更多的是,我們需要思考如何利用這些工具來應(yīng)對這些問題。這意味著我們需要采用一種與以往不同的解決問題的思路。你可以這個展開來講一講,AIGC 面對這些問題的是怎么解決的嗎?
崔世杰:舉個例子,比如我剛才提到廣告優(yōu)化師和剪輯師之間的配合問題。如果我們要推廣小說類廣告和視頻類廣告。視頻類廣告有其特點,通常需要涵蓋實時熱點,因為數(shù)據(jù)反饋表明實時熱點可以更好地吸引用戶的轉(zhuǎn)化行為。如何收集和篩選實時熱點以前都是人工工作,但現(xiàn)在我們將這些任務(wù)交給大型語言模型,比如 GPT。例如,我這邊有一份當(dāng)天熱門榜單的標(biāo)題,首先需要進行篩選,因為其中可能存在風(fēng)險問題。然后,我們需要對標(biāo)題進行擴寫,因為有些標(biāo)題不適合直接用于廣告創(chuàng)意的圖片或視頻中,它們可能不夠吸引人。文案方面,也可以通過 GPT 來擴展或修改,使之更具吸引力。這些工作之前都是由人工完成的。
此外,正如我之前提到的,我們一直面臨著原始資源的不足問題,特別是在涉及音視頻和圖文素材的版權(quán)問題上。在資源收集方面,以前我們需要耗費大量的人力和時間,因為不同的廣告場景需要不同類型的素材。舉個例子,如果我們要為一個外賣平臺,比如餓了么,制作廣告,那么需要提供大量的下沉式圖片和視頻,展示美食、夜市燒烤、炸雞,等等。但這些商業(yè)資源通常是有限的,如果需要成千上萬張素材,收集起來需要很長時間。有了 AIGC 的幫助,我們能夠更容易地解決資源收集的問題,包括音頻資源,因為它們可以通過 AIGC 來滿足需求。這種方法有助于解決原始資源的短缺問題。
魚哲:您提到了兩個非常重要的問題,這些問題在使用 AIGC 進行擴寫和改寫時確實需要考慮。首先,對于 AIGC 輸出的結(jié)果進行評估非常關(guān)鍵,因為結(jié)果可能是好的,也可能不符合我們的預(yù)期。在這方面,你們采取了哪些管理和質(zhì)量控制措施呢?
崔世杰:我們的一個特點是尋找吸引人的標(biāo)題,這在大型模型中可能會帶來一些挑戰(zhàn)。然而,我們的精度要求并不是非常高,因此不需要進行深度的定制改造,通過 Prompt Engineering 提示工程就可以完成。
魚哲:在素材數(shù)量方面,無論是使用 ChatGPT 還是自己托管模型,我們通常會有要求來確定每天需要生成多少素材,或者我們會先生成一定數(shù)量的素材并儲存,然后在需要的時候直接提取使用。我們的素材策略是什么樣的?
崔世杰:我們通常會定時按需生成廣告創(chuàng)意,以滿足不同的需求。在這個過程中,我們會進行余量分析和監(jiān)控,以確保資源充足。有些存儲方案會自動進行補充,以滿足高消耗情況。
此外,根據(jù)廣告主的不同需求,我們會探索多個方向。舉例來說,不同品類的廣告,比如小說類廣告,可能需要不同的畫面質(zhì)量、色彩搭配和視覺效果,這些都可能涉及到不同的數(shù)據(jù)。因此,在這些情況下,需要測試組進行手動生成和方向選擇,以便滿足不同廣告主的特定要求。
在不同的業(yè)務(wù)流程中,AIGC 是如何發(fā)揮作用的
魚哲:你的意思是我們當(dāng)前在信息流廣告生成領(lǐng)域的做法是將話題引入,然后利用 GPT 或其他自然語言處理模型進行文本的改寫或擴寫,然后再與生成類模型一起用于圖像生成,或者使用其他模型生成音視頻,是這樣嗎?
崔世杰:視頻類應(yīng)用只是一個載體,不同的載體可能會有一些不同的流程。
魚哲:再講一個非視頻應(yīng)用類載體的廣告流程吧。
崔世杰:以小說為例,它有著獨特的特點,因為小說涵蓋了多種類型。例如,如果你需要制作古裝小說的廣告,選題方向?qū)⑼耆鶕?jù)小說內(nèi)容來確定。在這種情況下,我們會使用大型語言模型的總結(jié)功能,來提取吸引人的標(biāo)題。
然而,這其中也存在一些挑戰(zhàn)。生成標(biāo)題后,我們需要考慮如何將它們與 Stable Diffusion 或其他工具結(jié)合使用。這之后,還需要經(jīng)過一個過程,將標(biāo)題與分鏡擴寫相匹配,這個過程中,還需要考慮小說的內(nèi)容以及小說的類型。
魚哲:對于小說的情況,當(dāng)使用文生圖進行圖像生成時,是使用原生的 Stable Diffusion,然后根據(jù)具體需求,自行進行微調(diào)?例如,中國的古裝風(fēng)格具有特殊的畫風(fēng),可能需要進行微調(diào)以確保生成的圖像與特定畫風(fēng)相匹配。是否會參考類似 Swift AI 上的資源,以幫助微調(diào)模型以滿足特定需求嗎?
崔世杰:通常,我們處理數(shù)據(jù)反饋時使用通用的提示。不過,有時也會遇到一些非常特殊的情景,比如“小兒書”風(fēng)格插畫,可能社區(qū)中的模型并沒有涵蓋這種風(fēng)格。這時,我們會自行訓(xùn)練適合這種風(fēng)格的 Lora 模型,然后將其用于生成。這個過程可能需要一些微調(diào)。
魚哲:在訓(xùn)練“小人書”風(fēng)格插畫模型時,我們通常需要準(zhǔn)備大約多少數(shù)據(jù)呢?另外,我注意到你提到模型效果方面,你之前進行了大量的 fine-tuning,尤其是針對 Llama 和 Llama 2 的 7B 和 13B 模型。你們是否發(fā)現(xiàn)使用諸如 QLoRA 這樣的快速訓(xùn)練方式,雖然訓(xùn)練速度很快,但最終效果可能并不理想,導(dǎo)致你們最終還需要進行全量的 fine-tuning?
崔世杰:在這個過程中,我們的方法相當(dāng)簡單,沒有進行深度的調(diào)試。那時,我們使用了一些開源的解決方案,包括 Stable Diffusion 的插件,然后使用了大約 100 張圖像來訓(xùn)練 Lora 模型。關(guān)鍵是,我們很幸運地收集到了一系列高質(zhì)量的小兒書風(fēng)格圖像作為初始資源。
魚哲:還有其他特殊類型的廣告可以和我們分享的嗎?
崔世杰:我們曾嘗試過在不同領(lǐng)域進行廣告創(chuàng)意,比如食品類。因為不同領(lǐng)域的廣告創(chuàng)意在畫面質(zhì)量和風(fēng)格上都有不同要求,我們考慮過以二次元動漫風(fēng)格來呈現(xiàn)食品廣告,尤其在 Stable Diffusion 還不太成熟的早期。盡管這個嘗試效果不如真實場景的廣告,但最終我們還是以數(shù)據(jù)驅(qū)動為主導(dǎo)。我們還進行了很多其他嘗試,這些創(chuàng)意都是通過團隊的共同討論和富有想象力的合作而產(chǎn)生的。同時,我們還曾在視頻類廣告中嘗試了食物廣告。
魚哲:我們有位觀眾問到關(guān)于劇情式廣告的生成,你們是否在這一領(lǐng)域進行過嘗試,或者你們是如何看待這個問題的?首先,我想了解一下,你們對于劇情式廣告的理解是什么。
崔世杰:當(dāng)他提到這個問題時,我基本明白他的意思。我們確實在這個領(lǐng)域進行了測試。但是要注意,目前 AIGC 技術(shù)還無法實現(xiàn)將文本直接轉(zhuǎn)化為非常接近真實視頻質(zhì)量的廣告創(chuàng)意?,F(xiàn)在的形式更像那些在抖音上看到的解說小說或漫畫的視頻,通過配音和幻燈片等形式呈現(xiàn),它們包含劇情元素,就像小說中的情節(jié)一樣。我們已經(jīng)嘗試過這種小說類型的廣告創(chuàng)意,但需要指出生成的難度是相當(dāng)大的。舉個例子,如果你要生成一個 10 分鐘的小說文本,可能需要配以 30 多張 Stable Diffusion 或 MidJourney 的圖像,然后這些圖像需要剪輯、混合,并與配音和字幕配合,同時還需要考慮視頻剪輯的方式,例如雙音軌等等。目前自動化技術(shù)已經(jīng)開始廣泛應(yīng)用,我們的平臺可以處理這種類型的視頻。
魚哲:我看到有十幾張像 PPT 幻燈片講完一個故事的視頻,你們有嘗試過嗎?效果如何?
崔世杰:我們曾嘗試過這種類型的廣告創(chuàng)意,但最終效果并不理想。這可能與廣告的內(nèi)容和目標(biāo)受眾有關(guān)。例如,我們可能用這種形式來宣傳小說,但這種方式的效果可能并不好,而其他類型的廣告可能表現(xiàn)得更出色。因此,我們通常以數(shù)據(jù)為依據(jù),根據(jù)數(shù)據(jù)的表現(xiàn)來調(diào)整廣告的方向。此外,除了蒙太奇式的剪輯視頻,目前我們也廣泛使用過渡效果和動態(tài)效果來制作廣告創(chuàng)意。這些方法的使用更加多樣化。
魚哲:所以,關(guān)于那個“三年之期已到,龍王請回歸”這種類型的廣告,目前看來還是有些遠未達到的。
崔世杰:這種高端廣告創(chuàng)意需要更高的成本,它通常涉及將一張圖片通過景深處理轉(zhuǎn)化為具有 3D 動態(tài)效果的視頻。此外,還有一種方法是使用數(shù)字人物在視頻中展示產(chǎn)品,這也是一種趨勢。
魚哲:在硅谷,有一家名叫 PIKA LABS 的公司,他們提供的服務(wù)是,提供一個提示,然后生成一張圖片,并為這張圖片添加一個兩三秒的動畫效果。然后你可以使用這個帶有動畫的圖片來參加科幻小說的競賽,你需要為這個圖片配上一些文字,創(chuàng)作一個故事。這有點類似于 YouTube 上的剪輯視頻,但它只為你提供一個靜態(tài)圖片,然后加上短暫的動畫效果。例如,你的提示可能是“一只鯨魚從海平面跳出,太陽從背后落下”。你可以為這個動畫配上一個故事,比如描述 100 年后人類已經(jīng)消失,只剩下鯨魚在這個世界上。目前,我們還沒有實現(xiàn)這種類型的劇情廣告創(chuàng)意。
廣告投放效果管理
魚哲:既然你們涉及了多個品類的廣告自動生成并最終進行投放,我想了解一下,是不是你們內(nèi)部建立了一個應(yīng)用平臺來進行這些內(nèi)容的生成,或者你們采用了其他什么方式來管理?
崔世杰:我們建立了一個程序化創(chuàng)意平臺,但前提是要有足夠充足的高質(zhì)量原始資源。
魚哲:原始資源指的是什么?是指計算資源、數(shù)據(jù),還是人力資源?
崔世杰:原始資源是指那些在創(chuàng)意生成之前的圖像、文本、音頻和視頻素材,我們需要足夠的高質(zhì)量數(shù)據(jù)資源。因為這些廣告可能需要滿足一些審核要求,同時需要添加差異化的圖層、廣告標(biāo)識以及文案。要建立一個自動化的平臺和流程,首要條件就是需要有足夠充足的原始資源。比如,如果我要創(chuàng)作了一個廣告,可能需要輸入 1000 張圖像,然后生成 1000 張不同的廣告創(chuàng)意圖片,這就需要足夠豐富的原始資源。
魚哲:那這個平臺的用戶主要是誰呢?是廣告生成過程中的投放師,還是剪輯師?
崔世杰:目前來看,這個平臺同時為兩者提供服務(wù)。我之前提到了模板的概念,我們會將那些在廣告搭配中成功的、獲得良好數(shù)據(jù)反饋的模板存儲在這個平臺上,以備后續(xù)使用。廣告創(chuàng)意是一種消耗品,但它有自身的生命周期。比如說今年的中秋節(jié),月餅相關(guān)的電商廣告創(chuàng)意可能表現(xiàn)出色。但是一旦中秋節(jié)過去,這些相關(guān)模板和廣告創(chuàng)意就不再適用了。明年的中秋節(jié),它們可能再次派上用場,所以我們會將這些模板存儲下來。此外,廣告優(yōu)化師也會使用這個平臺,他們可以根據(jù)自身的經(jīng)驗選擇要驗證的點。
大模型訓(xùn)練數(shù)據(jù)
魚哲:有觀眾提問:“從哪里獲取需要用于模型訓(xùn)練的高質(zhì)量數(shù)據(jù)?!蔽矣X得數(shù)據(jù)越來越成為每家公司在競爭中非常具有競爭力的資源,通常需要依賴現(xiàn)有業(yè)務(wù)的數(shù)據(jù)存量。你對此有何看法?”
崔世杰:數(shù)據(jù)一直以來在國內(nèi)都是一個關(guān)鍵問題。我參加過很多 AIGC 相關(guān)的峰會,發(fā)現(xiàn)數(shù)據(jù)在國內(nèi)一直是最關(guān)鍵的問題。我還看到了一些新興的公司,它們專門提供高質(zhì)量的數(shù)據(jù)治理服務(wù),為那些訓(xùn)練大型模型的公司提供支持。此外,許多國內(nèi)大型模型的訓(xùn)練數(shù)據(jù)都存在不足的問題,尤其是在通用領(lǐng)域,高質(zhì)量中文數(shù)據(jù)相對較少。
魚哲:實際上,不論是企業(yè)、個人還是團隊,要創(chuàng)建一個成功的 AIGC 應(yīng)用,一個關(guān)鍵的先決條件是擁有垂直領(lǐng)域的高質(zhì)量數(shù)據(jù),對吧?
AIGC 是否對廣告行業(yè)造成沖擊
魚哲:讓我們回到之前討論的話題,就是你們的應(yīng)用平臺,剪輯師如何使用它。我想談?wù)勔粋€在美國經(jīng)常被提出的問題,即許多藝術(shù)家和藝人反對生成式技術(shù),認為它會奪走他們的工作,導(dǎo)致失業(yè)。我想問一下,在你們團隊中,你們的剪輯師是否對使用這些技術(shù)存在抵觸情緒?他們是如何看待這個問題的?
崔世杰:實際上抵抗是存在的,特別是在一些其他行業(yè)中,抵抗力更大一些。例如,一些內(nèi)容創(chuàng)作者、內(nèi)容號運營者可能受到?jīng)_擊,他們通常有自己的團隊,包括剪輯師。就像我之前提到的,我們有很多剪輯師,他們使用自動化剪輯工具與 AIGC 協(xié)作,這在很大程度上替代了一部分他們的工作。此外,還有一些原畫師。例如在一個團隊中,通常會有一個優(yōu)化師搭配兩個剪輯師,但如果使用我們的方案,目前只需要三到四個剪輯師即可。這就顯示了自動化和 AIGC 對工作分工和效率的影響。
魚哲:我覺得這個現(xiàn)象非常有趣,因為我們可以看到兩種極端的態(tài)度。一方面,有人強烈反對,拒絕使用這些技術(shù),而另一方面有人欣然接受并擁抱這些新的產(chǎn)業(yè)和技術(shù)。例如,一些流行的音樂人,如孫燕姿等,已經(jīng)采用了 AIDC 技術(shù)。他們使用這些技術(shù)來生成專輯封面、聲音或其他創(chuàng)作,這顯示出了人們對新技術(shù)持不同態(tài)度的現(xiàn)象。
魚哲:我們前面提到的,有些人愿意擁抱這些新技術(shù),而有些人對它們有一些抵觸情緒。在你看來,AIGC 對廣告行業(yè)會帶來巨大沖擊還是使原本高效的工作更高效?
崔世杰:目前來看,AIGC 還沒有對廣告造成巨大沖擊,但對內(nèi)容生產(chǎn)者的沖擊更大。舉個例子,剛才提到資源收集,采集原始資源,像我們用于商業(yè)用途的圖像、文本和音視頻,通常需要通過一些渠道購買。這對這些渠道的影響會非常大。具體來說,像下沉市場的外賣廣告,它們需要一些特定類型的素材,例如燒烤的視頻或吃炸雞的照片,這通常需要專業(yè)團隊拍攝,而拍攝成本非常高,可能每個素材的成本都要幾十塊錢。在廣告行業(yè),這個成本通常是難以承受的。引入 AIGC 后,原始資源不再需要考慮商業(yè)化或版權(quán)問題,也不必擔(dān)心數(shù)量的問題。
魚哲:接下來這個問題可能有點敏感,觀眾想了解在廣告市場中,生成式 AI 給廣告市場帶來了哪些變化?我的看法是,生成式 AI 主要帶來了廣告生產(chǎn)效率的提升。但對于搜索廣告,尤其是生成廣告,雖然它可以顯著提高制作廣告的效率,但對廣告的召回率和點擊率提升影響可能不會太大。你如何看待這個問題呢?
崔世杰:就廣告市場帶來的變化而言,生成式 AI 并沒有在廣告市場的基本原則上帶來很大的改變。這是因為在廣告投放過程中,每當(dāng)用戶看到一條廣告時,背后通常有數(shù)十家廣告公司的廣告在競爭展示,用戶最終看到的廣告僅僅是競爭過程中的一個結(jié)果。即使使用生成式 AI 創(chuàng)建的廣告創(chuàng)意被用戶看到,實際上只是在競爭中擊敗了其他廣告公司的廣告創(chuàng)意。沒有生成式 AI 的情況下,用戶仍然會看到廣告,因為他們的行為一直存在。例如,當(dāng)用戶在瀏覽一篇文章時,可能會在文章中間看到廣告。因此,生成式 AI 并沒有改變廣告市場的基本規(guī)則和數(shù)據(jù),但目前已經(jīng)解決了廣告生產(chǎn)效率、審核風(fēng)險、版權(quán)問題和廣告數(shù)量等方面的挑戰(zhàn)。
魚哲:還有一個問題,AIGC 對廣告行業(yè)是否帶來新的商業(yè)模式改變。
崔世杰:這確實是一個重要的趨勢。我認為,AIGC 正在改變我們整個廣告流程。我一直在強調(diào)數(shù)據(jù)的重要性。我一直在強調(diào) AIGC 可以在我們的平臺上進行自動或手動生成,但生成的過程與最終的數(shù)據(jù)是相關(guān)聯(lián)的。這使整個過程中產(chǎn)生的數(shù)據(jù)變得非常寶貴。
這兩個方面都有價值。一方面是廣告的數(shù)據(jù)投放,另一方面是生成過程中的數(shù)據(jù)。當(dāng)這些數(shù)據(jù)積累起來后,我們可以利用它們來訓(xùn)練預(yù)測模型。然后,我們可以不斷地通過這些數(shù)據(jù)來自動調(diào)整生成方向,包括色彩搭配、畫面沖擊力以及創(chuàng)意方向。這樣的干預(yù)將使我們更好地滿足廣告創(chuàng)意的目標(biāo)受眾需求,從而形成一個正向循環(huán)。這也是我們未來計劃發(fā)展的一個關(guān)鍵領(lǐng)域,我相信這也是所有廣告公司都將積極探索的方向。
提示工程與大模型安全問題
魚哲:回到技術(shù)方面,你提到我們進行了大量的提示工程。在進行提示詞工程時,你們通常會使用中文還是英文?
崔世杰:我們采用的方案是將中文內(nèi)容翻譯成英文。然而,這個翻譯過程并不是直接進行的,而是通過 ChatGPT 進行翻譯。與直接翻譯相比,這個方法能夠獲得更好的效果。
魚哲:最終,我們將這些內(nèi)容嵌入到模型中之前,實際上是將它們轉(zhuǎn)化為英文。即使用戶輸入可能是中文,我們會使用 GPT 進行一次翻譯,對嗎?
崔世杰:對,就像用戶輸入,就像我之前提到的小說標(biāo)題的生成,我們首先總結(jié)出一些標(biāo)題,然后將它們翻譯成英文。此外,在整個過程中,例如在處理 Stable Diffusion 和它的提示的語法時,ChatGPT 本身是不知道的,需要依賴提示工程來告訴 ChatGPT 如何創(chuàng)建 Stable Diffusion Prompt。
魚哲:這實際上是一個非常有趣的問題,因為機器翻譯,包括語音和文本翻譯,一直都是傳統(tǒng)的機器學(xué)習(xí)或深度學(xué)習(xí)領(lǐng)域的典型問題。你當(dāng)時決定為什么使用 GPT 來做?
崔世杰:我們當(dāng)時的方案集成了多個小模型,每個模型在特定任務(wù)上表現(xiàn)出色,然后將它們整合到一個程序化平臺中。同時,我們也使用了傳統(tǒng)的直接翻譯模型。我自己在機器翻譯領(lǐng)域也有一些研究,發(fā)現(xiàn) GPT 翻譯的原理與傳統(tǒng)翻譯原理完全不同,效果更符合自然語言處理的原理。
魚哲:有觀眾提問關(guān)于大型模型的安全問題,你們是如何處理的?例如,安全方面的優(yōu)先級,如防止指令注入,你們關(guān)注哪些安全問題?我先分享我的觀點,然后你可以分享你的看法。我認為,考慮到你之前提到的使用場景,主要用于內(nèi)部使用而不是外部使用,安全可能不是最高優(yōu)先級的問題。世杰你的看法呢?
崔世杰:安全問題確實很重要。首先,我們有自己的安全措施。在廣告創(chuàng)意正式投放之前,我們會進行預(yù)審流程。但是,如果模型用于外部,需要考慮各種因素。正如我之前提到的,考慮到當(dāng)前的云計算服務(wù),內(nèi)容審核并不十分嚴(yán)格,AIGC 生成的內(nèi)容無法有效地風(fēng)控。因此,我首先建議使用國內(nèi)訓(xùn)練的模型。首先因為它們更適合中文;其次,它們可以滿足國內(nèi)審計相關(guān)的要求。因此,我更傾向于使用國內(nèi)模型。如果你選擇外國的開源模型,你需要實施自己的安全策略。因此,我建議使用國內(nèi)模型并在中國境內(nèi)部署。
大模型時代下的個人成長
魚哲:我想了解一下,是什么因素或機會,或者說是什么樣的動力,激勵你不斷嘗試新的方向?
崔世杰:從一個工程師的角度來看,剛?cè)胄袝r,他可能只涉及業(yè)務(wù)的一小部分,處于一線狀態(tài)。然而,隨著他在業(yè)務(wù)方面的發(fā)展,他會逐漸了解業(yè)務(wù)的全貌,發(fā)現(xiàn)業(yè)務(wù)的成長以及如何不斷突破增長點,而這些增長點大多是由技術(shù)創(chuàng)新帶來的。舉例來說,當(dāng)時我在智慧城市領(lǐng)域工作時,云計算已經(jīng)可以為城市級別的風(fēng)險控制和賦能,業(yè)務(wù)方向就隨之出現(xiàn),新的機遇出現(xiàn)時,老板們都會追隨這些機遇,因此,你會一直處于一線狀態(tài),這是一個相互成就的過程。
對于 AIGC,當(dāng)它首次出現(xiàn)時,技術(shù)人員可能只是嘗試一下,但公司的領(lǐng)導(dǎo)意識到了它的潛力,主動擁抱了這項技術(shù)。公司進行了一些基礎(chǔ)建設(shè)和調(diào)研工作,早早地意識到 AIGC 的潛力,將其引入廣告行業(yè)。因此,一直跟隨這項技術(shù)突破,公司一直處于業(yè)務(wù)的前沿。
魚哲:不斷學(xué)習(xí)新事物,追求突破,似乎讓人一直保持在充滿活力的狀態(tài),你喜歡這種狀態(tài)嗎?
崔世杰:如果要我一直做同樣的事情,我會感到挺痛苦的。我更喜歡追求各種新奇感受,特別是在技術(shù)迅猛發(fā)展的時代,總是有新東西值得學(xué)習(xí),有時候感覺都來不及跟上。
魚哲:在當(dāng)前情況下,你認為所有人是否都需要理解什么是 AIGC 以及它的工作原理?如果他們需要理解,那需要理解到哪個層面?有時候我嘗試向非技術(shù)領(lǐng)域的同學(xué)解釋嵌入、Transformer 模型以及自然語言如何轉(zhuǎn)化,但我覺得這些細節(jié)對他們來說可能不夠重要。你認為那些不從事技術(shù)方向的人,比如老板,需要理解 AIGC 或生成式 AI 的哪些方面?
崔世杰:我對 AI 技術(shù)也很感興趣。但在實際商業(yè)應(yīng)用時,你會發(fā)現(xiàn)與學(xué)術(shù)研究是不同的。在實際應(yīng)用中更注重一些實際指標(biāo),如成本效益等。所以現(xiàn)在最關(guān)注的是成本效率和公司規(guī)模的承受程度等實際問題。如果我推薦給周圍的人使用,我會建議他們深入了解并使用。微軟的首席技術(shù)官在一次演講中提到,隨著 AI 能力的不斷增強,人們需要站在主駕駛的位置,因此提出了“副駕駛”概念。隨著 AI 能力的提升,人們需要深入使用并掌握它。像 fine-tuning、LangChain 等我不會推薦,我會鼓勵周圍的人去深入使用 AIGC,重點在于使用。為什么呢?因為在國內(nèi)已經(jīng)有很多垂直領(lǐng)域的應(yīng)用模型,但好的模型只需要訓(xùn)練一次。比如 ChatGPT,如果它能夠在第 5 代時解決所有垂直領(lǐng)域的問題,那么其他模型就變得多余了。所以重要的是學(xué)會如何使用。
魚哲:我個人的感覺是,首先,因為我的技術(shù)背景,我會首先關(guān)注這項技術(shù)的細節(jié)。然后,我會盡早開始使用它,而后,我會盡力尋找潛在問題。也許這是我作為產(chǎn)品經(jīng)理的職業(yè)特點,總是尋找問題,找出在哪些情況下它無法使用,或者可能出現(xiàn)問題。通過找出“壞案例”,然后評估這項技術(shù)在哪些情況下適用,哪些情況下不適用。
崔世杰:是的,早期時,當(dāng)生成式 AI 剛剛嶄露頭角時,我也曾沉迷其中。因為那時很多解決方案尚不成熟,當(dāng)我們嘗試將尚未成熟的方案應(yīng)用到實際中時,我可能會花上半個月來計劃,但接下來的一周內(nèi),技術(shù)圈突然冒出了一個成熟的方案?,F(xiàn)在已經(jīng)過了一段時間,每天早上打開手機時,還會看到大量我無法完全了解的 AI 技術(shù)方案。技術(shù)的增長速度非常迅猛。
魚哲:有觀眾問入門 AI 的 Roadmap,我這里分享一些指導(dǎo)性的建議。
首先,你需要理解 AI 模型的數(shù)學(xué)原理,包括嵌入(embedding)、標(biāo)記化(tokenization)以及前處理(pre-processing)和后處理(post-processing)等內(nèi)容。這些原理是非?;A(chǔ)的,但對于建立堅實的基礎(chǔ)知識體系非常重要。其次,你需要深入了解計算機科學(xué)和計算機工程領(lǐng)域,包括了解 CPU 和 GPU 的不同功能,以及數(shù)據(jù)如何從 CPU 傳輸?shù)?GPU,如何進行計算等等。這些知識是與硬件和性能相關(guān)的,隨著時間的推移,它們?nèi)匀环浅S袃r值。最后,我認為最重要的一點是不要讓自己陷入重復(fù)的工作中。這是因為這個領(lǐng)域非常快速發(fā)展,所以你應(yīng)該保持好奇心,不斷嘗試新事物,不斷挑戰(zhàn)自己。雖然這可能會有一些折騰,但它將有助于拓寬你的視野,讓你更好地理解技術(shù)和產(chǎn)品,并保持前進的動力。所以,要在 AI 領(lǐng)域成功,不僅需要學(xué)習(xí)基礎(chǔ)知識,還需要保持靈活性和開放性,不斷追求創(chuàng)新和變化。這就是我對于新人入門 AI 領(lǐng)域的建議。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7255瀏覽量
91816 -
云計算
+關(guān)注
關(guān)注
39文章
7976瀏覽量
140010 -
AIGC
+關(guān)注
關(guān)注
1文章
387瀏覽量
2453
原文標(biāo)題:深度對談:廣告創(chuàng)意領(lǐng)域中 AIGC 的應(yīng)用
文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
云知聲斬獲中國AIGC產(chǎn)業(yè)雙項大獎
京東零售廣告創(chuàng)意:引入場域目標(biāo)的創(chuàng)意圖片生成

AIGC和AI有什么區(qū)別
萬興科技AIGC創(chuàng)意軟件閃耀中東LEAP 2025
#新年新氣象,大家新年快樂!#AIGC入門及鴻蒙入門
AIGC入門及鴻蒙入門
【「大模型啟示錄」閱讀體驗】營銷領(lǐng)域大模型的應(yīng)用
虛擬制作技術(shù)在廣告領(lǐng)域中的應(yīng)用與挑戰(zhàn)
創(chuàng)意廣告展示選用雷曼雷霆Z系列戶外LED大屏
直播報名丨AIGC技術(shù)在工業(yè)視覺領(lǐng)域的應(yīng)用

評論