1什么是長(zhǎng)尾問(wèn)題

長(zhǎng)尾問(wèn)題一直是很多場(chǎng)景中最難優(yōu)化的問(wèn)題，特別是在推薦系統(tǒng)領(lǐng)域，長(zhǎng)尾問(wèn)題十分常見(jiàn)，卻很難優(yōu)化。在推薦系統(tǒng)中，長(zhǎng)尾問(wèn)題指的是，某些實(shí)體在訓(xùn)練數(shù)據(jù)中出現(xiàn)次數(shù)非常少，導(dǎo)致模型對(duì)這部分樣本打分效果很差。典型的場(chǎng)景包括，新用戶沒(méi)有幾條瀏覽行為，如何準(zhǔn)確推薦用戶感興趣的內(nèi)容；一些商品非常小眾，用戶反饋很少，如何對(duì)這些商品進(jìn)行推薦等等。長(zhǎng)尾在一個(gè)成熟的系統(tǒng)中往往服從二八定律，即20%的頭部實(shí)體貢獻(xiàn)了80%的數(shù)據(jù)，而剩余80%的實(shí)體只有20%的數(shù)據(jù)，實(shí)際場(chǎng)景中甚至比二八還要長(zhǎng)尾。

長(zhǎng)尾問(wèn)題的難點(diǎn)主要體現(xiàn)在以下2點(diǎn)。首先，長(zhǎng)尾實(shí)體的樣本量太少，模型很難學(xué)習(xí)這部分樣本的規(guī)律，例如用戶的embedding、商品的embedding等，都是需要大量數(shù)據(jù)學(xué)習(xí)的。其次，頭部樣本在數(shù)量上占絕對(duì)優(yōu)勢(shì)，導(dǎo)致模型偏向擬合頭部樣本的規(guī)律，而尾部樣本的規(guī)律和頭部樣本可能有較大差異，導(dǎo)致模型在尾部樣本效果不好。

2如何解決長(zhǎng)尾問(wèn)題

那么，如何解決長(zhǎng)尾問(wèn)題呢？業(yè)內(nèi)工作主要包括兩種核心優(yōu)化方法。第一種方法是基于meta-learning解決長(zhǎng)尾問(wèn)題。剛才我們說(shuō)到，長(zhǎng)尾用戶或商品的數(shù)據(jù)量少，模型難學(xué)習(xí)，那么我們就讓模型具備在少量樣本上能學(xué)的比較好的能力就可以了。而meta-learning正是讓模型實(shí)現(xiàn)上述能力的方法。我在之前的文章Meta-learning核心思想及近年頂會(huì)3個(gè)優(yōu)化方向中對(duì)meta-learning的核心思路進(jìn)行了詳細(xì)介紹，感興趣的同學(xué)可以進(jìn)一步深入閱讀。第二種方法是基于圖學(xué)習(xí)解決長(zhǎng)尾問(wèn)題。長(zhǎng)尾部分的由于數(shù)據(jù)少無(wú)法學(xué)到良好的embedding，在圖學(xué)習(xí)中，可以利用豐富的鄰居節(jié)點(diǎn)信息對(duì)長(zhǎng)尾實(shí)體的信息進(jìn)行補(bǔ)充，進(jìn)而學(xué)到更好的embedding。

下面，我們分別來(lái)看看基于meta-learning的方法和基于圖學(xué)習(xí)的方法解決長(zhǎng)尾問(wèn)題的典型工作。

3基于meta-learning的方法

基于meta-learning的長(zhǎng)尾問(wèn)題解決方法又可以分為兩種思路，一種是利用meta-learning生成長(zhǎng)尾用戶或商品的良好embedding，另一種是利用meta-learning讓模型獲得在小樣本上的快速學(xué)習(xí)能力。這里分別介紹兩個(gè)思路的兩篇經(jīng)典文章。

第一篇文章是Improving ctr predictions via learning to learn id embeddings（SIGIR 2019）。這篇文章主要場(chǎng)景是廣告的ctr預(yù)估，解決的問(wèn)題是如何提升冷啟動(dòng)廣告的預(yù)測(cè)效果。本文提出了基于meta-learning的冷啟動(dòng)廣告embedding學(xué)習(xí)方法。首先將每個(gè)ad的ctr預(yù)測(cè)看成是meta-learning中一個(gè)獨(dú)立的任務(wù)。然后學(xué)習(xí)一個(gè)embedding生成器，生成器的輸入是廣告的特征，輸出embedding。整個(gè)過(guò)程利用meta-learning的思路進(jìn)行學(xué)習(xí)，利用meta-learning中的support set和query set模擬一個(gè)冷啟動(dòng)廣告生成embedding和使用embedding預(yù)測(cè)，進(jìn)而優(yōu)化embedding生成器。

整個(gè)meta-learning的過(guò)程如下所示，在一個(gè)預(yù)訓(xùn)練好的模型基礎(chǔ)上進(jìn)行。隨機(jī)選擇一些廣告，生成兩個(gè)batch的數(shù)據(jù)。使用embedding生成器生成embedding后使用第一個(gè)batch計(jì)算loss，再利用這個(gè)loss更新一步生成器（內(nèi)循環(huán)）；然后使用更新后的生成器計(jì)算另一個(gè)batch上的loss（外循環(huán)），并更新最終參數(shù)。

第二篇文章是MeLU: meta-learned user preference estimator for cold-start recommendation（KDD 2019）。這篇文章主要也是借助了meta-learning讓模型具有快速學(xué)習(xí)能力，讓模型能夠在冷啟動(dòng)樣本上，只看到少數(shù)幾個(gè)item就能進(jìn)行快速的更新參數(shù)。

這篇文章重點(diǎn)解決的是user側(cè)的冷啟動(dòng)問(wèn)題，對(duì)于一個(gè)user的數(shù)據(jù)分成support set和query set，在support set內(nèi)循環(huán)后在queryset評(píng)估效果并進(jìn)行全局更新。embedding層不使用meta-learning，只在全連接層進(jìn)行meta-learning。

4基于圖學(xué)習(xí)的方法

基于圖的學(xué)習(xí)方法通過(guò)圖建立不同實(shí)體之間的關(guān)系，進(jìn)而可以用其他實(shí)體的信息豐富長(zhǎng)尾實(shí)體的信息，緩解由于長(zhǎng)尾導(dǎo)致的樣本不充分無(wú)法學(xué)習(xí)良好表示的問(wèn)題。

Learning Graph Meta Embeddings for Cold-Start Ads in Click-Through Rate Prediction（SIGIR 2021）利用圖學(xué)習(xí)解決新ad的embedding生成問(wèn)題。對(duì)于新ad，使用屬性特征和圖學(xué)習(xí)生成一個(gè)合理的embedding。根據(jù)屬性重合度構(gòu)造新ad的相似鄰居，并按照屬性的重合度排序，得到最相似的幾個(gè)ad。然后利用GAT進(jìn)行new ad和其鄰居的信息融合，再用全連接生成新ad的向量表示，作為id embedding。這個(gè)過(guò)程相當(dāng)于根據(jù)屬性找到與新ad最相似的舊ad，用舊ad的信息豐富新ad的embedding。在訓(xùn)練方法上，先用舊ad訓(xùn)練一個(gè)正常的ctr預(yù)估模型，然后固定ctr模型的參數(shù)，單獨(dú)訓(xùn)練新ad表示生成部分的參數(shù)，利用meta-learning的方法更新模型參數(shù)。

Graph Intention Network for Click-through Rate Prediction in Sponsored Search（SIGIR 2019）也是一篇比較有代表性的工作。CTR預(yù)估中經(jīng)常需要對(duì)歷史行為建模提升效果（比如用戶歷史點(diǎn)擊過(guò)的商品），但是長(zhǎng)尾用戶的歷史行為比較稀疏。因此這篇文章提出，利用點(diǎn)擊行為構(gòu)造商品和商品之間的圖，利用這個(gè)圖補(bǔ)充歷史行為信息。通過(guò)商品-商品圖，可以挖掘出和當(dāng)前商品高度相關(guān)的其他商品，這些商品雖然沒(méi)有直接的點(diǎn)擊行為，但由于和點(diǎn)擊過(guò)的商品高度相關(guān)，因此用戶點(diǎn)擊這些商品的概率可能也很高。通過(guò)這種基于圖擴(kuò)展信息的方法，解決長(zhǎng)尾用戶歷史行為稀疏的問(wèn)題。

5總結(jié)

本文為大家介紹了解決長(zhǎng)尾和冷啟動(dòng)問(wèn)題的基本方法，主要包括meta-learning和圖學(xué)習(xí)兩個(gè)路線。Meta-learning更側(cè)重于讓模型具有在小樣本上快速學(xué)習(xí)的能力；而圖學(xué)習(xí)更側(cè)重于挖掘和長(zhǎng)尾實(shí)體相關(guān)的鄰居，用鄰居信息補(bǔ)充長(zhǎng)尾實(shí)體的信息。

審核編輯 ：李倩