推薦系統(tǒng)是機器學(xué)習(xí)的一類，它可使用數(shù)據(jù)來幫助預(yù)測、縮小范圍，并找到人們在呈指數(shù)級增長的選項中尋找的內(nèi)容。

什么是推薦系統(tǒng)？

推薦系統(tǒng)是一種人工智能或人工智能算法，通常與機器學(xué)習(xí)相關(guān)，使用大數(shù)據(jù)向消費者建議或推薦其他產(chǎn)品。這些推薦可以基于各種標(biāo)準(zhǔn)，包括過去的購買、搜索歷史記錄、人口統(tǒng)計信息和其他因素。推薦系統(tǒng)非常有用，因為它們可以幫助用戶了解自己無法自行找到的產(chǎn)品和服務(wù)。

推薦系統(tǒng)經(jīng)過訓(xùn)練，可使用收集的交互數(shù)據(jù)了解用戶和產(chǎn)品偏好、之前的決策和特征。其中包括展示、點擊、喜歡和購買。推薦系統(tǒng)由于能夠高度個性化地預(yù)測消費者興趣和需求，因此受到內(nèi)容和產(chǎn)品提供商的喜愛。從書籍、視頻、健康課程到服裝，它們都可以促使消費者選擇其感興趣的任何產(chǎn)品或服務(wù)。

推薦系統(tǒng)類型

雖然有許多推薦算法和技術(shù)，但大多數(shù)都屬于以下廣泛類別：協(xié)作過濾、內(nèi)容過濾和上下文過濾。

協(xié)作過濾算法根據(jù)許多用戶的偏好信息（這是協(xié)作部分）推薦物品（這是過濾部分）。此方法使用用戶偏好行為的相似性，并鑒于用戶與物品之間的之前交互，推薦算法便可以學(xué)會預(yù)測未來交互。這些推薦系統(tǒng)基于用戶過去的行為構(gòu)建模型，例如之前購買的物品或給予這些物品的評分以及其他用戶的類似決策。相關(guān)理念在于，如果有些人過去也做出過類似的決策和購買，比如電影選擇，那么他們很有可能會同意未來的其他選擇。例如，如果協(xié)作過濾推薦系統(tǒng)了解您和另一個用戶在電影中有著相似的品味，它可能會向您推薦一部其了解的其他用戶已經(jīng)喜歡的電影。

相比之下，內(nèi)容過濾則使用物品的屬性或特征（這是內(nèi)容部分）來推薦類似于用戶偏好的其他物品。此方法基于物品和用戶特征的相似性，并鑒于用戶及其與之交互過的物品的信息（例如，用戶的年齡、餐廳的菜系、電影的平均評價），來模擬新互動的可能性。例如，如果內(nèi)容過濾推薦系統(tǒng)了解到您喜歡電影《電子情書》和《西雅圖夜未眠》，它可能會向您推薦另一部相同類別和/或演員陣容的電影，例如《跳火山的人》。

混合推薦系統(tǒng)結(jié)合了上述類型系統(tǒng)的優(yōu)勢，以便創(chuàng)建更全面的推薦系統(tǒng)。

上下文過濾包括推薦過程中用戶的背景信息。Netflix 在 NVIDIA GTC 大會上提出，將推薦內(nèi)容框定為上下文序列預(yù)測，以便作出更好的推薦。此方法使用一系列上下文用戶操作和當(dāng)前上下文來預(yù)測下一個操作的概率。在 Netflix 示例中，鑒于每位用戶的序列（用戶在觀看電影時的國家/地區(qū)、設(shè)備、日期和時間），他們訓(xùn)練出一個模型，來預(yù)測用戶接下來要觀看的內(nèi)容。

用例和應(yīng)用

電子商務(wù)與零售：個性化營銷

假設(shè)用戶已經(jīng)購買了一條圍巾。何不提供匹配的帽子，來完善外觀？此功能通常通過基于 AI 的算法實現(xiàn)，如電子商務(wù)平臺（例如 Amazon、沃爾瑪、Target 等）的“搭配造型”或“您可能還喜歡”部分。

智能推薦系統(tǒng)能夠?qū)⒕W(wǎng)頁產(chǎn)品的轉(zhuǎn)換率平均提升 22.66%。

媒體與娛樂：個性化內(nèi)容

基于 AI 的推薦引擎可以分析個人的購買行為并檢測模式，這有助于為他們提供更有可能符合其興趣的內(nèi)容建議。這是 Google 和 Facebook 在推薦廣告時主動應(yīng)用的內(nèi)容，或 Netflix 在推薦電影和電視節(jié)目時在幕后所應(yīng)用的內(nèi)容。

個性化銀行

作為一款由數(shù)百萬人數(shù)字化消費的大眾市場產(chǎn)品，銀行是推薦產(chǎn)品的首要選擇。了解客戶的詳細金融情況及其過去偏好，加上數(shù)千名類似用戶的數(shù)據(jù)，這一點非常強大。

推薦系統(tǒng)的優(yōu)勢

推薦系統(tǒng)是推動個性化用戶體驗、與客戶更深入互動以及零售、娛樂、醫(yī)療健康、金融等行業(yè)中功能強大的決策支持工具的關(guān)鍵組件。在某些大型商業(yè)平臺上，推薦系統(tǒng)所產(chǎn)生的收入占比高達 30%。推薦質(zhì)量每提高 1% 可以轉(zhuǎn)化為數(shù)十億美元的收入。

公司出于各種以下原因?qū)嵤┩扑]系統(tǒng)：

提高保留率。通過持續(xù)迎合用戶和客戶偏好，企業(yè)更有可能將其保留為忠誠的訂閱者或購物者。如果客戶感覺到品牌真正理解他們且不僅是隨機地為其提供信息，他們更有可能保持忠誠度，并繼續(xù)在您的網(wǎng)站購物。

增加銷量。各種研究表明，“您可能還喜歡”準(zhǔn)確的產(chǎn)品推薦導(dǎo)致銷售收入增加 10% 到 50%。只需在購買確認(rèn)函中添加匹配的產(chǎn)品推薦內(nèi)容、收集廢棄電子購物車的信息、分享有關(guān)“客戶現(xiàn)在購買的產(chǎn)品的信息”以及分享其他買家的購買和評論，推薦系統(tǒng)策略就可以提高銷量。

幫助形成客戶習(xí)慣和趨勢。持續(xù)提供準(zhǔn)確且相關(guān)的內(nèi)容可以觸發(fā)線索，從而建立客戶的良好的習(xí)慣并影響其使用模式。

加快工作進度。當(dāng)為進一步研究所需資源和其他材料提供定制建議時，分析師和研究人員可以節(jié)省高達 80% 的時間。

提升購物車價值。擁有成千上萬商品出售的公司將面臨的挑戰(zhàn)是，需針對這種庫存提供硬編碼產(chǎn)品建議。通過使用各種過濾方法，這些電子商務(wù)巨頭可以找到合適時間，以建議客戶通過網(wǎng)站、電子郵件或其他方式想購買的新產(chǎn)品。

推薦系統(tǒng)的工作原理

推薦模型如何進行推薦將取決于您擁有的數(shù)據(jù)類型。如果您只擁有過去發(fā)生的交互數(shù)據(jù)，您可能有興趣使用協(xié)作過濾。如果您有描述用戶及其與之交互過的物品的數(shù)據(jù)（例如，用戶的年齡、餐廳的菜系、電影的平均評價），您可以通過添加內(nèi)容和上下文過濾，對當(dāng)前給定這些屬性下新交互的可能性進行建模。

推薦矩陣分解

矩陣分解（MF）技術(shù)是許多熱門算法（包括詞嵌入和主題建模）的核心，已成為基于協(xié)作過濾的推薦中的主要方法。MF 可用于計算用戶的評分或交互中的相似度，以提供推薦。在下方簡單的用戶物品矩陣中，Ted 和 Carol 喜歡電影 B 和 C。Bob 喜歡電影 B。為了向 Bob 推薦電影，矩陣分解計算喜歡 B 的用戶也喜歡 C，因此 C 是 Bob 的一個可能建議。

使用交替最小二乘法（ALS）算法的矩陣分解將稀疏用戶物品評價矩陣 u-by-i 近似為用戶和物品因素矩陣的兩個密集矩陣的乘積，其大小分別為 u × f 和 f × i（其中 u 表示用戶數(shù)，i 表示物品數(shù)，f 表示潛在特征數(shù)）。因素矩陣表示算法嘗試發(fā)現(xiàn)的潛在特征或隱藏特征。一個矩陣試圖描述每個用戶的潛在特征或隱藏特征，另一個矩陣則試圖描述每部電影的潛在特性。對于每個用戶和每個物品，ALS 算法會迭代學(xué)習(xí)（f）數(shù)字，“factors”表示用戶或物品。在每一次迭代中，算法可以交替地修復(fù)一個因子矩陣并針對另一個矩陣進行優(yōu)化，并且此過程會一直持續(xù)到其收斂。

CuMF是基于 NVIDIA CUDA的矩陣因子庫，可優(yōu)化替代最小二乘法 (ALS) 方法，以求解大規(guī)模的 MF。CuMF 使用一系列技術(shù)，以便在單個和多個 GPU 上更大限度地提高性能。這些技術(shù)包括利用 GPU 顯存層次結(jié)構(gòu)對稀疏數(shù)據(jù)進行智能訪問、將數(shù)據(jù)并行與模型并行結(jié)合使用，以最大限度減少 GPU 之間的通信用度以及全新的拓?fù)涓兄筒⑿袦p少方案。

用于推薦的深度神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò) (ANN) 存在不同變體，如下所示：

只將信息從一層向前饋送至下一層的人工神經(jīng)網(wǎng)絡(luò)稱為前饋神經(jīng)網(wǎng)絡(luò)。多層感知器 (MLP) 是一種前饋 ANN，由至少三層節(jié)點組成：輸入層、隱藏層和輸出層。MLP 是可應(yīng)用于各種場景的靈活網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)是識別物體的圖像處理器。

時間遞歸神經(jīng)網(wǎng)絡(luò)是解析語言模式和序列數(shù)據(jù)的數(shù)學(xué)工具。

深度學(xué)習(xí) (DL) 推薦模型基于現(xiàn)有技術(shù)（例如，分解）而構(gòu)建，以便對變量和嵌入之間的交互進行建模，從而處理類別變量。嵌入是表示實體特征的已學(xué)習(xí)的數(shù)字向量，因此相似的實體（用戶或物品）在向量空間中具有相似的距離。例如，協(xié)作過濾深度學(xué)習(xí)方法基于用戶和物品與神經(jīng)網(wǎng)絡(luò)的交互來學(xué)習(xí)用戶和物品嵌入（潛在特征向量）。

DL 技術(shù)還利用龐大且快速發(fā)展的新穎網(wǎng)絡(luò)架構(gòu)和優(yōu)化算法，對大量數(shù)據(jù)進行訓(xùn)練，利用深度學(xué)習(xí)的強大功能進行特征提取，并構(gòu)建更具表現(xiàn)力的模型。

當(dāng)前基于 DL 的推薦系統(tǒng)模型：DLRM、Wide and Deep (W&D)、神經(jīng)協(xié)作過濾 (NCF)、b變分自動編碼器 (VAE)和 BERT（適用于 NLP）構(gòu)成了 NVIDIA GPU 加速 DL 模型產(chǎn)品組合的一部分，并涵蓋推薦系統(tǒng)以外的許多不同領(lǐng)域的各種網(wǎng)絡(luò)架構(gòu)和應(yīng)用程序，包括圖像、文本和語音分析。這些模型專為使用 TensorFlow 和 PyTorch 進行訓(xùn)練而設(shè)計和優(yōu)化。

神經(jīng)協(xié)作過濾

神經(jīng)協(xié)作過濾(NCF) 模型是一個神經(jīng)網(wǎng)絡(luò)，可基于用戶和物品交互提供協(xié)作過濾。該模型從非線性角度處理矩陣分解。NCF TensorFlow 以一系列（用戶 ID、物品 ID）對作為輸入，然后分別將其輸入到矩陣分解步驟（其中嵌入成倍增加）并輸入到多層感知器 (MLP) 網(wǎng)絡(luò)中。

然后，將矩陣分解和 MLP 網(wǎng)絡(luò)的輸出將組合到一個密集層中，以預(yù)測輸入用戶是否可能與輸入物品交互。

用于協(xié)作過濾的變分自動編碼器

自動編碼器神經(jīng)網(wǎng)絡(luò)使用隱藏層中獲取的表征，來重建輸出層的輸入層。用于協(xié)作過濾的自動編碼器可以學(xué)習(xí)用戶物品矩陣的非線性表征，并可通過確定缺失值重建該矩陣。

用于協(xié)作過濾(VAE-CF)的NVIDIA GPU 加速變分自動編碼器是一種優(yōu)化的架構(gòu)實現(xiàn)，首先在用于協(xié)作過濾的變分自動編碼器中介紹。VAE-CF 是一個神經(jīng)網(wǎng)絡(luò)，可基于用戶和物品交互提供協(xié)作過濾。此模型的訓(xùn)練數(shù)據(jù)由用戶和物品之間的每次交互的用戶項 ID 對組成。

模型包含兩部分：編碼器和解碼器。編碼器是一個前饋全連接神經(jīng)網(wǎng)絡(luò)，可將輸入向量（包含特定用戶的交互）轉(zhuǎn)換為 n 維變分分布。這種變分分布用于獲取用戶（或嵌入）的潛在特征表征。然后，將這種潛在表征輸入到解碼器中，解碼器也是一個與編碼器結(jié)構(gòu)相似的前饋網(wǎng)絡(luò)。結(jié)果為特定用戶的物品交互概率向量。

上下文序列學(xué)習(xí)

時間遞歸神經(jīng)網(wǎng)絡(luò)(RNN) 是具有記憶或反饋回路的一類神經(jīng)網(wǎng)絡(luò)，允許其更好地識別數(shù)據(jù)中的模式。RNN 可以解決處理上下文和序列（例如自然語言處理）的艱巨任務(wù)，還可用于上下文序列推薦。序列學(xué)習(xí)與其他任務(wù)的區(qū)別是，序列學(xué)習(xí)需要使用具有主動數(shù)據(jù)存儲的模型（例如 LSMS（長短期記憶模型）或 GRU 門控循環(huán)單元）來學(xué)習(xí)輸入數(shù)據(jù)的時間依賴關(guān)系。這種對過往輸入的記憶對于順利進行序列學(xué)習(xí)至關(guān)重要。Transformer 深度學(xué)習(xí)模型，如 BERT（Transformer 雙向編碼器表征模型），是 RNN 的一個替代方案，它應(yīng)用了一種注意力技術(shù) – 通過將注意力集中在前后最相關(guān)的詞上來解析一個句子。基于 Transformer 的深度學(xué)習(xí)模型不需要按順序處理連續(xù)數(shù)據(jù)，與 RNN 相比，可以在 GPU 上實現(xiàn)更多的并行化，并減少訓(xùn)練時間。

在 NLP 應(yīng)用中，會使用詞嵌入等技術(shù)將輸入文本轉(zhuǎn)換為詞向量。借助詞嵌入，可將句子中的每個詞翻譯成一組數(shù)字，然后再輸入到RNN變體、Transformer 或BERT中，以理解上下文。神經(jīng)網(wǎng)絡(luò)在訓(xùn)練自身時，這些數(shù)字會隨時發(fā)生變化，編碼每個單詞的語義和上下文信息等獨特屬性，這意味著，相似詞在此數(shù)字空間中彼此接近，不同詞則相距遙遠。這些 DL 模型為特定語言任務(wù)（例如下一詞語預(yù)測和文本摘要）提供適當(dāng)?shù)妮敵?，這些任務(wù)用于生成輸出序列。

基于會話上下文的推薦將深度學(xué)習(xí)和 NLP 序列建模方面的進步應(yīng)用于推薦內(nèi)容?；谟脩魰捴械氖录蛄杏?xùn)練的 RNN 模型（例如，查看的產(chǎn)品、數(shù)據(jù)和交互時間）會學(xué)習(xí)預(yù)測會話中的下一個物品。會話中的用戶物品交互類似于句子中的詞嵌入。例如，在將觀看的電影輸入 RNN 變體（例如 LSTM、GRU 或 Transformer）之前，需要將其轉(zhuǎn)換為一組數(shù)字，以理解上下文。

Wide & Deep

Wide & Deep是指使用并行處理兩個部分（Wide 模型和 Deep 模型）的輸出，并對其輸出進行求和以創(chuàng)建交互概率的網(wǎng)絡(luò)類別。Wide 模型是特征及其轉(zhuǎn)換的一個廣義線性模型。Deep 模型是一個密集神經(jīng)網(wǎng)絡(luò) (DNN)，由 5 個隱藏 MLP 層（包含 1024 個神經(jīng)元）組成，每個層都從密集特征嵌入開始。分類變量會嵌入到連續(xù)向量空間中，然后通過學(xué)習(xí)的嵌入或用戶確定的嵌入輸入到 DNN 中。

為何模型能夠成功執(zhí)行推薦任務(wù)，原因之一是提供數(shù)據(jù)中的兩種學(xué)習(xí)模式：“deep”和“shallow”。復(fù)雜的非線性 DNN 能夠?qū)W習(xí)數(shù)據(jù)中豐富的關(guān)系表征，并可通過嵌入來推廣到相似的物品，但需要查看相關(guān)關(guān)系的多種示例才能做得更好。另一方面，線性部分能夠“記住”可能僅在訓(xùn)練集內(nèi)發(fā)生幾次的簡單關(guān)系。

綜合來說，這兩種表征信道通常比單種表征信道提供更多的建模能力。NVIDIA 與許多使用離線和在線指標(biāo)報告改進的行業(yè)合作伙伴合作，他們使用 Wide & Deep 替代傳統(tǒng)機器學(xué)習(xí)模型。

DLRM

DLRM是一種基于 DL 的模型，適用于推薦，由 Facebook 研究院提出。它旨在同時使用推薦系統(tǒng)訓(xùn)練數(shù)據(jù)中通常呈現(xiàn)的分類輸入和數(shù)值輸入。要處理分類數(shù)據(jù)，嵌入層將每個類別映射到密集表征，然后再將其輸入到多層感知器 (MLP)。數(shù)值特征可直接輸入到 MLP。

在下一級別中，通過在所有嵌入向量對和已處理的密集特征之間取點積，顯式計算不同特征的二次交互。并將這些成對交互輸入到頂層 MLP 中，以計算用戶和物品對之間的交互概率。

與其他基于 DL 的推薦方法相比，DLRM 有兩種差異。首先，它可以對特征交互進行顯式計算，同時將交互順序限制為成對交互。其次，DLRM 將每個嵌入式特征向量（對應(yīng)分類特征）視為一個單元，而其他方法（如 Deep 和 Cross）則將特征向量中的每個元素視為應(yīng)生成不同交叉項目的新單元。這些設(shè)計選項，有助于降低計算/內(nèi)存成本，同時保持競爭的準(zhǔn)確性。

DLRM 是NVIDIAMerlin的一部分，后者是一個基于 DL 所構(gòu)建的高性能推薦系統(tǒng)框架，我們下面將介紹這一框架。

為何推薦系統(tǒng)在 GPU 上表現(xiàn)更出色

推薦系統(tǒng)能夠提高消費者在熱門平臺上的參與度。隨著數(shù)據(jù)規(guī)模變得越來越大（數(shù)千萬到數(shù)十億的示例），DL 技術(shù)正展現(xiàn)出傳統(tǒng)方法所不具備的優(yōu)勢。因此，更復(fù)雜的模型與數(shù)據(jù)的快速增長相結(jié)合，提高了計算資源的標(biāo)準(zhǔn)。

許多機器學(xué)習(xí)算法的基礎(chǔ)數(shù)學(xué)運算通常是矩陣乘法。這些類型的運算具有高度并行性，并且可以使用 GPU 大幅加速。

一個由數(shù)百個核心組成的 GPU，可以并行處理數(shù)千個線程。由于神經(jīng)網(wǎng)絡(luò)由大量相同的神經(jīng)元構(gòu)建而成，因此本質(zhì)上具有高度并行性。這種并行性自然地映射到 GPU，GPU 的性能比僅依賴 CPU 的平臺高 10 倍。因此，GPU 已成為訓(xùn)練基于神經(jīng)網(wǎng)絡(luò)的大型復(fù)雜系統(tǒng)的首選平臺，推理運算的并行性質(zhì)也有助于在 GPU 上執(zhí)行。

為何選擇 NVIDIA Merlin 推薦系統(tǒng)應(yīng)用程序框架？

大型推薦系統(tǒng)解決方案的性能存在多種挑戰(zhàn)，包括大型數(shù)據(jù)集、復(fù)雜的數(shù)據(jù)預(yù)處理和特征工程流程，以及大量重復(fù)實驗。為滿足大規(guī)模 DL 推薦系統(tǒng)訓(xùn)練和推理的計算需求，推薦您使用 GPU 解決方案，可為您提供快速的特征工程和高訓(xùn)練吞吐量（以實現(xiàn)快速實驗和生產(chǎn)再訓(xùn)練）。它們還可為您提供低延遲、高吞吐量的推理。

NVIDIA Merlin 是一個開源應(yīng)用程序框架和生態(tài)系統(tǒng)，旨在促進從實驗到生產(chǎn)的推薦系統(tǒng)開發(fā)的所有階段，并由 NVIDIA GPU 加速。

該框架可為推薦數(shù)據(jù)集中常見的運算符提供快速的特征工程和預(yù)處理，以及為其提供多個基于深度學(xué)習(xí)的典型推薦模型的高訓(xùn)練吞吐量。其中包括 Wide & Deep、Deep Cross Networks、DeepFM 和 DLRM，這些模型可實現(xiàn)快速實驗和生產(chǎn)再訓(xùn)練。對于生產(chǎn)部署，Merlin 還提供低延遲、高吞吐量和生產(chǎn)推理。這些組件相結(jié)合，為在 GPU 上的訓(xùn)練和部署深度學(xué)習(xí)推薦系統(tǒng)模型提供端到端框架，該框架既易于使用，又具有高性能。

Merlin 還包括用于構(gòu)建基于深度學(xué)習(xí)的推薦系統(tǒng)的工具，并可提供比傳統(tǒng)方法更準(zhǔn)確的預(yù)測。管線的每個階段都經(jīng)過優(yōu)化，可支持?jǐn)?shù)百 TB 的數(shù)據(jù)，您可通過易于使用的 API 訪問所有這些數(shù)據(jù)。

NVTabular 通過 GPU 加速特征轉(zhuǎn)換和預(yù)處理來縮短數(shù)據(jù)準(zhǔn)備時間。

HugeCTR 是一種 GPU 加速深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架，旨在跨多個 GPU 和節(jié)點分發(fā)訓(xùn)練。它支持模型并行嵌入表和數(shù)據(jù)并行神經(jīng)網(wǎng)絡(luò)及其變體，例如Wide and Deep Learning (WDL)、Deep Cross Network (DCN)、DeepFM和深度學(xué)習(xí)模型 (DLRM)。

NVIDIA Triton推理服務(wù)器和 NVIDIA TensorRT加速 GPU 上的生產(chǎn)推理，以便實現(xiàn)特征轉(zhuǎn)換和神經(jīng)網(wǎng)絡(luò)執(zhí)行。

NVIDIA GPU 加速的端到端數(shù)據(jù)科學(xué)和 DL

NVIDIA Merlin 基于 NVIDIA RAPIDS構(gòu)建。通過基于 CUDA 構(gòu)建的 RAPIDS開源軟件庫套件，您能夠完全在 GPU 上執(zhí)行端到端數(shù)據(jù)科學(xué)和分析流程，同時仍然使用 Pandas 和 Scikit-Learn API 等熟悉的界面。

NVIDIA GPU 加速的深度學(xué)習(xí)框架

GPU 加速深度學(xué)習(xí)框架能夠為設(shè)計和訓(xùn)練自定義深度神經(jīng)網(wǎng)絡(luò)帶來靈活性，并為 Python 和 C/C++ 等常用編程語言提供編程接口。MXNet、PyTorch、TensorFlow 等廣泛使用的深度學(xué)習(xí)框架依賴于 NVIDIA GPU 加速庫，能夠提供高性能的多 GPU 加速訓(xùn)練。

審核編輯：湯梓紅