Jupyter 筆記本使用 RAPIDS 的最佳實踐

一家全球領(lǐng)先的零售商已經(jīng)投入巨資成為 世界上最具競爭力的科技公司之一。

準(zhǔn)確 而且及時 需要 預(yù)測數(shù)以百萬計的商品組合對服務(wù)至關(guān)重要 他們的 每周有數(shù)百萬的客戶。他們成功預(yù)測的關(guān)鍵是 RAPIDS ，一個 GPU 加速庫的開源套件 RAPIDS 幫助他們撕破了大規(guī)模數(shù)據(jù)，并將預(yù)測精度提高了幾個百分點——它現(xiàn)在在減少基礎(chǔ)設(shè)施 GPU 占用的基礎(chǔ)上運行速度快了幾個數(shù)量級。 這使他們能夠?qū)徫镎叩内厔葑鞒鰧崟r反應(yīng)，并有更多的正確的產(chǎn)品上架，減少缺貨情況，并增加銷售。

使用 RAPIDS ，數(shù)據(jù)從業(yè)者可以加速 NVIDIA GPU 上的管道，將數(shù)據(jù)操作（包括數(shù)據(jù)加載、處理和培訓(xùn)）從幾天減少到幾分鐘。 RAPIDS 通過構(gòu)建 論與整合 流行的 分析生態(tài)系統(tǒng)，如 PyData 公司 和 Apache Spark ，使用戶能夠立即看到好處。 與類似的基于 CPU 的實現(xiàn)相比， RAPIDS 提供 50 倍的性能 改進 對于經(jīng)典的數(shù)據(jù)分析和機器學(xué)習(xí)（ ML ）過程 按比例 這大大降低了大型數(shù)據(jù)科學(xué)操作的總體擁有成本（ TCO ）。

圖 1 。帶有 GPU 和 RAPIDS 的數(shù)據(jù)科學(xué)管道 。

為了學(xué)習(xí)和解決復(fù)雜的數(shù)據(jù)科學(xué)和人工智能挑戰(zhàn)， 零售業(yè)領(lǐng)導(dǎo)者經(jīng)常利用一個叫做“ Kaggle 競賽 ”。 Kaggle 是一個平臺，匯集了數(shù)據(jù)科學(xué)家和其他開發(fā)人員，以解決公司發(fā)布的具有挑戰(zhàn)性和有趣的問題。 事實上，在過去的一年里，已經(jīng)有超過 20 個解決零售業(yè)挑戰(zhàn)的競賽。

利用 RAPIDS 和最佳實踐進行預(yù)測競賽， NVIDIA Kaggle 大師 Kazuki Onodera 在啟動市場籃分析卡格爾競賽中獲得第二名，采用復(fù)雜特征工程、梯度增強樹模型和比賽 F1 評價指標(biāo)的特殊建模。 一路上，我們記錄了最佳實踐 對于 ETL ，特征工程， 建筑 以及為建立基于人工智能的零售預(yù)測定制最佳模型 解決方案。

這篇博文將引導(dǎo)讀者了解 Kaggle 競賽 解釋提高零售業(yè)預(yù)測的數(shù)據(jù)科學(xué)最佳實踐。 具體來說，這篇博客文章解釋了 Instacart 市場籃子分析 Kaggle 的競爭目標(biāo)，介紹了 RAPIDS ，然后提供了一個工作流，展示了如何直觀地瀏覽數(shù)據(jù)、開發(fā)功能、訓(xùn)練模型和運行預(yù)測。然后，本文將深入探討一些先進的特征工程技術(shù)，包括模型可解釋性和超參數(shù)優(yōu)化（ HPO ）。

要更詳細地了解該方法，請參閱小野寺五典（ Kazuki Onodera ）對 Medium.com 的精彩訪談。

在 NVIDIA GTC 2021 年 加入 Paul Hendricks ，在那里他主持了一個關(guān)于 使用 NVIDIA RAPIDS 數(shù)據(jù)科學(xué)庫進行零售預(yù)測的 ETL 、特征工程和模型開發(fā)的最佳實踐 的會議。

訪問此 Jupyter 筆記本 ，我們將在 Instacart 市場籃子分析 Kaggle 競爭的背景下分享這些 GPU 加速預(yù)測的最佳實踐。

預(yù)測挑戰(zhàn)

Instacart 市場籃子分析競爭面臨挑戰(zhàn) Kaggle 預(yù)測哪種食品是消費者會在何時再次購買。舉例來說，想象一下，當(dāng)你用完牛奶的時候，或者你知道的時候，牛奶已經(jīng)準(zhǔn)備好要加入你的購物車了 是的 是時候再儲備你最喜歡的冰淇淋了。

這種對理解時態(tài)行為模式的關(guān)注使得這個問題與標(biāo)準(zhǔn)項目推薦有很大的不同，標(biāo)準(zhǔn)項目推薦要求用戶 需要 而且偏好通常被認為在短時間內(nèi)是相對恒定的。而 Netflix MIG 如果你想看另一部電影，那就沒問題了 喜歡 你剛才看的那個， 是的 不太清楚的是，如果你昨天買的話，你會想重新訂購一批新鮮的杏仁黃油或衛(wèi)生紙。

問題概述

這項競爭的目標(biāo)是預(yù)測雜貨店的再訂購：給定用戶的購買歷史（一組訂單，以及每個訂單中購買的產(chǎn)品），他們以前購買的哪些產(chǎn)品將在下一個訂單中重新購買？

這個問題與一般的推薦問題有點不同，在一般的推薦問題中，我們經(jīng)常面臨一個冷啟動的問題，即為新用戶和需要的新項目進行預(yù)測 我們已經(jīng) 從未見過。例如，電影網(wǎng)站可能需要推薦新電影并為新用戶提供建議。

這個問題的連續(xù)性和基于時間的性質(zhì)也讓它變得有趣：我們?nèi)绾慰紤]用戶上次購買商品以來的時間？用戶是否有特定的購買模式，他們是否在一天的不同時間購買不同種類的商品？

首先， 我們會的 首先加載一些我們將在本筆記本中使用的模塊，并為任何模塊設(shè)置隨機種子 隨機數(shù)發(fā)生器 我們會用的。

RAPIDS 概述

數(shù)據(jù)科學(xué)家通常處理兩種類型的數(shù)據(jù)：非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)通常以文本、圖像或視頻的形式出現(xiàn)。結(jié)構(gòu)化數(shù)據(jù)——顧名思義——以結(jié)構(gòu)化的形式出現(xiàn)，通常由表或 CSV 表示。我們將把大部分教程的重點放在處理這些類型的數(shù)據(jù)上。

Python 生態(tài)系統(tǒng)中有許多用于結(jié)構(gòu)化表格數(shù)據(jù)的工具，但很少有工具像 pandas 那樣被廣泛使用 pandas 表示表中的數(shù)據(jù)，允許數(shù)據(jù)科學(xué)家操作數(shù)據(jù)以執(zhí)行許多有用的操作，如過濾、轉(zhuǎn)換、聚合、合并、可視化等等。

pandas 非常適合處理適合系統(tǒng)內(nèi)存的小型數(shù)據(jù)集。然而，數(shù)據(jù)集越來越大，數(shù)據(jù)科學(xué)家正在處理越來越復(fù)雜的工作負載，因此需要加速計算。

cuDF 是 RAPIDS 生態(tài)系統(tǒng)中的一個包，使數(shù)據(jù)科學(xué)家能夠輕松地將現(xiàn)有的 pandas 工作流程從 CPU 遷移到 GPU，計算可以利用 GPU 提供的巨大平行性。

熟悉數(shù)據(jù)

本次競爭的數(shù)據(jù)集包含多個文件，這些文件捕獲了 Instacart 用戶一段時間內(nèi)的訂單，競爭的目標(biāo)是預(yù)測用戶是否會重新訂購產(chǎn)品，特別是這些客戶將重新訂購哪些產(chǎn)品。從 Kaggle 數(shù)據(jù)描述中，我們看到我們有超過 300 萬份雜貨訂單，客戶群超過 200000 名 Instacart 用戶。對于每個用戶，我們提供 4 到 100 個訂單，每個訂單中購買的產(chǎn)品的順序，以及他們訂單的時間和訂單之間時間的相對度量。 還提供了 下訂單當(dāng)天的星期和小時，以及訂單之間的相對時間度量。

我們的 產(chǎn)品， 過道，和 部門 數(shù)據(jù)集由關(guān)于我們的產(chǎn)品、通道和 部門 分別。每個數(shù)據(jù)集（產(chǎn)品、通道、部門和訂單等）都有該數(shù)據(jù)集中每個實體的唯一標(biāo)識符映射，例如訂單 id 表示訂單數(shù)據(jù)集中的唯一訂單，產(chǎn)品 id 表示產(chǎn)品數(shù)據(jù)集中的唯一產(chǎn)品，稍后我們將使用這些唯一標(biāo)識符將所有這些單獨的數(shù)據(jù)集組合成一個一致的視圖，用于探索性數(shù)據(jù)分析、特征工程和建模。

下面，我們將讀取數(shù)據(jù)并使用 cuDF 檢查不同的表。

另外， 我們會的 讀入我們的 ［orders］ 數(shù)據(jù)集。 第一個 表示 訂單所屬的集合（之前、訓(xùn)練、測試）。 附加 文件指定每個訂單中購買的產(chǎn)品。 同樣，從數(shù)據(jù)的 Kaggle 描述中，我們可以看到 order_products__prior.csv 包含所有客戶的先前訂單內(nèi)容。“ reordered ”列表示客戶有包含該產(chǎn)品的上一個訂單。我們被告知有些訂單沒有重新訂購的商品。

探索數(shù)據(jù)

當(dāng)我們考慮數(shù)據(jù)科學(xué)工作流程時，最重要的步驟之一是 探索性數(shù)據(jù)分析。這是我們檢查數(shù)據(jù)并尋找線索和見解的地方 特征 我們可以使用（或需要創(chuàng)建） 喂 我們的模型。 探索數(shù)據(jù)的方法有很多種，每個問題的每個探索性數(shù)據(jù)分析都是不同的 – 然而，它仍然非常重要，因為它通知我們的功能工程流程，最終確定我們的模型有多準(zhǔn)確。

在 這個 筆記本，我們看一天中幾個不同的橫截面。具體來說，我們 檢查訂單數(shù)量的分布、一周中的天數(shù)和客戶通常下訂單的時間、訂單數(shù)量的分布 數(shù) 自上次訂單以來的天數(shù)，以及所有訂單和唯一客戶中最受歡迎的項目（重復(fù)數(shù)據(jù)消除） 為了 忽略那些擁有“最喜歡”的商品并重復(fù)訂購的客戶）。

圖 2 。探索數(shù)據(jù)

從這里我們看到 分別地 那就是：

訂單不少于 4 個，最多 100 個。

訂單很高 星期六和星期日 0 和 1 ）和低。

大多數(shù) 訂單是在 白天。 和客戶 主要是每周或每月訂購一次 （ 見第 7 天和第 30 天的峰值）。

對產(chǎn)品流行度進行了類似的探索性分析 ［ 在筆記本中提供 。

特征工程

如果說探索性數(shù)據(jù)分析是我們數(shù)據(jù)科學(xué)工作流程中最重要的部分，那么特征工程則是緊隨其后的第二部分。在這里，我們確定哪些特性應(yīng)該輸入到模型中，并在需要的地方創(chuàng)建特性 相信 他們 MIG 能夠幫助模型更好地進行預(yù)測。

圖 3 ：機器學(xué)習(xí)是一個迭代過程。

我們首先確定我們的唯一用戶 X 項 組合 把它們分類。 我們會的 創(chuàng)建一個數(shù)據(jù)集，其中每個用戶映射到他們最近的訂單號、星期幾和小時數(shù)，以及自該訂單以來的天數(shù)。 以及 我們會的 延伸 我們的 數(shù)據(jù)集，創(chuàng)建標(biāo)簽 和特點 稍后將在我們的機器學(xué)習(xí)模型中使用，例如：

用戶訂購了多少種產(chǎn)品？

用戶在一個購物車中訂購了多少產(chǎn)品？

用戶從哪些部門訂購了產(chǎn)品？

用戶何時訂購產(chǎn)品（星期幾）？

此用戶以前是否至少訂購過一次此產(chǎn)品？

一個用戶下了多少包含此項的訂單？

解決業(yè)務(wù)問題（培訓(xùn)和預(yù)測）

許多機器學(xué)習(xí)算法的數(shù)學(xué)運算通常是矩陣乘法。這些類型的操作是高度并行化的，并且可以使用 GPU 大大加速 RAPIDS 使以加速方式構(gòu)建機器學(xué)習(xí)模型變得很容易，同時仍然使用幾乎相同的界面 學(xué)習(xí)和 XGBoost 。

創(chuàng)建模型的方法有很多種——可以使用線性回歸模型、支持向量機、基于樹的模型（如 Random Forest 和 XGBoost ），甚至可以使用神經(jīng)網(wǎng)絡(luò)。一般來說，基于樹的模型往往比神經(jīng)網(wǎng)絡(luò)更好地處理用于預(yù)測的表格數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)的工作原理是將輸入（特征空間）映射到另一個復(fù)雜的邊界空間，并確定哪些值應(yīng)該屬于該邊界空間中的那些點（回歸、分類）。另一方面，基于樹的模型通過獲取數(shù)據(jù)、識別列，然后在該列中找到一個分割點來映射值，同時優(yōu)化精度。我們可以使用不同的列創(chuàng)建多棵樹，甚至在每棵樹中創(chuàng)建不同的列。

基于樹的模型除了具有更好的精度性能外，還非常容易實現(xiàn) 解釋 （ 對預(yù)測或決策很重要 結(jié)果 根據(jù)預(yù)測 必須 可能出于合規(guī)性和法律原因，需要解釋和證明 例如 金融、保險、醫(yī)療）?；跇涞哪Ｐ头浅＝眩词乖?有 一小組數(shù)據(jù)點。

在下面的部分中， 我們會的 為我們的 XGBoost 模型設(shè)置不同的參數(shù)，并訓(xùn)練五個不同的模型——每個模型都在不同的用戶子集上，以避免對特定的用戶集進行過度擬合。

import xgboost as xgb

NFOLD = 5
PARAMS = {
    'max_depth':8,
    'eta':0.1,
    'colsample_bytree':0.4,
    'subsample':0.75,
    'silent':1,
    'nthread':40,
    'eval_metric':'logloss',
    'objective':'binary:logistic',
    'tree_method':'gpu_hist'
         }

models = []
for i in range(NFOLD):
    train_ = train[train.user_id % NFOLD != i]
    valid_ = train[train.user_id % NFOLD == i]
    dtrain = xgb.DMatrix(train_.drop(['user_id', 'product_id', 'label'], axis=1), train_['label'])
    dvalid = xgb.DMatrix(valid_.drop(['user_id', 'product_id', 'label'], axis=1), valid_['label'])
    model = xgb.train(PARAMS, dtrain, 9999, [(dtrain, 'train'),(dvalid, 'valid')],
                      early_stopping_rounds=50, verbose_eval=5)
    models.append(model)
    break

有 幾個 在 XGBoost 可以運行之前應(yīng)該設(shè)置的參數(shù)。

一般參數(shù)與我們使用哪個助推器進行助推器有關(guān)，通常是樹模型或線性模型。

助推器參數(shù)取決于您選擇的助推器。

學(xué)習(xí)任務(wù)參數(shù)決定了學(xué)習(xí)場景。例如，回歸任務(wù)可以對排序任務(wù)使用不同的參數(shù)。

特征重要性

一次 我們已經(jīng) 通過訓(xùn)練我們的模型，我們或許想看看內(nèi)部的工作原理，并了解哪些我們精心設(shè)計的特性對預(yù)測的貢獻最大。這稱為特征重要性?；跇涞念A(yù)測模型的優(yōu)點之一是了解 不同的 重要性 我們的特色很簡單。

與 理解力 如果我們的特征有助于模型的準(zhǔn)確性，我們可以選擇刪除 不是嗎 重要或嘗試迭代和創(chuàng)建新特性，重新訓(xùn)練和重新評估這些新特性是否更重要。 最終，能夠快速迭代并在此工作流中嘗試新事物將導(dǎo)致最精確的模型和最大的投資回報率（對于預(yù)測，通常是由于減少缺貨和庫存不足而節(jié)省成本）。 傳統(tǒng)上，由于計算強度的原因，迭代會花費大量的時間。 RAPIDS 允許用戶通過 NVIDIA 加速計算進行模型迭代，因此用戶可以快速迭代并確定性能最佳的模型。

在筆記本的功能重要性部分 ， 我們定義了方便代碼來訪問每個模型中特性的重要性。然后，我們傳入我們訓(xùn)練的模型列表，逐一迭代，并平均所有模型中每個變量的重要性。最后，我們想象 特征 使用水平條形圖的重要性。

我們特別看到，我們的三個特征對我們的預(yù)測貢獻最大：

user \ u product \ u size –用戶下了多少個包含此項目的訂單？

用戶\ u 產(chǎn)品\ u t-1 –此用戶以前是否至少訂購過一次此產(chǎn)品？

訂單號–用戶創(chuàng)建的訂單數(shù)。

圖 4 ：確定頂部特征。

所有這些都是有道理的，符合我們對問題的理解。以前下過訂單的客戶更可能重復(fù)該產(chǎn)品的訂單，而多次下該產(chǎn)品訂單的用戶更可能重新訂購。此外，客戶創(chuàng)建的訂單數(shù)量與其重新訂購的可能性相關(guān)。

代碼使用了特性重要性的默認 XGBoost 實現(xiàn)——但是我們可以自由選擇任何實現(xiàn)或技術(shù)。 一種奇妙的技術(shù)（也是由 NVIDIA Kaggle 大師艾哈邁特發(fā)明的） Erdem ）稱為 LOFO 。

從 LOFO GitHub 頁面的描述中，我們可以看到 LOFO （ Leave One Feature Out ） Importance 根據(jù)選擇的度量來計算一組特征的重要性，對于選擇的模型，通過迭代地從集合中刪除每個特征，并評估模型的性能，以及選擇的驗證方案，基于選定的指標(biāo)。 LOFO 首先評估包含所有輸入特性的模型的性能，然后一次迭代刪除一個特性，重新編譯模型，并在驗證集上評估其性能。

這種方法使我們能夠有效地確定哪些特性對模型很重要。與其他重要類型相比， LOFO 有幾個優(yōu)點：

它不支持顆粒特征。

它 概括 以及看不見的測試集。

它是模型不可知論的。

它對包含時影響性能的特性給予負面的重視。

超參數(shù) 優(yōu)化（ HPO ）

在培訓(xùn) XGBoost 模型時，我們使用了以下參數(shù)：

PARAMS = { 'max_depth':8, 'eta':0.1, 'colsample_bytree':0.4, 'subsample':0.75, 'silent':1, 'nthread':40, 'eval_metric':'logloss', 'objective':'binary:logistic', 'tree_method':'gpu_hist' }

其中，只有少數(shù)可能會改變并影響我們模型的準(zhǔn)確性： ［最大深度， eta ，，， ColSample ， bytree ，］ 和 subsample 。然而，這些可能不是最理想的參數(shù)。用最優(yōu)化模型識別和訓(xùn)練模型的藝術(shù)和科學(xué) 超參數(shù) 稱為超參數(shù)優(yōu)化。

雖然沒有可以按下的魔法按鈕來自動識別最佳超參數(shù)，但是有一些技術(shù)可以讓您探索所有可能的超參數(shù)值的范圍，快速測試它們，并找到最接近的值。

對這些技術(shù)的全面探索超出了本筆記本的范圍。然而， RAPIDS 集成到許多 云 ML 框架 做 HPO 以及許多不同的 開源 工具。能夠使用 RAPIDS 提供的令人難以置信的加速，可以讓您非?？焖俚赝瓿?ETL 、特性工程和模型培訓(xùn)工作流程 實驗 – 最終通過大的超參數(shù)空間實現(xiàn)快速的 HPO 探索，并顯著降低總體擁有成本（ TCO ）。

結(jié)論

在這個博客里，我們 瀏覽了 Kaggle 競賽的各個部分，解釋了數(shù)據(jù)科學(xué)在改善零售業(yè)預(yù)測方面的最佳實踐。 具體來說，博文解釋道 Instacart Market Basket Analysis Kaggle 的競爭目標(biāo)介紹了 RAPIDS ，然后提供了一個工作流，展示了如何可視化地探索數(shù)據(jù)、開發(fā)功能、訓(xùn)練模型和運行預(yù)測。 然后 檢驗過的 具有模型可解釋性和超參數(shù)優(yōu)化（ HPO ）的特征工程技術(shù)。

關(guān)于作者

Kazuki Onodera 目前在NVIDIA擔(dān)任高級深度學(xué)習(xí)數(shù)據(jù)科學(xué)家。在此之前，Kazuki在德納擔(dān)任數(shù)據(jù)科學(xué)家。Kazuki 自 2019 年以來一直是卡格爾競賽大師，并擁有五項前兩名的比賽排名。

Paul Hendricks 是NVIDIA的高級解決方案設(shè)計師，幫助零售商開展深度學(xué)習(xí)和人工智能計劃。Paul 的背景主要是零售業(yè)，過去六年來，他與許多財富 500 強零售公司合作，實施數(shù)據(jù)科學(xué)和人工智能解決方案。

Ahmet Erdem 是 Nvidia 的高級數(shù)據(jù)科學(xué)家，擁有計算機工程和人工智能背景。他以前在機器人和軟件工程方面有經(jīng)驗。作為 Nvidia Kaggle 大師團隊的一員，他喜歡解決各種機器學(xué)習(xí)問題，但他的主要重點是深入學(xué)習(xí)非結(jié)構(gòu)化的表格數(shù)據(jù)。除了比賽，他還擁有幾個開源項目。

審核編輯：郭婷