亚洲欧美二区三区久本道,中文aV一区二区三区

發(fā)布人：Google Research 軟件工程師 Michael Bendersky 和 Xuanhui Wang

2018 年 12 月，我們推出了 TF-Ranking，這是一個(gè)基于 TensorFlow 的開源代碼庫(kù)，用于開發(fā)可擴(kuò)容的 learning-to-rank （LTR）神經(jīng)模型。當(dāng)用戶期望收到有序的項(xiàng)目列表來(lái)輔助查詢時(shí)，該模型可以發(fā)揮出色作用。LTR 模型與一次只對(duì)一個(gè)項(xiàng)目進(jìn)行分類的標(biāo)準(zhǔn)分類模型不同，它會(huì)將整個(gè)項(xiàng)目列表接收輸入，并學(xué)習(xí)排序，充分提升整個(gè)列表的效用。

TF-Ranking

https://github.com/tensorflow/ranking

雖然 LTR 模型最常用于搜索和推薦系統(tǒng)，但自其發(fā)布以來(lái)，我們已經(jīng)看到 TF-Ranking 在除搜索以外的各領(lǐng)域，均有應(yīng)用，其中包括電子商務(wù)、SAT 求解器和智能城市規(guī)劃等。

Learning-to-rank （LTR）的目標(biāo)是學(xué)習(xí)一個(gè)函數(shù) f（），該函數(shù)會(huì)以項(xiàng)目列表（文件、產(chǎn)品、電影等）作為輸入，并以最佳排序（相關(guān)性降序）輸出項(xiàng)目列表。上圖中，深淺不一的綠色表示項(xiàng)目的相關(guān)性水平，標(biāo)有 “x” 的紅色項(xiàng)目是不相關(guān)的

電子商務(wù)

https://dl.acm.org/doi/abs/10.1145/3308560.3316603

SAT 求解器

https://arxiv.org/abs/1904.12084

智能城市規(guī)劃

https://dl.acm.org/doi/abs/10.1145/3450267.3450538

2021 年 5 月，我們發(fā)布了 TF-Ranking 的一個(gè)重要版本，實(shí)現(xiàn)了全面支持使用 Keras（TensorFlow 2 的一個(gè)高階 API），以原生方式構(gòu)建 LTR 模型。我們?yōu)樵?Keras 排序模型加入了全新的工作流設(shè)計(jì)，其中包括靈活的 ModelBuilder、用于設(shè)置訓(xùn)練數(shù)據(jù)的 DatasetBuilder，以及利用給定數(shù)據(jù)集訓(xùn)練模型的 Pipeline。有了這些組件，構(gòu)建自定義 LTR 模型會(huì)比以往更輕松，且有利于快速探索、生產(chǎn)和研究的新的模型結(jié)構(gòu)。如果您選擇的工具是 RaggedTensors，TF-Ranking 現(xiàn)在也可以和這些工具協(xié)作。

重要版本

https://github.com/tensorflow/ranking/releases/tag/v0.4.0

TensorFlow 2

http://tensorflow.google.cn/

也

https://github.com/tensorflow/ranking/blob/master/tensorflow_ranking/examples/keras/antique_ragged.py

此外，我們?cè)谧钚掳姹局薪Y(jié)合了 Orbit 訓(xùn)練庫(kù)，其中包含了許多進(jìn)展成果，而這些成果正是近兩年半內(nèi)，神經(jīng) LTR 研究結(jié)晶。下面我們分享一下 TF-Ranking 最新版本中的一些重要改進(jìn)。

構(gòu)建和訓(xùn)練原生 Keras 排序模型的工作流。藍(lán)色模塊由 TF-Ranking 提供，綠色模塊支持自定義

最新版本

https://github.com/tensorflow/ranking/releases/tag/v0.4.2

Orbit

https://github.com/tensorflow/models/tree/master/orbit

利用 TFR-BERT 的

Learning-to-Rank

最近，BERT 之類的預(yù)訓(xùn)練語(yǔ)言模型在各種語(yǔ)言理解任務(wù)中性能表現(xiàn)突出。為利用這些模型，TF-Ranking 實(shí)現(xiàn)了一個(gè)新穎的 TFR-BERT 架構(gòu)——通過(guò)結(jié)合 BERT 與 LTR 的優(yōu)勢(shì)，來(lái)優(yōu)化列表輸入的排序過(guò)程。舉個(gè)例子，假設(shè)有一個(gè)查詢和一個(gè)由 n 個(gè)文件組成的列表，而人們想要在對(duì)此查詢響應(yīng)中的文件進(jìn)行排序。LTR 模型并不會(huì)為每個(gè) 《query， document》學(xué)習(xí)獨(dú)立的 BERT 表示，而是會(huì)應(yīng)用一個(gè)排序損失來(lái)共同學(xué)習(xí) BERT 表示，充分提升整個(gè)排序列表相對(duì)于參照標(biāo)準(zhǔn)標(biāo)簽的效用。

這個(gè)過(guò)程如下圖所示。首先，我們把查詢響應(yīng)中需要排序的 n 個(gè)文件組成的列表扁平化為一個(gè) 《query， document》元組列表。把這些元組反饋至預(yù)訓(xùn)練的語(yǔ)言模型（例如 BERT）。然后用 TF-Ranking 中的專用排序損失，對(duì)整個(gè)文件列表的池化 BERT 輸出進(jìn)行聯(lián)合微調(diào)。

排序損失

https://github.com/tensorflow/ranking/blob/master/tensorflow_ranking/python/losses.py

結(jié)果表明，這種 TFR-BERT 架構(gòu)在預(yù)訓(xùn)練的語(yǔ)言模型性能方面有了明顯改善，因此，可以在執(zhí)行多個(gè)熱門排序任務(wù)時(shí)體現(xiàn)出十分優(yōu)越的性能。若將多個(gè)預(yù)訓(xùn)練的語(yǔ)言模型組合在一起，則效果更為突出。我們的用戶現(xiàn)在可以通過(guò)這個(gè)簡(jiǎn)單的例子完成 TFR-BERT 入門。

TFR-BERT 架構(gòu)的說(shuō)明，在這個(gè)架構(gòu)中，通過(guò)使用單個(gè) 《query， document》對(duì)的 BERT 表示，在包含 n 個(gè)文件的列表上構(gòu)建了一個(gè)聯(lián)合 LTR 模型

多個(gè)熱門

https://arxiv.org/abs/2010.00200

簡(jiǎn)單的例子

https://github.com/tensorflow/ranking/blob/master/tensorflow_ranking/examples/keras/tfrbert_antique_train.py

具有可解釋性的

Learning-to-Rank

透明度和可解釋性是在排序系統(tǒng)中部署 LTR 模型的重要因素，在貸款資格評(píng)估、廣告定位或指導(dǎo)醫(yī)療決定等過(guò)程中，用戶可以利用這些系統(tǒng)來(lái)確定結(jié)果。在這種情況下，每個(gè)單獨(dú)的特征對(duì)最終排序的貢獻(xiàn)應(yīng)具有可檢查性和可理解性，以此確保結(jié)果的透明度、問(wèn)責(zé)制和公正性。

實(shí)現(xiàn)這一目標(biāo)的可用方法之一是使用廣義加性模型（Generalized additive model，GAM），這是一種具有內(nèi)在可解釋性的機(jī)器學(xué)習(xí)模型，由唯一特征的平滑函數(shù)線性組合而成。然而，我們雖然已經(jīng)在回歸（Regression analysis）和分類任務(wù)方面對(duì) GAM 進(jìn)行了廣泛的研究，但將其應(yīng)用于排序設(shè)置的方法卻并不明確。舉個(gè)例子，雖然可以直接利用 GAM 對(duì)列表中的每個(gè)單獨(dú)項(xiàng)目進(jìn)行建模，然而對(duì)項(xiàng)目的相互作用和這些項(xiàng)目的排序環(huán)境進(jìn)行建模，仍是一個(gè)更具挑戰(zhàn)性的研究問(wèn)題。為此，我們開發(fā)了神經(jīng)排序 GAM，這是可為排序問(wèn)題的廣義加性模型所用的擴(kuò)展程序。

神經(jīng)排序 GAM

https://arxiv.org/abs/2005.02553

與標(biāo)準(zhǔn)的 GAM 不同，神經(jīng)排序 GAM 可以同時(shí)考慮到排序項(xiàng)目和背景特征（例如查詢或用戶資料），從而得出一個(gè)可解釋的緊湊模型。這同時(shí)確保了各項(xiàng)目級(jí)別特征與背景特征的貢獻(xiàn)具有可解釋性。例如，在下圖中，使用神經(jīng)排序 GAM 可以看到在特定用戶設(shè)備的背景下，距離、價(jià)格和相關(guān)性是如何對(duì)酒店最終排序作出貢獻(xiàn)的。目前，神經(jīng)排序 GAM 現(xiàn)已作為 TF-Ranking 的一部分發(fā)布。

為本地搜索應(yīng)用神經(jīng)排序 GAM 的示例。對(duì)于每個(gè)輸入特征（例如價(jià)格、距離），子模型會(huì)產(chǎn)生可以檢查的子分?jǐn)?shù)，支持公開查看。背景特征（例如用戶設(shè)備類型）可以用于推算子模型的重要性權(quán)重

發(fā)布

https://github.com/tensorflow/ranking/issues/202

神經(jīng)排序還是梯度提升？

神經(jīng)模型雖然在多個(gè)領(lǐng)域展現(xiàn)出了十分優(yōu)越的性能，但 LambdaMART 之類的專門梯度提升決策樹（Gradient Boosted Decision Trees， GBDT）仍然是利用各種開放 LTR 數(shù)據(jù)集時(shí)的性能標(biāo)桿。GBDT 在開放數(shù)據(jù)集中的成功可歸結(jié)于幾個(gè)原因。首先，由于其規(guī)模相對(duì)較小，神經(jīng)模型在這些數(shù)據(jù)集上容易過(guò)度擬合（Overfitting）。其次，由于 GBDT 使用決策樹對(duì)其輸入特征空間進(jìn)行劃分，它們自然更能適應(yīng)待排序數(shù)據(jù)的數(shù)值尺度變化，這些數(shù)據(jù)通常包含具有 Zipfian （Zipf‘s law）或其他偏斜分布的特征。然而，GBDT 在更為現(xiàn)實(shí)的排序場(chǎng)景中確實(shí)有其局限性，這些場(chǎng)景往往同時(shí)包含文本和數(shù)字特征。舉個(gè)例子，GBDT 不能直接應(yīng)用于像原始文檔文本這種，較大的離散特征空間。一般來(lái)說(shuō)，它們的可擴(kuò)容性也要弱于神經(jīng)排序模型。

因此，自 TF-Ranking 發(fā)布以來(lái)，我們團(tuán)隊(duì)大大加深了對(duì)于神經(jīng)模型在數(shù)字特征排序中優(yōu)勢(shì)的理解。。最能充分體現(xiàn)出這種理解的是，ICLR 2021 的一篇論文中所描述的數(shù)據(jù)增強(qiáng)自覺(jué)潛在交叉（DASALC）模型，該模型首次在開放 LTR 數(shù)據(jù)集上建立了與強(qiáng)大的、與 LambdaMART 基線相同的神經(jīng)排序模型，并且在某些方面取得了統(tǒng)計(jì)學(xué)上的重大改進(jìn)。這一成就是通過(guò)各種技術(shù)的組合實(shí)現(xiàn)的，其中包括數(shù)據(jù)增強(qiáng)、神經(jīng)特征轉(zhuǎn)換、用于建模文檔交互的自注意機(jī)制、列表式排序損失，以及類似 GBDT 中用于提升的模型組合?，F(xiàn)在 DASALC 模型的架構(gòu)完全由 TF-Ranking 庫(kù)實(shí)現(xiàn)。

ICLR 2021

https://research.google/pubs/pub50030/

結(jié)論

總而言之，我們相信基于 Keras 的 TF-Ranking 新版本能夠讓開展神經(jīng) LTR 研究和部署生產(chǎn)級(jí)排序系統(tǒng)變得更加輕松。我們鼓勵(lì)大家試用最新版本，并按照這個(gè)引導(dǎo)例子進(jìn)行實(shí)踐體驗(yàn)。雖然這個(gè)新版本讓我們感到非常激動(dòng)，但我們的研發(fā)之旅遠(yuǎn)未結(jié)束，所以我們將繼續(xù)深化對(duì) learning-to-rank 問(wèn)題的理解，并與用戶分享這些進(jìn)展。

一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

TF-Ranking實(shí)現(xiàn)新穎的TFR-BERT架構(gòu)

評(píng)論