摘要

小樣本學(xué)習(xí)（Few-shot Learning）近年來吸引了大量的關(guān)注，但是針對多標(biāo)簽問題（Multi-label）的研究還相對較少。在本文中，我們以用戶意圖檢測任務(wù)為切入口，研究了的小樣本多標(biāo)簽分類問題。對于多標(biāo)簽分類的SOTA方法往往會(huì)先估計(jì)標(biāo)簽-樣本相關(guān)性得分，然后使用閾值來選擇多個(gè)關(guān)聯(lián)的標(biāo)簽。

為了在只有幾個(gè)樣本的Few-shot場景下確定合適的閾值，我們首先在數(shù)據(jù)豐富的多個(gè)領(lǐng)域上學(xué)習(xí)通用閾值設(shè)置經(jīng)驗(yàn)，然后采用一種基于非參數(shù)學(xué)習(xí)的校準(zhǔn)（Calibration）將閾值適配到Few-shot的領(lǐng)域上。為了更好地計(jì)算標(biāo)簽-樣本相關(guān)性得分，我們將標(biāo)簽名稱嵌入作為表示（Embedding）空間中的錨點(diǎn)，以優(yōu)化不同類別的表示，使它們在表示空間中更好的彼此分離。在兩個(gè)數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，所提出的模型在1-shot和5-shot實(shí)驗(yàn)均明顯優(yōu)于最強(qiáng)的基線模型（baseline）。

1．Introduction

1.1 背景一：用戶意圖識(shí)別

用戶意圖識(shí)別是任務(wù)型對話理解的關(guān)鍵組成部分，它的任務(wù)是識(shí)別用戶輸入的話語屬于哪一個(gè)領(lǐng)域的哪一種意圖 [1]。

當(dāng)下的用戶意圖識(shí)別系統(tǒng)面臨著兩方面的關(guān)鍵挑戰(zhàn)：

頻繁變化的領(lǐng)域和任務(wù)需求經(jīng)常導(dǎo)致數(shù)據(jù)不足

用戶在一輪對話中經(jīng)常會(huì)同時(shí)包含多個(gè)意圖 [2,3]

圖1. 示例：意圖理解同時(shí)面領(lǐng)域繁多帶來數(shù)據(jù)不足和多標(biāo)簽的挑戰(zhàn)

1.2 背景二：多標(biāo)簽分類 & 小樣本學(xué)習(xí)

小樣本學(xué)習(xí)（Few-shot Learning）旨在像人一樣利用少量樣本完成學(xué)習(xí)，近年來吸引了大量的關(guān)注 [4,5]。

但是針對多標(biāo)簽問題的小樣本學(xué)習(xí)研究還相對較少。

1.3 本文研究內(nèi)容

本文以用戶意圖檢測任務(wù)為切入口，研究了的小樣本多標(biāo)簽分類問題，并提出了Meta Calibrated Threshold (MCT) 和 Anchored Label Reps (ALR) 從兩個(gè)角度系統(tǒng)地為小樣本多標(biāo)簽學(xué)習(xí)提供解決方案。

2. Problem Definition

2.1 多標(biāo)簽意圖識(shí)別

如圖2所示，目前State-of-the-art多標(biāo)簽意圖識(shí)別系統(tǒng)往往使用基于閾值（Threshold）的方法 [3,6,7]，其工作流程可以大致分為兩步：

計(jì)算樣本-標(biāo)簽類別相關(guān)性分?jǐn)?shù)

然后用預(yù)設(shè)或從數(shù)據(jù)學(xué)習(xí)的閾值選擇標(biāo)簽

2.2小樣本多標(biāo)簽用戶意圖識(shí)別

觀察一個(gè)給定的有少量樣例的支持集（Support Set）

預(yù)測未見樣本（Query Instance）的意圖標(biāo)簽

圖2. 小樣本多標(biāo)簽意圖識(shí)別框架概覽

3. 方法

圖3. 我們提出的小樣本多標(biāo)簽識(shí)別模型

3.1 閾值計(jì)算

（1）挑戰(zhàn)：

多標(biāo)簽分類任務(wù)在小樣本情景下主要面臨如下挑戰(zhàn)：

a. 因?yàn)橐獜臄?shù)據(jù)中學(xué)習(xí)閾值，現(xiàn)有方法只適用于數(shù)據(jù)充足情況。小樣本情景下，模型很難從幾個(gè)樣本中歸納出閾值；

b. 此外，不同領(lǐng)域間閾值無法直接遷移，難以利用先驗(yàn)知識(shí)。

（2）解決方案：

為了解決上述挑戰(zhàn)，我們提出Meta Calibrated Threshold (MCT)，具體可以分為兩步（如圖3左邊所示）：

a. 首先在富數(shù)據(jù)領(lǐng)域，學(xué)習(xí)通用的thresholding經(jīng)驗(yàn)

b. 然后在Few-shot領(lǐng)域上，用Kernel Regression 來用領(lǐng)域內(nèi)的知識(shí)矯正閾值 (Calibration)

這樣，我們在估計(jì)閾值時(shí)，既能遷移先驗(yàn)知識(shí)，又能利用領(lǐng)域特有的知識(shí)：

3.2 樣本-標(biāo)簽類別相關(guān)度計(jì)算

（1）挑戰(zhàn)：

如圖4所示，經(jīng)典的小樣本方法利用相似度計(jì)算樣本-標(biāo)簽類別相關(guān)性，這在多標(biāo)簽場景下會(huì)失效。

圖4. 經(jīng)典的基于相似度的小樣本學(xué)習(xí)模型：原型網(wǎng)絡(luò)

如圖3所示，例子中，time和location兩個(gè)標(biāo)簽因?yàn)閟upport example相同，導(dǎo)致這兩個(gè)類別由樣本得到的表示相同不可分，進(jìn)而無法進(jìn)行基于相似度的樣本-類別標(biāo)簽相關(guān)度計(jì)算。

（2）解決方案：

為了解決上述挑戰(zhàn)，我們提出了Anchored Label Reps (ALR)。具體的，如圖三右邊所示，我們

a. 利用標(biāo)簽名作為錨點(diǎn)來優(yōu)化Embedding空間學(xué)習(xí)

b. 利用標(biāo)簽名語義來分開多標(biāo)簽下的類別表示

4. 實(shí)驗(yàn)

4.1 主實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果顯示，我們的方法在兩個(gè)數(shù)據(jù)集上顯著的優(yōu)于最強(qiáng)baseline。同時(shí)可以看到，我們的方法很多時(shí)候只用小的預(yù)訓(xùn)練模型就超過了所有使用大預(yù)訓(xùn)練模型的baseline，這在計(jì)算資源受限的情景下格外有意義。

表1. 主實(shí)驗(yàn)結(jié)果。+E 代表使用 Electra-small (14M)；+B為 BERT-base (110M)

4.2 實(shí)驗(yàn)分析

圖5的消融實(shí)驗(yàn)顯示所提出的ALR和MCT都對最終的效果產(chǎn)生了較大的貢獻(xiàn)。

圖5. 消融實(shí)驗(yàn)

在圖6中，我們對Meta Calibrated Threshold中各步驟對最終標(biāo)簽個(gè)數(shù)準(zhǔn)確率的影響進(jìn)行了探索。結(jié)果顯示Meta學(xué)習(xí)和基于Kernel Regression的Calibration過程都會(huì)極大地提升最終模型的準(zhǔn)確率。

圖6. 標(biāo)簽個(gè)數(shù)準(zhǔn)確率結(jié)果

參考文獻(xiàn)

[1] Young, S.; Gasiˇ c, M.; Thomson, B.; and Williams, J. D. ′ 2013. Pomdp-based statistical spoken dialog systems: A review. In Proc. of the IEEE, volume 101, 1160–1179. IEEE.

[2] Xu, P.; and Sarikaya, R. 2013. Exploiting shared information for multi-intent natural language sentence classification. In Proc. of Interspeech, 3785–3789.

[3]Qin, L.; Xu, X.; Che, W.; and Liu, T. 2020. TD-GIN: Token-level Dynamic Graph-Interactive Network for Joint Multiple Intent Detection and Slot Filling. arXiv preprint arXiv:2004.10087 .

[4] Vinyals, O.; Blundell, C.; Lillicrap, T.; Kavukcuoglu, K.; and Wierstra, D. 2016. Matching networks for one shot learning. In Proc. of NeurIPS, 3630–3638.

[5] Bao, Y.; Wu, M.; Chang, S.; and Barzilay, R. 2020. Few-shot Text Classification with Distributional Signatures. In Proc. of the ICLR.

[6] Xu, G.; Lee, H.; Koo, M.-W.; and Seo, J. 2017. Convolutional neural network using a threshold predictor for multilabel speech act classification. In IEEE international conference on big data and smart computing (BigComp), 126–130.

[7]Gangadharaiah, R.; and Narayanaswamy, B. 2019. Joint Multiple Intent Detection and Slot Labeling for GoalOriented Dialog. In Proc. of the ACL, 564–569.

責(zé)任編輯：xj

原文標(biāo)題：【賽爾AAAI2021】小樣本學(xué)習(xí)下的多標(biāo)簽分類問題初探

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。