論文提出Dynamic Memory Induction Networks (DMIN) 網絡處理小樣本文本分類。

兩階段的（two-stage）few-shot模型：

在監(jiān)督學習階段（綠色的部分），訓練數(shù)據中的部分類別被選為base set，用于finetune預訓練Encoder和分類器也就是Pretrained Encoder和Classfiier圖中的部分。

在元學習階段（紅色的部分），數(shù)據被構造成一個個episode的形式用于計算梯度和更新模型參數(shù)。對于C-way K-shot，一個訓練episode中的Support Set是從訓練數(shù)據中隨機選擇C個類別，每個類別選擇K個實例構成的。每個類別剩下的樣本就構成Query Set。也就是在Support Set上訓練模型，在Query Set上計算損失更新參數(shù)。

Pretrained Encoder

用[CLS]預訓練的句子的Bert-base Embedding來做fine-tune。$W_{base}$ 就作為元學習的base特征記憶矩陣，監(jiān)督學習得到的。

Dynamic Memory Module

在元學習階段，為了從給定的Support Set中歸納出類級別的向量表示，根據記憶矩陣 $W_{base}$ 學習Dynamic Memory Module（動態(tài)記憶模塊）。

給定一個 $M$ ( $W_{base}$ )和樣本向量 q ， q 就是一個特征膠囊，所以動態(tài)記憶路由算法就是為了得到適應監(jiān)督信息 $ W_{base} $ 的向量 $q^{'}$ ，

$$ q^{'} \leftarrow DMR(M, q) $$ 學習記憶矩陣 $M$ 中的每個類別向量 $M^{'} $ 進行更新，

其中

這里的 $W_j$ 就是一個權重。因此變換權重 $W_j$ 和偏差 $b_j$ 在輸入時候是可以共享的， 因此計算 $\hat{m}{ij}$ 和 $\hat{q}_j$ 之間的皮爾遜相關系數(shù)

其中

接下來就是進行動態(tài)路由算法學習最佳的特征映射（這里添加了$p_{ij}$到路由協(xié)議中），到第11行為止。從第12行開始也會根據監(jiān)督學習的記憶矩陣和膠囊的皮爾遜相關系數(shù)來更新$p_{ij}$，最后把部分膠囊

編輯：jq