av不卡顿免费看,国产成人性爱系列

1 簡介

NLP一個重要的范式包括在通用領域數(shù)據(jù)上的大規(guī)模預訓練和在特定任務或者領域上的微調(diào)。目前大規(guī)模語言模型在諸多任務上取得sota效果，F(xiàn)inetune全模型參數(shù)以適配下游任務雖然能取得不錯的效果，但是卻是一種低效的參數(shù)更新方式，歸因于模型的龐大模型參數(shù)量帶來的訓練成本，從而限制了在諸多下游任務的應用。

在這個章節(jié)我們介紹另外兩種高效的參數(shù)更新方式，LoRA與BitFit，一種通過在transformer結構中固定原本的模型參數(shù)同時引入可訓練的分解矩陣，另一種通過只更新模型中的bias參數(shù)，都能極大程度的減少下游任務需要訓練的參數(shù)數(shù)量，提高訓練速度并且取得不錯的效果。

2 LoRA

神經(jīng)網(wǎng)絡包含很多全連接層，借助于矩陣乘法得以實現(xiàn)，很多全連接層的權重矩陣都是滿秩的。當針對特定任務訓練時，預訓練模型具有l(wèi)ow intrinsic dimension，盡管隨機投影到較小的子空間，仍然可以有效的學習，可以理解為針對特定任務這些權重矩陣就不要求滿秩。

基于此，LoRA(Low-Rank Adaptaion)被提出，它的想法也很樸素直觀。在原始的PLM旁邊增加一個新的通路，通過前后兩個矩陣A,B相乘，第一個矩陣A負責降維，第二個矩陣B負責升維，中間層維度為r，從而來模擬所謂的intrinsic rank。在下游任務訓練時，固定模型的其他參數(shù)，只優(yōu)化新增的兩個矩陣的權重參數(shù)，將PLM跟新增的通路兩部分的結果加起來作為最終的結果（兩邊通路的輸入跟輸出維度是一致的）,即h=Wx+BAx。

通常第一個矩陣的A的權重參數(shù)會通過高斯函數(shù)得到，而第二個矩陣的B的參數(shù)則是零矩陣，這樣能保證訓練開始時新增的通路BA=0從而對mo xing 結果沒有影響。在推理時，將左右兩部分的結果加到一起即可，h=Wx+BAx=(W+BA)x，所以只要將訓練完成的矩陣乘積BA跟原本的權重矩陣W加到一起作為新權重參數(shù)替換原本PLM的W即可，不會增加額外的計算資源。

圖1:LoRA框架

一般情況下,r會遠小于模型原本的維度m，所以LoRA訓練的模型參數(shù)相比于模型原本的參數(shù)而言非常輕量，對于下游任務而言，原本的模型參數(shù)可以公攤到多個下游任務中去，每個下游任務只獨立維護自身的LoRA的矩陣BA參數(shù)，從而省下了大量內(nèi)存跟存儲資源。同時，凍結語言模型原本的參數(shù)，只更新新增通路的少量參數(shù)也能節(jié)省大量計算資源跟IO成本，從而提升模型訓練速度。

通過實驗也發(fā)現(xiàn)，在眾多數(shù)據(jù)集上LoRA在只訓練極少量參數(shù)的前提下，達到了匹配訓練全部參數(shù)的finetune方式，是一種高效的參數(shù)更新方法。相比其他高效的參數(shù)訓練方式，類似Adapter, BitFit，LoRA在較少訓練參數(shù)時就能保證比較穩(wěn)定的效果。而prefix等方式則會由于插入了更多token導致輸入的分布偏離預訓練數(shù)據(jù)分布，從而導致精度下降。

圖2:LoRA的效果

圖3:各種參數(shù)更新方法下模型效果跟可訓練參數(shù)量的關系

此外，Transformer的權重矩陣包括attention模塊里用于計算query, key, value的Wq，Wk，Wv以及多頭attention的Wo,以及MLP層的權重矩陣，LoRA只應用于attention模塊中的4種權重矩陣，而且通過消融實驗發(fā)現(xiàn)其中Wq，Wk兩者不可缺失。同時，保證權重矩陣的種類的數(shù)量比起增加隱藏層維度r更為重要，增加r并不一定能覆蓋更加有意義的子空間，這也顯示了低秩的中間矩陣A跟B對于LoRA已經(jīng)足夠了。

3 BitFit

這是一種稀疏的finetune方法，它只在訓練時更新bias的參數(shù)（或者部分bias參數(shù)）。對于transformer模型而言，凍結大部分模型參數(shù)，只訓練更新bias參數(shù)跟特定任務的分類層參數(shù)。涉及到的bias參數(shù)有attention模塊中計算query,key,value跟合并多個attention結果的涉及到的bias，MLP層中的bias，Layernormalization層的bias參數(shù)。像Bert base跟Bert large這種模型里的bias參數(shù)占模型全部參數(shù)量的0.08%～0.09%。

通過實驗可以看出，Bitfit在只更新極少量參數(shù)下在多個數(shù)據(jù)集上都達到了不錯的效果，雖不及訓練全部參數(shù)的finetune，但是遠超固定全部模型參數(shù)的Frozen方式。同時，通過比起B(yǎng)itfit訓練前后的參數(shù)對比，發(fā)現(xiàn)很多bias參數(shù)沒有太多變化，例如跟計算key所涉及到的bias參數(shù)。發(fā)現(xiàn)其中計算query與將特征維度從N放大到4N的FFN層的bias參數(shù)變化最為明顯，只更新這兩類bias參數(shù)也能達到不錯的效果，反之，固定其中任何一者，模型的效果都有較大損失。