Prompt Learning是當(dāng)前NLP的一個(gè)重要話題，已經(jīng)有許多文章進(jìn)行論述。

從本質(zhì)上來說，Prompt Learning 可以理解為一種下游任務(wù)的重定義方法，將幾乎所有的下游任務(wù)均統(tǒng)一為預(yù)訓(xùn)練語言模型任務(wù)，從而避免了預(yù)訓(xùn)練模型和下游任務(wù)之間存在的 gap。

如此一來，幾乎所有的下游 NLP 任務(wù)均可以使用，不需要訓(xùn)練數(shù)據(jù)，在小樣本數(shù)據(jù)集的基礎(chǔ)上也可以取得超越 Fine-Tuning 的效果，使得所有任務(wù)在使用方法上變得更加一致，而局限于字面意義上的理解還遠(yuǎn)遠(yuǎn)不夠，我們可以通過一種簡(jiǎn)單、明了的方式進(jìn)行講述。

為了解決這一問題，本文主要從預(yù)訓(xùn)練語言模型看MLM預(yù)測(cè)任務(wù)、引入prompt_template的MLM預(yù)測(cè)任務(wù)、引入verblize類別映射的Prompt-MLM預(yù)測(cè)、基于zero-shot的prompt情感分類實(shí)踐以及基于zero-shot的promptNER實(shí)體識(shí)別實(shí)踐五個(gè)方面，進(jìn)行代碼介紹，供大家一起思考。

一、從預(yù)訓(xùn)練語言模型看MLM預(yù)測(cè)任務(wù)

MLM和NSP兩個(gè)任務(wù)是目前BERT等預(yù)訓(xùn)練語言模型預(yù)訓(xùn)任務(wù)，其中MLM要求指定周圍詞來預(yù)測(cè)中心詞，其模型機(jī)構(gòu)十分簡(jiǎn)單，如下所示：

importtorch.nnasnn
fromtransformersimportBertModel,BertForMaskedLM
classBert_Model(nn.Module):
def__init__(self,bert_path,config_file):
super(Bert_Model,self).__init__()
self.bert=BertForMaskedLM.from_pretrained(bert_path,config=config_file)#加載預(yù)訓(xùn)練模型權(quán)重
defforward(self,input_ids,attention_mask,token_type_ids):
outputs=self.bert(input_ids,attention_mask,token_type_ids)#maskedLM輸出的是mask的值對(duì)應(yīng)的ids的概率，輸出會(huì)是詞表大小，里面是概率
logit=outputs[0]#池化后的輸出[bs,config.hidden_size]
returnlogit

下面一段代碼，簡(jiǎn)單的使用了hugging face中的bert-base-uncased進(jìn)行空缺詞預(yù)測(cè)，先可以得到預(yù)訓(xùn)練模型對(duì)指定[MASK]位置上概率最大的詞語【詞語來自于預(yù)訓(xùn)練語言模型的詞表】。

例如給定句子"natural language processing is a [MASK] technology."，要求預(yù)測(cè)出其中的[MASK]的詞：

>>>fromtransformersimportpipeline
>>>unmasker=pipeline('fill-mask',model='bert-base-uncased')
>>>unmasker("naturallanguageprocessingisa[MASK]technology.")
[{'score':0.18927036225795746,'token':3274,'token_str':'computer','sequence':'naturallanguageprocessingisacomputertechnology.'},
{'score':0.14354903995990753,'token':4807,'token_str':'communication','sequence':'naturallanguageprocessingisacommunicationtechnology.'},
{'score':0.09429361671209335,'token':2047,'token_str':'new','sequence':'naturallanguageprocessingisanewtechnology.'},
{'score':0.05184786394238472,'token':2653,'token_str':'language','sequence':'naturallanguageprocessingisalanguagetechnology.'},
{'score':0.04084266722202301,'token':15078,'token_str':'computational','sequence':'naturallanguageprocessingisacomputationaltechnology.'}]

從結(jié)果中，可以顯然的看到，[MASK]按照概率從大到小排序后得到的結(jié)果是，computer、communication、new、language以及computational，這直接反饋出了預(yù)訓(xùn)練語言模型能夠有效刻畫出NLP是一種計(jì)算機(jī)、交流以及語言技術(shù)。

二、引入prompt_template的MLM預(yù)測(cè)任務(wù)

因此，既然語言模型中的MLM預(yù)測(cè)結(jié)果能夠較好地預(yù)測(cè)出指定的結(jié)果，那么其就必定包含了很重要的上下文知識(shí)，即上下文特征，那么，我們是否可以進(jìn)一步地讓它來執(zhí)行文本分類任務(wù)？即使用[MASK]的預(yù)測(cè)方式來預(yù)測(cè)相應(yīng)分類類別的詞，然后再將詞做下一步與具體類別的預(yù)測(cè)？

實(shí)際上，這種思想就是prompt的思想，將下游任務(wù)對(duì)齊為預(yù)訓(xùn)練語言模型的預(yù)訓(xùn)練任務(wù)，如NPS和MLM，至于怎么對(duì)齊，其中引入兩個(gè)概念，一個(gè)是prompt_template，即提示模版，以告訴模型要生成與任務(wù)相關(guān)的詞語。因此，將任務(wù)原文text和prompt_template進(jìn)行拼接，就可以構(gòu)造與預(yù)訓(xùn)練語言模型相同的預(yù)訓(xùn)練任務(wù)。

例如，

>>>fromtransformersimportpipeline
>>>unmasker=pipeline('fill-mask',model='bert-base-uncased')
>>>text="Ireallylikethefilmalot."
>>>prompt_template="Becauseitwas[MASK]."
>>>pred1=unmasker(text+prompt_template)
>>>pred1
[
{'score':0.14730973541736603,'token':2307,'token_str':'great','sequence':'ireallylikethefilmalot.becauseitwasgreat.'},
{'score':0.10884211212396622,'token':6429,'token_str':'amazing','sequence':'ireallylikethefilmalot.becauseitwasamazing.'},
{'score':0.09781625121831894,'token':2204,'token_str':'good','sequence':'ireallylikethefilmalot.becauseitwasgood.'},
{'score':0.04627735912799835,'token':4569,'token_str':'fun','sequence':'ireallylikethefilmalot.becauseitwasfun.'},
{'score':0.043138038367033005,'token':10392,'token_str':'fantastic','sequence':'ireallylikethefilmalot.becauseitwasfantastic.'}]

>>>text="thismoviemakesmeverydisgusting."
>>>prompt_template="Becauseitwas[MASK]."
>>>pred2=unmasker(text+prompt_template)
>>>pred2
[
{'score':0.05464331805706024,'token':9643,'token_str':'awful','sequence':'thismoviemakesmeverydisgusting.becauseitwasawful.'},
{'score':0.050322480499744415,'token':2204,'token_str':'good','sequence':'thismoviemakesmeverydisgusting.becauseitwasgood.'},
{'score':0.04008950665593147,'token':9202,'token_str':'horrible','sequence':'thismoviemakesmeverydisgusting.becauseitwashorrible.'},
{'score':0.03569378703832626,'token':3308,'token_str':'wrong','sequence':'thismoviemakesmeverydisgusting.becauseitwaswrong.'},
{'score':0.033358603715896606,'token':2613,'token_str':'real','sequence':'thismoviemakesmeverydisgusting.becauseitwasreal.'}]

上面，我們使用了表達(dá)正面和負(fù)面的兩個(gè)句子，模型得到最高的均是與類型相關(guān)的詞語，這也驗(yàn)證了這種方法的可行性。

三、引入verblize類別映射的Prompt-MLM預(yù)測(cè)

與構(gòu)造prompt-template之外，另一個(gè)重要的點(diǎn)是verblize，做詞語到類型的映射，因?yàn)镸LM模型預(yù)測(cè)的詞語很不確定，需要將詞語與具體的類別進(jìn)行對(duì)齊，比如將"great", "amazing", "good", "fun", "fantastic", "better"等詞對(duì)齊到"positive"上，當(dāng)模型預(yù)測(cè)結(jié)果出現(xiàn)這些詞時(shí)，就可以將整個(gè)預(yù)測(cè)的類別設(shè)定為positive；

同理，將"awful", "horrible", "bad", "wrong", "ugly"等詞映射為“negative”時(shí)，即可以將整個(gè)預(yù)測(cè)的類別設(shè)定為negative；

>>>verblize_dict={"pos":["great","amazing","good","fun","fantastic","better"],"neg":["awful","horrible","bad","wrong","ugly"]
...}
>>>hash_dict=dict()
>>>fork,vinverblize_dict.items():
...forv_inv:
...hash_dict[v_]=k
>>>hash_dict
{'great':'pos','amazing':'pos','good':'pos','fun':'pos','fantastic':'pos','better':'pos','awful':'neg','horrible':'neg','bad':'neg','wrong':'neg','ugly':'neg'}

因此，我們可以將這類方法直接加入到上面的預(yù)測(cè)結(jié)果當(dāng)中進(jìn)行修正，得到以下結(jié)果，

>>>[{"label":hash_dict[i["token_str"]],"score":i["score"]}foriinpred1]
[{'label':'pos','score':0.14730973541736603},{'label':'pos','score':0.10884211212396622},{'label':'pos','score':0.09781625121831894},{'label':'pos','score':0.04627735912799835},{'label':'pos','score':0.043138038367033005}]

>>>[{"label":hash_dict.get(i["token_str"],i["token_str"]),"score":i["score"]}foriinpred2]
[{'label':'neg','score':0.05464331805706024},{'label':'pos','score':0.050322480499744415},{'label':'neg','score':0.04008950665593147},{'label':'neg','score':0.03569378703832626},{'label':'real','score':0.033358603715896606}]

通過取top1，可直接得到類別分類結(jié)果，當(dāng)然也可以綜合多個(gè)預(yù)測(cè)結(jié)果，可以獲top10中各個(gè)類別的比重，以得到最終結(jié)果：

{
"text":"Ireallylikethefilmalot.","label":"pos"
"text":"thismoviemakesmeverydisgusting.","label":"neg"
}

至此，我們可以大致就可以大致了解在zero-shot場(chǎng)景下，prompt的核心所在。而我們可以進(jìn)一步的想到，如果我們有標(biāo)注數(shù)據(jù)，又如何進(jìn)行繼續(xù)訓(xùn)練，如何更好的設(shè)計(jì)prompt-template以及做好這個(gè)詞語映射詞表，這也是prompt-learning的后續(xù)研究問題。

因此，我們可以進(jìn)一步地形成一個(gè)完整的基于訓(xùn)練數(shù)據(jù)的prompt分類模型，其代碼實(shí)現(xiàn)樣例具體如下，從中我們可以大致在看出具體的算法思想，我們命名為prompt.py

fromtransformersimportAutoModelForMaskedLM,AutoTokenizer
importtorch

classPrompting(object):

def__init__(self,**kwargs):
model_path=kwargs['model']
tokenizer_path=kwargs['model']
if"tokenizer"inkwargs.keys():
tokenizer_path=kwargs['tokenizer']
self.model=AutoModelForMaskedLM.from_pretrained(model_path)
self.tokenizer=AutoTokenizer.from_pretrained(model_path)

defprompt_pred(self,text):
"""
輸入帶有[MASK]的序列，輸出LM模型Vocab中的詞語列表及其概率
"""
indexed_tokens=self.tokenizer(text,return_tensors="pt").input_ids
tokenized_text=self.tokenizer.convert_ids_to_tokens(indexed_tokens[0])
mask_pos=tokenized_text.index(self.tokenizer.mask_token)
self.model.eval()
withtorch.no_grad():
outputs=self.model(indexed_tokens)
predictions=outputs[0]
values,indices=torch.sort(predictions[0,mask_pos],descending=True)
result=list(zip(self.tokenizer.convert_ids_to_tokens(indices),values))
self.scores_dict={a:bfora,binresult}
returnresult

defcompute_tokens_prob(self,text,token_list1,token_list2):
"""
給定兩個(gè)詞表，token_list1表示表示正面情感positive的詞，如good,great，token_list2表示表示負(fù)面情感positive的詞，如good,great，bad,terrible.
在計(jì)算概率時(shí)候，統(tǒng)計(jì)每個(gè)類別詞所占的比例，score1/(score1+score2)并歸一化，作為最終類別概率。
"""
_=self.prompt_pred(text)
score1=[self.scores_dict[token1]iftoken1inself.scores_dict.keys()else0
fortoken1intoken_list1]
score1=sum(score1)
score2=[self.scores_dict[token2]iftoken2inself.scores_dict.keys()else0
fortoken2intoken_list2]
score2=sum(score2)
softmax_rt=torch.nn.functional.softmax(torch.Tensor([score1,score2]),dim=0)
returnsoftmax_rt

deffine_tune(self,sentences,labels,prompt="Sinceitwas[MASK].",goodToken="good",badToken="bad"):
"""
對(duì)已有標(biāo)注數(shù)據(jù)進(jìn)行Fine tune訓(xùn)練。
"""
good=tokenizer.convert_tokens_to_ids(goodToken)
bad=tokenizer.convert_tokens_to_ids(badToken)
fromtransformersimportAdamW
optimizer=AdamW(self.model.parameters(),lr=1e-3)
forsen,labelinzip(sentences,labels):
tokenized_text=self.tokenizer.tokenize(sen+prompt)
indexed_tokens=self.tokenizer.convert_tokens_to_ids(tokenized_text)
tokens_tensor=torch.tensor([indexed_tokens])
mask_pos=tokenized_text.index(self.tokenizer.mask_token)
outputs=self.model(tokens_tensor)
predictions=outputs[0]
pred=predictions[0,mask_pos][[good,bad]]
prob=torch.nn.functional.softmax(pred,dim=0)
lossFunc=torch.nn.CrossEntropyLoss()
loss=lossFunc(prob.unsqueeze(0),torch.tensor([label]))
loss.backward()
optimizer.step()

四、基于zero-shot的prompt情感分類實(shí)踐

下面我們直接以imdb中的例子進(jìn)行zero-shot的prompt分類實(shí)踐，大家可以看看其中的大致邏輯：

1、加入

>>fromtransformersimportAutoModelForMaskedLM,AutoTokenizer
>>importtorch
>>model_path="bert-base-uncased"
>>tokenizer=AutoTokenizer.from_pretrained(model_path)
>>frompromptimportPrompting
>>prompting=Prompting(model=model_path)

2、使用prompt_pred直接進(jìn)行情感預(yù)測(cè)

>>prompt="Becauseitwas[MASK]."
>>text="Ireallylikethefilmalot."
>>prompting.prompt_pred(text+prompt)[:10]
[('great',tensor(9.5558)),
('amazing',tensor(9.2532)),
('good',tensor(9.1464)),
('fun',tensor(8.3979)),
('fantastic',tensor(8.3277)),
('wonderful',tensor(8.2719)),
('beautiful',tensor(8.1584)),
('awesome',tensor(8.1071)),
('incredible',tensor(8.0140)),
('funny',tensor(7.8785))]
>>text="Ididnotlikethefilm."
>>prompting.prompt_pred(text+prompt)[:10]
[('bad',tensor(8.6784)),
('funny',tensor(8.1660)),
('good',tensor(7.9858)),
('awful',tensor(7.7454)),
('scary',tensor(7.3526)),
('boring',tensor(7.1553)),
('wrong',tensor(7.1402)),
('terrible',tensor(7.1296)),
('horrible',tensor(6.9923)),
('ridiculous',tensor(6.7731))]

2、加入neg/pos詞語vervlize進(jìn)行情感預(yù)測(cè)

>>text="notworthwatching"
>>prompting.compute_tokens_prob(text+prompt,token_list1=["great","amazin","good"],token_list2=["bad","awfull","terrible"])
tensor([0.1496,0.8504])

>>text="Istronglyrecommendthatmoview"
>>prompting.compute_tokens_prob(text+prompt,token_list1=["great","amazin","good"],token_list2=["bad","awfull","terrible"])
tensor([0.9321,0.0679])

>>text="Istronglyrecommendthatmoview"
>>prompting.compute_tokens_prob(text+prompt,token_list1=["good"],token_list2=["bad"])
tensor([0.9223,0.0777])

五、基于zero-shot的promptNER實(shí)體識(shí)別實(shí)踐

進(jìn)一步的，我們可以想到，既然分類任務(wù)可以進(jìn)行分類任務(wù)，那么是否可以進(jìn)一步用這種方法來做實(shí)體識(shí)別任務(wù)呢？

實(shí)際上是可行的，暴力的方式，通過獲取候選span，然后詢問其中實(shí)體所屬的類型集合。

1、設(shè)定prompt-template

同樣的，我們可以設(shè)定template，以一個(gè)人物為例，John是一個(gè)非常常見的名字，模型可以直接知道它是一個(gè)人，而不需要上下文

Sentence.Johnisatypeof[MASK]

2、使用prompt_pred直接進(jìn)行預(yù)測(cè)我們直接進(jìn)行處理，可以看看效果：

>>prompting.prompt_pred("JohnwenttoParistovisittheUniversity.Johnisatypeof[MASK].")[:5]
[('man',tensor(8.1382)),
('john',tensor(7.1325)),
('guy',tensor(6.9672)),
('writer',tensor(6.4336)),
('philosopher',tensor(6.3823))]
>>prompting.prompt_pred("Sava?wenttoParistovisittheuniversity.Sava?isatypeof[MASK].")[:5]
[('philosopher',tensor(7.6558)),
('poet',tensor(7.5621)),
('saint',tensor(7.0104)),
('man',tensor(6.8890)),
('pigeon',tensor(6.6780))]

2、加入類別詞語vervlize進(jìn)行情感預(yù)測(cè)
進(jìn)一步的，我們加入類別詞，進(jìn)行預(yù)測(cè)，因?yàn)槲覀冃枰龅淖R(shí)別是人物person識(shí)別，因此我們可以將person類別相關(guān)的詞作為token_list1，如["person","man"]，其他類型的，作為其他詞語，如token_list2為["location","city","place"])，而在其他類別時(shí)，也可以通過構(gòu)造wordlist字典完成預(yù)測(cè)。

>>>prompting.compute_tokens_prob("Itisatypeof[MASK].",
token_list1=["person","man"],token_list2=["location","city","place"])
tensor([0.7603,0.2397])

>>>prompting.compute_tokens_prob("Sava?wenttoParistovisittheparliament.Sava?isatypeof[MASK].",
token_list1=["person","man"],token_list2=["location","city","place"])//確定概率為0.76，將大于0.76的作為判定為person的概率
tensor([9.9987e-01,1.2744e-04])

從上面的結(jié)果中，我們可以看到，利用分類方式來實(shí)現(xiàn)zero shot實(shí)體識(shí)別，是直接有效的，“Sava?”判定為person的概率為0.99，

prompting.compute_tokens_prob("Sava?wenttoLaristovisittheparliament.Larisisatypeof[MASK].",
token_list1=["person","man"],token_list2=["location","city","place"])
tensor([0.3263,0.6737])

而在這個(gè)例子中，將“Laris”這一地點(diǎn)判定為person的概率僅僅為0.3263，也證明其有效性。

總結(jié)

本文主要從預(yù)訓(xùn)練語言模型看MLM預(yù)測(cè)任務(wù)、引入prompt_template的MLM預(yù)測(cè)任務(wù)、引入verblize類別映射的Prompt-MLM預(yù)測(cè)、基于zero-shot的prompt情感分類實(shí)踐以及基于zero-shot的promptNER實(shí)體識(shí)別實(shí)踐五個(gè)方面，進(jìn)行了代碼介紹。

關(guān)于prompt-learning，我們可以看到，其核心就在于將下游任務(wù)統(tǒng)一建模為了預(yù)訓(xùn)練語言模型的訓(xùn)練任務(wù)，從而能夠最大地挖掘出預(yù)訓(xùn)模型的潛力，而其中的prompt-template以及對(duì)應(yīng)詞的構(gòu)造，這個(gè)十分有趣，大家可以多關(guān)注。

審核編輯 ：李倩