深度學(xué)習(xí)自然語(yǔ)言處理 原創(chuàng)

作者：wkk

為了改進(jìn)LLM的推理能力，University of California聯(lián)合Meta AI實(shí)驗(yàn)室提出將Contrastive Decoding應(yīng)用于多種任務(wù)的LLM方法。實(shí)驗(yàn)表明，所提方法能有效改進(jìn)LLM的推理能力。讓我們走進(jìn)論文一探究竟吧！

對(duì)比解碼(Contrastive Decoding)

在走進(jìn)論文之前首先介紹一下什么是對(duì)比解碼，其是由Li等人在2022年提出的一種文本生成方法，具有簡(jiǎn)單、計(jì)算量小、訓(xùn)練自由等特點(diǎn)。它通過(guò)查找到最大化強(qiáng)模型和弱模型之間可能性差異的字符串來(lái)生成文本，從而產(chǎn)生更多且更高質(zhì)量的文本。在對(duì)比解碼中，弱模型可以是常規(guī)的貪心解碼方法，如一些簡(jiǎn)單的采樣方法，強(qiáng)模型可以是經(jīng)過(guò)訓(xùn)練的大型語(yǔ)言模型。對(duì)比解碼可以在很多推理任務(wù)上表現(xiàn)出色，包括算術(shù)推理和多項(xiàng)選擇排名任務(wù)，可以提高語(yǔ)言模型的準(zhǔn)確率。

本文創(chuàng)新點(diǎn)：探索對(duì)比解碼在LLM上的應(yīng)用。具體地，通過(guò)最大化專家模型和較弱的業(yè)余模型之間存在的可能性誤差(如下圖所示)來(lái)搜索字符串，避免了專家模型中的不良影響和貪婪解碼會(huì)出現(xiàn)的采樣誤差問(wèn)題。

實(shí)驗(yàn)結(jié)論：通過(guò)在多種任務(wù)上的測(cè)試，本文證明了對(duì)比解碼可以提高大型語(yǔ)言模型在推理和文本生成問(wèn)題上的性能，這是第一種同時(shí)在推理和文本生成問(wèn)題上實(shí)現(xiàn)最先進(jìn)結(jié)果的生成算法。此外，還分析了對(duì)比解碼的改進(jìn)原因，并探討了該方法在常識(shí)推理和事實(shí)檢索方面的適用性。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

模型：實(shí)驗(yàn)采用LLaMA家族的原始模型，其中專家模型為L(zhǎng)LaMA-65B，業(yè)余模型為具有1.5B的LLaMA模型。此外，在消融實(shí)驗(yàn)中，本文還對(duì)FLAN-T5家族的模型進(jìn)行實(shí)驗(yàn)分析。

解碼參數(shù)：α=0.1，為原始論文中相同的超參數(shù)：專家模型分配的最大概率的比例，任何標(biāo)記都分配了較低的概率被屏蔽掉。β=0.5是對(duì)應(yīng)于業(yè)余懲罰強(qiáng)度的超參數(shù)。將前導(dǎo) (1 + β) 系數(shù)包含在專家 logits 中，以將對(duì)比懲罰的強(qiáng)度與輸出 logits 的預(yù)期尺度解耦，描述了用于采樣的溫度的對(duì)比權(quán)衡之間的對(duì)比權(quán)衡。

prompt：對(duì)于生成任務(wù)使用8-shot的CoT。

數(shù)據(jù)集：聚焦代數(shù)問(wèn)題的AQuA、ASDiv、GSM8K、SVAMP和MATH數(shù)據(jù)集，針對(duì)常識(shí)推理的CommonsenseQA、StrategyQA數(shù)據(jù)集以及AI2 Reasoning Challenge、BooIQ、HellaSwag、MMLU、PIQA、SIQA和WinoGrande等基準(zhǔn)數(shù)據(jù)集。

實(shí)驗(yàn)結(jié)果

在GSM8K上的實(shí)驗(yàn)表明，β=0.5能獲得更好的結(jié)果同時(shí)業(yè)余模型對(duì)于性能的提升可能大于專家模型。

對(duì)比解碼往往有助于全面完成具有CoT提示的算術(shù)推理任務(wù)。其中一個(gè)例外是MATH數(shù)據(jù)集，它被證明對(duì)標(biāo)準(zhǔn)解碼和對(duì)比解碼都具有挑戰(zhàn)性。作者推測(cè)因?yàn)閷?duì)比解碼放大了專家比業(yè)余模型學(xué)得更好的技能，所以它對(duì)遠(yuǎn)遠(yuǎn)超出專家模型的任務(wù)沒(méi)有幫助。

在CommonsenseQA和StrategyQA數(shù)據(jù)集上實(shí)驗(yàn)發(fā)現(xiàn)對(duì)比解碼會(huì)損害較小模型的性能。

對(duì)比解碼的影響

本文還進(jìn)行了一系列附加實(shí)驗(yàn)，研究表明，對(duì)比解碼可以在大型語(yǔ)言模型中提高推理能力。在算術(shù)推理和多項(xiàng)選擇排名任務(wù)上，包括LLaMA-65B這樣的大型模型，都有普遍的改進(jìn)，這表明對(duì)比解碼可以使更大的模型受益。通過(guò)分析對(duì)比解碼改進(jìn)的原因。實(shí)證表明，與貪婪解碼相比，對(duì)比解碼從提示中復(fù)制的表面層次較少，錯(cuò)過(guò)的推理步驟也較少。這一結(jié)果表明，對(duì)比解碼通過(guò)減少模型分布中的短、重復(fù)或其他不良模式來(lái)起作用。

結(jié)論

使用對(duì)比解碼（Contrastive Decoding）方法可以顯著提高大型語(yǔ)言模型在一系列推理任務(wù)中的準(zhǔn)確性，這種方法不僅在生成文本方面表現(xiàn)優(yōu)異，還可以在推理問(wèn)題方面超越當(dāng)前現(xiàn)有的各種模型。同時(shí)，該方法能夠減少模型分布中的短、重復(fù)或其他不良模式，從而提高模型的推理能力。然而，該方法在常識(shí)推理任務(wù)中表現(xiàn)良莠不齊，需要進(jìn)一步研究和改進(jìn)?？偟膩?lái)說(shuō)，對(duì)比解碼方法在改善語(yǔ)言模型的生成和推理能力上具有廣泛的應(yīng)用前景。

審核編輯：湯梓紅