一、從 LLaMA 到 Alpaca：大模型的小訓練

1.1 LLaMA 概要與實踐

LLaMA(Large Language Model Meta AI) 是由 Meta AI 發(fā)布了一款全新的大型語言模型，共有7B、13B、33B、65B 四種版本，其模型參數(shù)如下表所示：

與原始的 transformer Decoder 相比，LLaMA主要有以下改進：

預歸一化(Pre-normalization)[GPT3]

為了提高訓練的穩(wěn)定性，LLaMA對每個transformer子層的輸入進行歸一化，而不是對輸出進行歸一化。同時使用RMSNorm歸一化函數(shù)。

SwiGLU激活函數(shù)[PaLM]

LLaMA用SwiGLU激活函數(shù)取代ReLU非線性，以提高性能。SwiGLU激活函數(shù)的實現(xiàn)如下：

其中 ，，具體實現(xiàn)參考這里[1]。

旋轉(zhuǎn)嵌入(Rotary pos)[GPTNeo]

LLaMA刪除了絕對位置嵌入，取而代之的是在網(wǎng)絡(luò)的每一層添加旋轉(zhuǎn)位置嵌入（RoPE），RoPE的實現(xiàn)參見這里[2]。當前 HuggingFace 已經(jīng)實現(xiàn)了 LLaMA 模型 代碼，可通過以下方式直接調(diào)用：

from?transformers?import?LlamaForCausalLM
USE_8BIT?=?True?#?use?8-bit?quantization;?otherwise,?use?fp16
model?=?LlamaForCausalLM.from_pretrained(
????????????"pretrained/path",
????????????load_in_8bit=USE_8BIT,
????????????torch_dtype=torch.float16,
????????????device_map="auto",
????????)
if?not?USE_8BIT:
????model.half()??#?use?fp16
model.eval()

1.2 Alpaca 如何使用小成本訓練大模型

如下圖所示，Stanford的研究者使用 52K 個 intruction-following examples 來微調(diào) LLaMA 7B 模型，從而生成了 Alpaca[3] 7B。

Alpaca 團隊使用 self-instruct[4] 提供的 175 個 prompts，調(diào)用 OpenAI 的text-davinci-003模型，利用 OpenAI 的模型來產(chǎn)生有價值的 instructions 。

將 OpenAI 性能完備的模型作為 Teacher，來指導參數(shù)更少的 Alpaca 模型進行訓練，大幅降低了訓練成本 。其中調(diào)用 OpenAI API 的成本不到 500 美元，另外微調(diào) 7B 參數(shù)的 LLaMA 模型，使用云服務(wù)商提供的 8 塊 80GB A100 顯卡，訓練 3 小時，消費不到 100 美元，因此整體成本是小于 600 美元。

二、Alpaca 的優(yōu)化、訓練及應用

2.1 alpaca-lora 的優(yōu)化

alpace-lora[5] 是在alpaca的基礎(chǔ)上把訓練方式改成用lora訓練，僅需要在消費級的GPU上經(jīng)過數(shù)小時的訓練，就可以達到和alpaca差不多的效果。

LoRA(Low-Rank Adaptation) 技術(shù)

LoRA 的思想很簡單，即在原始 Pretrained Weights 旁邊增加一個旁路，做一個降維再升維的操作，來模擬所謂的 intrinsic rank 。訓練的時候固定 Pretrained Weights 的參數(shù)，只訓練降維矩陣 與升維矩陣 。而模型的輸入輸出維度不變，輸出時將 與 Pretrained Weights 的參數(shù)疊加。用隨機高斯分布初始化 ，用0矩陣初始化 ，保證訓練的開始此旁路矩陣依然是 0 矩陣。

具體來看，假設(shè)預訓練的矩陣為,它的更新可表示為：

其中秩。

LoRA與Transformer的結(jié)合也很簡單，僅在QKV attention的計算中增加一個旁路，而不動MLP模塊?；诖竽Ｐ偷膬?nèi)在低秩特性，增加旁路矩陣來模擬全模型參數(shù)微調(diào)，LoRA通過簡單有效的方案來達成輕量微調(diào)的目的，可以將現(xiàn)在的各種大模型通過輕量微調(diào)變成各個不同領(lǐng)域的專業(yè)模型。

2.2 PEFT(Parameter-Efficient Fine-Tuning) 方法

隨著模型變得越來越大，在消費級硬件上對模型進行全部參數(shù)的微調(diào)變得不可行。此外，為每個下游任務(wù)獨立存儲和部署微調(diào)模型變得非常昂貴，因為微調(diào)模型與原始預訓練模型的大小相同。PEFT 方法旨在解決這兩個問題，PEFT 方法僅微調(diào)少量 (額外) 模型參數(shù)，同時凍結(jié)預訓練 LLM 的大部分參數(shù)，從而大大降低了計算和存儲成本。

HuggingFace 開源的一個高效微調(diào)大模型的 PEFT 庫，目前包含LoRA，Prefix Tuning，Prompt Tuning，P-Tuning 四種算法，下面簡要介紹后三種：

Prefix Tuning
Prefix Tuning 算法是根據(jù) 下游任務(wù) "前綴指令文本" 的所有層的embeding表示，學習到的前綴指令文本向量可以挖掘大模型的潛力去引導模型完成特定任務(wù)。

P-Tuning
P-Tuning 算法和 Prefix Tuning 的想法很相似，想通過微調(diào)"指令文本",讓指令文本去挖掘大模型的潛力去完成特定的任務(wù)。但是 P-Tuning 只學習 "指令文本" 輸入層embeding的的表示。為了增強 "指令文本"的連續(xù)性，采用了一個 MLP(LSTM) 的結(jié)果去encoding "指令文本"。從微調(diào)參數(shù)量來看只有 0.65% 比 Prefix Tuning 和 LoRA 這些在所有層都增加參數(shù)的方法要少。

Prompt Tuning
Prompt Tuning 算法和 P-Tuning 很像，且更簡單，就是是根據(jù) 下游任務(wù) "指令文本" 輸入層embeding的的表示。Prompt Tuning 沒有增加任何的層，直接使用微調(diào)指令文本(prompt) 的embeding向量。

2.3 使用 PEFT 訓練 alpaca-lora

以下僅說明過程，完整代碼見這里[6]。

step 1. 模塊的加載及初始化

import?torch
import?transformers
from?datasets?import?load_dataset
from?peft?import?LoraConfig,?get_peft_model,?get_peft_model_state_dict,?prepare_model_for_int8_training,?set_peft_model_state_dict,
from?transformers?import?LlamaForCausalLM,?LlamaTokenizer?

model?=?LlamaForCausalLM.from_pretrained(base_model,?load_in_8bit=True,?torch_dtype=torch.float16,?device_map=device_map,)
tokenizer?=?LlamaTokenizer.from_pretrained(base_model)
model?=?prepare_model_for_int8_training(model)

config?=?LoraConfig(
????r=lora_r,
????lora_alpha=lora_alpha,
????target_modules=lora_target_modules,
????lora_dropout=lora_dropout,
????bias="none",
????task_type="CAUSAL_LM",
)
model?=?get_peft_model(model,?config)

step 2. 準備data 和 trainer 并進行訓練

data?=?load_dataset(data_path)
trainer?=?transformers.Trainer(
????model=model,
????train_dataset=train_data,
????eval_dataset=val_data,
????args=transformers.TrainingArguments(
????????per_device_train_batch_size=micro_batch_size,
????????gradient_accumulation_steps=gradient_accumulation_steps,
????????warmup_steps=100,
????????num_train_epochs=num_epochs,
????????learning_rate=learning_rate,
????????fp16=True,
????????logging_steps=10,
????????optim="adamw_torch",
????????evaluation_strategy="steps"?if?val_set_size?>?0?else?"no",
????????save_strategy="steps",
????????eval_steps=200?if?val_set_size?>?0?else?None,
????????save_steps=200,
????????output_dir=output_dir,
????????save_total_limit=3,
????????load_best_model_at_end=True?if?val_set_size?>?0?else?False,
????????ddp_find_unused_parameters=False?if?ddp?else?None,
????????group_by_length=group_by_length,
????????report_to="wandb"?if?use_wandb?else?None,
????????run_name=wandb_run_name?if?use_wandb?else?None,
????),
????data_collator=transformers.DataCollatorForSeq2Seq(
????????tokenizer,?pad_to_multiple_of=8,?return_tensors="pt",?padding=True
????),
)

trainer.train(resume_from_checkpoint=resume_from_checkpoint)

2.4 更多類似模型

Baize (白澤)

論文：https://arxiv.org/pdf/2304.01196.pdf

demo: Baize Lora 7B - a Hugging Face Space by project-baize

repo: https://github.com/project-baize/baize

Luotuo (駱駝，Chinese)

repo: https://github.com/LC1332/Luotuo-Chinese-LLM

Koala (考拉)

blog: Koala: A Dialogue Model for Academic Research

demo: FastChat

repo: https://github.com/young-geng/EasyLM

三、ColossalChat：深入體驗 RLHF 在大模型中的功能

ColossalChat[7] 是第一個基于LLaMA預訓練模型開源完整RLHF pipline實現(xiàn)，包括有監(jiān)督數(shù)據(jù)收集、有監(jiān)督微調(diào)、獎勵模型訓練和強化學習微調(diào)。只需要不到100億個參數(shù)，就可以在大型語言模型的基礎(chǔ)上通過RLHF微調(diào)達到中英文雙語水平，達到與ChatGPT和GPT-3.5相當?shù)男Ч?，并可以進行Demo測試。關(guān)于RLHF的原理，可參考

https://zhuanlan.zhihu.com/p/613315873

ColossalChat使用InstructionWild[8]雙語數(shù)據(jù)集，包含約52K的英語和52K的漢語問答，數(shù)據(jù)集通過OpenAI API接口獲得。該數(shù)據(jù)集適用于微調(diào)和RLHF訓練。通過提供高質(zhì)量的數(shù)據(jù)，ColossalChat可以實現(xiàn)更好的對話互動，也可以支持中文。

數(shù)據(jù)集的獲取過程

3.1 監(jiān)督指令微調(diào)

使用前面提到的數(shù)據(jù)集執(zhí)行有監(jiān)督指令微調(diào)，以微調(diào)模型。運行examples/train_sft.sh來啟動有監(jiān)督的指令微調(diào)。

torchrun?--standalone?--nproc_per_node=4?train_sft.py?
????--pretrain?"/path/to/LLaMa-7B/"?
????--model?'llama'?
????--strategy?colossalai_zero2?
????--log_interval?10?
????--save_path??/path/to/Coati-7B?
????--dataset?/path/to/data.json?
????--batch_size?4?
????--accimulation_steps?8?
????--lr?2e-5?
????--max_datasets_size?512?
????--max_epochs?1?

3.2 訓練獎勵模型

訓練獎勵模型，通過手動對同一提示的不同輸出進行排序來分配相應的分數(shù)，然后有監(jiān)督獎勵模型的訓練。

運行examples/train_rm.sh開始獎勵模型訓練。

torchrun?--standalone?--nproc_per_node=4?train_reward_model.py
????--pretrain?"/path/to/LLaMa-7B/"?
????--model?'llama'?
????--strategy?colossalai_zero2?
????--loss_fn?'log_exp'
????--save_path?'rmstatic.pt'?

3.3 人類反饋強化學習

在第一階段的監(jiān)督微調(diào)模型和第二階段的獎勵模型的基礎(chǔ)上，使用強化學習算法進一步訓練大型語言模型。該階段是RLHF訓練的核心部分，在強化學習中使用近端策略優(yōu)化（PPO）算法來引入獎勵信號，并生成更符合人類偏好的內(nèi)容。

運行examples/train_prompts.sh，開始使用人類反饋訓練PPO。

torchrun?--standalone?--nproc_per_node=4?train_prompts.py?

?????????--pretrain?"/path/to/LLaMa-7B/"?
?????????--model?'llama'?
?????????--strategy?colossalai_zero2?
?????????--prompt_path?/path/to/your/prompt_dataset?
?????????--pretrain_dataset?/path/to/your/pretrain_dataset?
?????????--rm_pretrain?/your/pretrain/rm/defination?
?????????--rm_path?/your/rm/model/path

編輯：黃飛

?