亚训Av无码专区在,精品久久免费一区二区三区,视频一区二区三区电影在线看

開(kāi)源并行訓(xùn)練系統(tǒng) ColossalAI 表示，已低成本復(fù)現(xiàn)了一個(gè) ChatGPT 訓(xùn)練的基本流程，包括 stage 1 預(yù)訓(xùn)練、stage 2 的獎(jiǎng)勵(lì)模型的訓(xùn)練，以及最為復(fù)雜的 stage 3 強(qiáng)化學(xué)習(xí)訓(xùn)練。具體亮點(diǎn)包括：

一個(gè)開(kāi)源完整的基于 PyTorch 的 ChatGPT 等效實(shí)現(xiàn)流程，涵蓋所有 3 個(gè)階段，可以幫助你構(gòu)建基于預(yù)訓(xùn)練模型的 ChatGPT 式服務(wù)。
提供了一個(gè)迷你演示訓(xùn)練過(guò)程供用戶試玩，它只需要 1.62GB 的 GPU 顯存，并且可能在單個(gè)消費(fèi)級(jí) GPU 上實(shí)現(xiàn)，單GPU模型容量最多提升10.3 倍。
與原始 PyTorch 相比，單機(jī)訓(xùn)練過(guò)程最高可提升7.73 倍，單 GPU 推理速度提升 1.42 倍，僅需一行代碼即可調(diào)用。
在微調(diào)任務(wù)上，同樣僅需一行代碼，就可以在保持足夠高的運(yùn)行速度的情況下，最多提升單GPU的微調(diào)模型容量3.7 倍。
提供多個(gè)版本的單 GPU 規(guī)模、單節(jié)點(diǎn)多 GPU 規(guī)模和原始 1750 億參數(shù)規(guī)模。還支持從 Hugging Face 導(dǎo)入 OPT、GPT-3、BLOOM 和許多其他預(yù)訓(xùn)練的大型模型到你的訓(xùn)練過(guò)程中。

ColossalAI 是一個(gè)具有高效并行化技術(shù)的綜合大規(guī)模模型訓(xùn)練系統(tǒng)；旨在無(wú)縫整合不同的并行化技術(shù)范式，包括數(shù)據(jù)并行、管道并行、多張量并行和序列并行。其聲稱已通過(guò) ZeRO、Gemini、Chunk-based 內(nèi)存管理等技術(shù)，極大地降低 ChatGPT 訓(xùn)練的顯存開(kāi)銷；僅需一半硬件資源即可啟動(dòng) 1750 億參數(shù)模型訓(xùn)練（從 64 卡到 32 卡），顯著降低應(yīng)用成本。若使用上述相同硬件資源，Colossal-AI 則能以更短時(shí)間進(jìn)行訓(xùn)練，節(jié)省訓(xùn)練成本，加速產(chǎn)品迭代。為了讓更多開(kāi)發(fā)者體驗(yàn)復(fù)現(xiàn) ChatGPT 模型，除 1750 億參數(shù)版本外，Colossal-AI 還提供高效的單 GPU、單機(jī) 4/8 GPU 的類 ChatGPT 版本，以降低硬件限制。

博客內(nèi)容還指出，在單機(jī)多 GPU 服務(wù)器上，即便使用最高端的 A100 80GB 顯卡，由于 ChatGPT 的復(fù)雜性和內(nèi)存碎片，PyTorch 最大僅能啟動(dòng)基于 GPT-L（774M）這樣的小模型的 ChatGPT。用 PyTorch 原生的 DistributedDataParallel (DDP) 進(jìn)行多卡并行擴(kuò)展至 4 卡或 8 卡，性能提升有限。Colossal-AI 不僅在單GPU速度上訓(xùn)練和推理優(yōu)勢(shì)明顯，隨著并行規(guī)模擴(kuò)大還可進(jìn)一步提升，最高可提升單機(jī)訓(xùn)練速度 7.73 倍，單 GPU 推理速度 1.42 倍；并且能夠繼續(xù)擴(kuò)展至大規(guī)模并行，顯著降低 ChatGPT 復(fù)現(xiàn)成本。

為了最大限度地降低培訓(xùn)成本和易用性，Colossal-AI 提供了可以在單個(gè) GPU 上試用的 ChatGPT 培訓(xùn)流程。與在 14999 美元的 A100 80GB 上最多只能啟動(dòng) 7.8 億個(gè)參數(shù)模型的 PyTorch 相比，Colossal-AI 將單個(gè) GPU 的容量提升了 10.3 倍，達(dá)到 80 億個(gè)參數(shù)。對(duì)于基于 1.2 億參數(shù)的小模型的 ChatGPT 訓(xùn)練，至少需要 1.62GB 的 GPU 內(nèi)存，任意單個(gè)消費(fèi)級(jí) GPU 都可以滿足。

此外，Colossal-AI 還在致力于降低基于預(yù)訓(xùn)練大型模型的微調(diào)任務(wù)的成本。以 ChatGPT 可選的開(kāi)源基礎(chǔ)模型 OPT 為例，Colossal-AI 能夠在單 GPU 上將微調(diào)模型的容量提高到 PyTorch 的 3.7 倍，同時(shí)保持高速運(yùn)行。Colossal-AI 為 Hugging Face 社區(qū)的 GPT、OPT 和 BLOOM 等主流預(yù)訓(xùn)練模型，提供了開(kāi)箱即用的 ChatGPT 復(fù)現(xiàn)代碼。以 GPT 為例，僅需一行代碼，指定使用 Colossal-AI 作為系統(tǒng)策略即可快速使用。

from chatgpt.nn import GPTActor, GPTCritic, RewardModel
from chatgpt.trainer import PPOTrainer
from chatgpt.trainer.strategies import ColossalAIStrategy

strategy = ColossalAIStrategy(stage=3, placement_policy='cuda')

with strategy.model_init_context():
    actor = GPTActor().cuda()
    critic = GPTCritic().cuda()
    initial_model = deepcopy(actor).cuda()
    reward_model = RewardModel(deepcopy(critic.model)).cuda()

trainer = PPOTrainer(strategy, actor, critic, reward_model, initial_model,...)
trainer.fit(prompts)

審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

gpu

gpu

+關(guān)注

關(guān)注
28

文章
4925

瀏覽量
130920
服務(wù)器

服務(wù)器

+關(guān)注

關(guān)注
13

文章
9752

瀏覽量
87558
ChatGPT

ChatGPT

+關(guān)注

關(guān)注
29

文章
1589

瀏覽量
8954

原文標(biāo)題：開(kāi)源方案低成本復(fù)現(xiàn)ChatGPT流程，僅需1.6GB顯存即可體驗(yàn)

文章出處：【微信號(hào)：OSC開(kāi)源社區(qū)，微信公眾號(hào)：OSC開(kāi)源社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

搜索歷史

開(kāi)源方案低成本復(fù)現(xiàn)ChatGPT流程，僅需1.6GB顯存即可體驗(yàn)

評(píng)論