一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大模型時(shí)代的深度學(xué)習(xí)框架

jf_23871869 ? 來源:劉力 ? 作者:劉力 ? 2025-04-25 11:43 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力

CNN時(shí)代,AI模型的參數(shù)規(guī)模都在百萬級(jí)別,僅需在單張消費(fèi)類顯卡上即可完成訓(xùn)練。例如,以業(yè)界知名的CNN模型:ResNet50為例,模型參數(shù)量是約為 25.63M,在ImageNet1K數(shù)據(jù)集上,使用單張消費(fèi)類顯卡RTX-4090只需大約35~40個(gè)小時(shí),即可完成ResNet50模型的預(yù)訓(xùn)練。在大模型時(shí)代,由于大模型參數(shù)規(guī)模龐大,無法跟CNN時(shí)代的小模型一樣在單張顯卡上完成訓(xùn)練,需要構(gòu)建多張AI加速卡的集群才能完成AI大模型的預(yù)訓(xùn)練。例如:DeepSeek-V3在其技術(shù)報(bào)告中介紹,DeepSeek-V3的模型參數(shù)量為671B,需要278萬8千個(gè)H800 GPU小時(shí)才能完成預(yù)訓(xùn)練,換句話說,在有1萬張H800的GPU集群上,需要訓(xùn)練278.8個(gè)小時(shí)。

wKgZPGgJvI6AK6v3AAR6CZcI17A083.png

包含1萬張H800的AI數(shù)據(jù)中心包括:帶H800的服務(wù)器節(jié)點(diǎn)、網(wǎng)絡(luò)、存儲(chǔ)、電源、散熱等,一般來說,總建設(shè)預(yù)算在15億美金左右。以從AWS上租用1萬張H800為例,每小時(shí)的租金大約為12.3萬美金/小時(shí)。以訓(xùn)練DeepSeek-V3為例,

訓(xùn)練效率每提升1%,相當(dāng)于節(jié)約278.8*1%*12.3=34.3萬美金,

即240萬人民幣的租金。所以,在大模型時(shí)代,如何充分利用分布式的GPU集群算力,是深度學(xué)習(xí)框架首先需要考慮的點(diǎn)。

要充分利用分布式的GPU集群算力,就需要充分使用復(fù)雜的并行策略,

包括數(shù)據(jù)并行、張量并行、參數(shù)分片并行、流水線并行、序列并行、專家并行等;并且還要提升GPU與GPU,服務(wù)器節(jié)點(diǎn)與服務(wù)器節(jié)點(diǎn)間的通訊效率;除此之外,還要考慮AI數(shù)據(jù)中心不同算力芯片的適配;前沿模型快速發(fā)展時(shí),對(duì)新型模型的支持等等...若要求AI模型科學(xué)家既要

熟知模型結(jié)構(gòu),還要深入了解芯片特點(diǎn)、硬件架構(gòu)、并行策略、調(diào)度邏輯等等

,這會(huì)使得大模型的開發(fā)和性能優(yōu)化的

技術(shù)門檻變得非常高

,大大制約了大模型的開發(fā)和訓(xùn)練效率。針對(duì)上述需求和痛點(diǎn),

飛槳新一代框架3.0

應(yīng)運(yùn)而生,該版本提供了豐富的深度學(xué)習(xí)相關(guān)的各種開發(fā)接口

表示層:專注于計(jì)算圖的表達(dá)與轉(zhuǎn)換,通過高可擴(kuò)展中間表示PIR,實(shí)現(xiàn)動(dòng)轉(zhuǎn)靜、自動(dòng)微分、自動(dòng)并行、算子組合以及計(jì)算圖優(yōu)化等核心功能;

調(diào)度層:負(fù)責(zé)對(duì)代碼或計(jì)算圖進(jìn)行智能編排與高效調(diào)度,支持動(dòng)態(tài)圖和靜態(tài)圖兩種不同的執(zhí)行模式;

算子層:神經(jīng)網(wǎng)絡(luò)編譯器CINN和算子庫(kù)PHI共同構(gòu)成,涵蓋了張量定義、算子定義、算子自動(dòng)融合和算子內(nèi)核實(shí)現(xiàn)等關(guān)鍵功能;

適配層:則用于實(shí)現(xiàn)與底層芯片適配,包括設(shè)備管理、算子適配、通信適配以及編譯接入等功能。

wKgZO2gJvJWAa-4eAAumNKFn45A615.png

飛槳框架3.0憑借強(qiáng)大的功能和優(yōu)化的設(shè)計(jì),

幫助算法工程師和科研人員以更低的成本進(jìn)行算法創(chuàng)新,

并實(shí)現(xiàn)產(chǎn)業(yè)應(yīng)用。以百度文心大模型為例,飛槳框架3.0在訓(xùn)練、推理等方面為文心大模型提供端到端優(yōu)化,訓(xùn)練方面重點(diǎn)提升訓(xùn)練吞吐、訓(xùn)練有效率和收斂效率,集群訓(xùn)練有效率超過98%;推理部署方面通過注意力機(jī)制量化推理、通用投機(jī)解碼等技術(shù)提升推理吞吐和效率;全面支持文心4.5、文心X1等大模型的技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用。

飛槳框架3.0 Github倉(cāng):https://github.com/PaddlePaddle/Paddle。

如果你有更好的文章,歡迎投稿!

稿件接收郵箱:nami.liu@pasuntech.com

更多精彩內(nèi)容請(qǐng)關(guān)注“算力魔方?”!

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5561

    瀏覽量

    122793
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3141

    瀏覽量

    4064
  • DeepSeek
    +關(guān)注

    關(guān)注

    1

    文章

    797

    瀏覽量

    1742
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    寧暢與與百度文心大模型展開深度技術(shù)合作

    近日,百度正式開源文心大模型4.5系列模型。作為文心開源合作伙伴,寧暢在模型開源首日即實(shí)現(xiàn)即刻部署,做到“開源即接入、發(fā)布即可用”。據(jù)悉,文心4.5開源系列全部基于飛槳深度
    的頭像 發(fā)表于 07-07 16:26 ?209次閱讀

    模型推理顯存和計(jì)算量估計(jì)方法研究

    ,如乘法、加法等; (2)根據(jù)各層計(jì)算操作的類型和復(fù)雜度,確定每層所需的計(jì)算量; (3)將各層計(jì)算量相加,得到模型總的計(jì)算量。 基于硬件加速的算力估計(jì) 隨著硬件加速技術(shù)的發(fā)展,許多深度學(xué)習(xí)框架
    發(fā)表于 07-03 19:43

    百度飛槳框架3.0正式版發(fā)布

    模型訓(xùn)練成本高?推理效率低?硬件適配難? 4月1日,百度發(fā)布 飛槳框架3.0正式版 !五大特性專為大模型設(shè)計(jì)。 作為大模型時(shí)代的Infra
    的頭像 發(fā)表于 04-02 19:03 ?723次閱讀
    百度飛槳<b class='flag-5'>框架</b>3.0正式版發(fā)布

    在OpenVINO?工具套件的深度學(xué)習(xí)工作臺(tái)中無法導(dǎo)出INT8模型怎么解決?

    無法在 OpenVINO? 工具套件的深度學(xué)習(xí) (DL) 工作臺(tái)中導(dǎo)出 INT8 模型
    發(fā)表于 03-06 07:54

    大語(yǔ)言模型開發(fā)框架是什么

    大語(yǔ)言模型開發(fā)框架是指用于訓(xùn)練、推理和部署大型語(yǔ)言模型的軟件工具和庫(kù)。下面,AI部落小編為您介紹大語(yǔ)言模型開發(fā)框架。
    的頭像 發(fā)表于 12-06 10:28 ?524次閱讀

    深度學(xué)習(xí)模型的魯棒性優(yōu)化

    深度學(xué)習(xí)模型的魯棒性優(yōu)化是一個(gè)復(fù)雜但至關(guān)重要的任務(wù),它涉及多個(gè)方面的技術(shù)和策略。以下是一些關(guān)鍵的優(yōu)化方法: 一、數(shù)據(jù)預(yù)處理與增強(qiáng) 數(shù)據(jù)清洗 :去除數(shù)據(jù)中的噪聲和異常值,這是提高模型魯棒
    的頭像 發(fā)表于 11-11 10:25 ?1189次閱讀

    GPU深度學(xué)習(xí)應(yīng)用案例

    GPU在深度學(xué)習(xí)中的應(yīng)用廣泛且重要,以下是一些GPU深度學(xué)習(xí)應(yīng)用案例: 一、圖像識(shí)別 圖像識(shí)別是深度學(xué)習(xí)
    的頭像 發(fā)表于 10-27 11:13 ?1362次閱讀

    FPGA加速深度學(xué)習(xí)模型的案例

    FPGA(現(xiàn)場(chǎng)可編程門陣列)加速深度學(xué)習(xí)模型是當(dāng)前硬件加速領(lǐng)域的一個(gè)熱門研究方向。以下是一些FPGA加速深度學(xué)習(xí)
    的頭像 發(fā)表于 10-25 09:22 ?1226次閱讀

    AI大模型深度學(xué)習(xí)的關(guān)系

    AI大模型深度學(xué)習(xí)之間存在著密不可分的關(guān)系,它們互為促進(jìn),相輔相成。以下是對(duì)兩者關(guān)系的介紹: 一、深度學(xué)習(xí)是AI大
    的頭像 發(fā)表于 10-23 15:25 ?2882次閱讀

    【「大模型時(shí)代的基礎(chǔ)架構(gòu)」閱讀體驗(yàn)】+ 第一、二章學(xué)習(xí)感受

    今天閱讀了《大模型時(shí)代的基礎(chǔ)架構(gòu)》前兩章,還是比較輕松舒適的;再就是本書知識(shí)和我的工作領(lǐng)域沒有任何關(guān)聯(lián),一切都是新鮮的,似乎每讀一頁(yè)都會(huì)有所收獲,這種快樂的學(xué)習(xí)過程感覺也挺不錯(cuò)的。 第一章開始介紹了
    發(fā)表于 10-10 10:36

    【「大模型時(shí)代的基礎(chǔ)架構(gòu)」閱讀體驗(yàn)】+ 未知領(lǐng)域的感受

    國(guó)慶前就收到《大模型時(shí)代的基礎(chǔ)架構(gòu)》一書,感謝電子發(fā)燒友論壇。歡度國(guó)慶之余,今天才靜下心來體驗(yàn)此書,書不厚,200余頁(yè),彩色圖例,印刷精美! 當(dāng)初申請(qǐng)此書,主要是看到副標(biāo)題“大模型算力中心建設(shè)指南
    發(fā)表于 10-08 10:40

    FPGA做深度學(xué)習(xí)能走多遠(yuǎn)?

    并行計(jì)算的能力,可以在硬件層面并行處理大量數(shù)據(jù)。這種并行處理能力使得 FPGA 在執(zhí)行深度學(xué)習(xí)算法時(shí)速度遠(yuǎn)超傳統(tǒng)處理器,能夠提供更低的延遲和更高的吞吐量,從而加速模型訓(xùn)練和推理過程,滿足實(shí)時(shí)性要求較高
    發(fā)表于 09-27 20:53

    模型時(shí)代的算力需求

    現(xiàn)在AI已進(jìn)入大模型時(shí)代,各企業(yè)都爭(zhēng)相部署大模型,但如何保證大模型的算力,以及相關(guān)的穩(wěn)定性和性能,是一個(gè)極為重要的問題,帶著這個(gè)極為重要的問題,我需要在此書中找到答案。
    發(fā)表于 08-20 09:04

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識(shí)學(xué)習(xí)

    今天來學(xué)習(xí)大語(yǔ)言模型在自然語(yǔ)言理解方面的原理以及問答回復(fù)實(shí)現(xiàn)。 主要是基于深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)。 大語(yǔ)言模型涉及以下幾個(gè)過程: 數(shù)據(jù)收
    發(fā)表于 08-02 11:03

    NVIDIA推出全新深度學(xué)習(xí)框架fVDB

    在 SIGGRAPH 上推出的全新深度學(xué)習(xí)框架可用于打造自動(dòng)駕駛汽車、氣候科學(xué)和智慧城市的 AI 就緒型虛擬表示。
    的頭像 發(fā)表于 08-01 14:31 ?1141次閱讀