一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

大模型時代,國產(chǎn)GPU面臨哪些挑戰(zhàn)

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-04-03 01:08 ? 次閱讀

電子發(fā)燒友網(wǎng)報道(文/李彎彎)隨著人工智能技術(shù)的快速發(fā)展,對GPU計算能力的需求也越來越高。國內(nèi)企業(yè)也正在不斷提升GPU性能,以滿足日益增長的應用需求。然而,相較于國際巨頭,國內(nèi)GPU仍然存在差距,國產(chǎn)GPU在不斷成長的過程中也存在諸多挑戰(zhàn)。

在大模型訓練上存在差距

大語言模型是基于深度學習的技術(shù)。這些模型通過在海量文本數(shù)據(jù)上的訓練,學習語言的語法、語境和語義等多層次的信息,用于理解和生成自然語言文本。大語言模型是自然語言處理(NLP)領(lǐng)域中的一個重要分支,應用于文本生成、分類、情感分析等多種任務(wù)。

深度學習是現(xiàn)代機器學習領(lǐng)域的一種強大的算法,它可以在圖像識別、語音識別、自然語言處理、游戲AI等各種應用領(lǐng)域取得驚人的成果。然而,深度學習對計算幾硬件的要求非常高,通常需要使用GPU進行大規(guī)模訓練。在使用GPU進行深度學習時,一個常見的問題就是選擇單精度還是雙精度。

浮點數(shù)是一種用于表示實數(shù)的數(shù)值格式,它包括符號位、指數(shù)位和尾數(shù)位三部分。通過這三部分,浮點數(shù)可以表示非常大或非常小的數(shù),同時保持一定的精度。

單精度和雙精度是指浮點數(shù)在計算機中的存儲方式和精度。單精度通常使用32位(4字節(jié))來存儲一個浮點數(shù),而雙精度則使用64位(8字節(jié))來存儲。由于雙精度使用了更多的位數(shù),因此它可以表示更大范圍的數(shù)值,并具有更高的精度。

大模型訓練需要處理高顆粒度的信息,因此對于用于大模型訓練的GPU芯片處理信息的精細度和算力速度要求更高,現(xiàn)階段,國產(chǎn)GPU在支持大模型訓練的能力方面相對來說還較差。

不同于多媒體和圖形處理的單精度浮點計算(FP32)計算需求,雙精度浮點計算能力FP64是進行高算力計算的硬性指標。英偉達的A100同時具備上述兩類能力,而國內(nèi)大多GPU只能處理單精度浮點計算。

從目前的信息來看,海光信息的協(xié)處理器DCU)能夠支持FP64雙精度浮點運算,海光DCU屬于GPGPU 的一種,采用“類CUDA”通用并行計算架構(gòu)。據(jù)該公司介紹,其DCU產(chǎn)品能夠完整支持大模型訓練。不過相比于英偉達的A100性能只有其60%。

另外,景嘉微表示面向AI 訓練、AI推理、科學計算等應用領(lǐng)域研發(fā)成功的景宏系列,支持INT8、FP16、FP32、FP64等混合精度運算,該產(chǎn)品在大模型的訓練上或許也可以期待一下。

在軟件和生態(tài)方面存在差距

除上述情況以外,國產(chǎn)GPU在軟件和生態(tài)方面與全球領(lǐng)先品牌相比,也存在一定的差距。軟件工具鏈的完善度方面,全球領(lǐng)先的GPU廠商已經(jīng)構(gòu)建了完整的軟件工具鏈,包括編譯器、調(diào)試器、性能分析工具等,可以方便地支持開發(fā)人員進行GPU程序的開發(fā)、調(diào)試和優(yōu)化。而國產(chǎn)GPU在這方面還需要進一步完善,以滿足用戶的多樣化需求。

生態(tài)系統(tǒng)的成熟度方面,全球GPU市場已經(jīng)形成了較為成熟的生態(tài)系統(tǒng),涵蓋了各種應用領(lǐng)域和場景。然而,國產(chǎn)GPU在生態(tài)系統(tǒng)建設(shè)方面尚處于起步階段,缺乏足夠的應用支持和市場認可。這導致國產(chǎn)GPU在市場上的競爭力相對較弱,難以與全球領(lǐng)先品牌抗衡。

近些年可以明顯的看到,國產(chǎn)PGU企業(yè)也正在這些方面不斷努力。在軟件支持方面,國產(chǎn)GPU企業(yè)正在積極與主流操作系統(tǒng)、開發(fā)環(huán)境以及圖形處理軟件等進行適配,確保用戶能夠流暢地使用各種應用軟件。同時,一些企業(yè)還在推動GPU在人工智能、云計算等新興領(lǐng)域的應用,為國產(chǎn)GPU生態(tài)注入新的活力。

在驅(qū)動程序優(yōu)化方面,國產(chǎn)GPU企業(yè)也在加大投入力度,不斷提升驅(qū)動程序的性能和穩(wěn)定性。通過優(yōu)化驅(qū)動程序,可以充分發(fā)揮GPU的性能優(yōu)勢,提升整體計算效率。

此外,國產(chǎn)GPU企業(yè)還在積極探索與各種應用場景的深度融合。例如,在游戲、圖形設(shè)計、視頻渲染等領(lǐng)域,國產(chǎn)GPU正在與相關(guān)企業(yè)合作,共同推動相關(guān)應用的發(fā)展。這種深度融合不僅有助于提升國產(chǎn)GPU的市場競爭力,也有助于推動整個產(chǎn)業(yè)的進步。

寫在最后

近些年國產(chǎn)GPU正在蓬勃發(fā)展,不過相較于國際巨頭,仍然存在較大差距。近年來,大模型快速發(fā)展,國產(chǎn)GPU在大模型訓練方面的不足也凸顯出來。不過也可以看到,目前國產(chǎn)GPU企業(yè)都在積極朝大模型方向布局,包括訓練和推理。另外軟件和生態(tài)建設(shè)也在加速推進。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4882

    瀏覽量

    130390
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2941

    瀏覽量

    3683
收藏 人收藏

    評論

    相關(guān)推薦

    無法在GPU上運行ONNX模型的Benchmark_app怎么解決?

    在 CPU 和 GPU 上運行OpenVINO? 2023.0 Benchmark_app推斷的 ONNX 模型。 在 CPU 上推理成功,但在 GPU 上失敗。
    發(fā)表于 03-06 08:02

    浪潮信息剖析智能時代數(shù)據(jù)存儲領(lǐng)域面臨挑戰(zhàn)與機遇

    在當今數(shù)字化時代,算力與存力的協(xié)同增長已成為驅(qū)動各行各業(yè)發(fā)展的關(guān)鍵力量。特別是在人工智能(AI)這一前沿領(lǐng)域,隨著數(shù)據(jù)量的爆炸式增長,對存儲系統(tǒng)的需求日益復雜和多樣。近期,在首屆CCF中國存儲大會上,浪潮信息存儲首席架構(gòu)師孫斌深刻剖析了智能時代數(shù)據(jù)存儲領(lǐng)域
    的頭像 發(fā)表于 12-30 09:43 ?579次閱讀

    GPU是如何訓練AI大模型

    在AI模型的訓練過程中,大量的計算工作集中在矩陣乘法、向量加法和激活函數(shù)等運算上。這些運算正是GPU所擅長的。接下來,AI部落小編帶您了解GPU是如何訓練AI大模型的。
    的頭像 發(fā)表于 12-19 17:54 ?546次閱讀

    國產(chǎn)模型發(fā)展的經(jīng)驗與教訓

    ? ? 本文介紹大模型的計算特征(國產(chǎn)平臺介紹、系統(tǒng)挑戰(zhàn)、算子實現(xiàn)、容錯)、框架的并行性支持、未來算法等。 隨著ChatGPT的橫空出世,人工智能大模型成為各行各業(yè)熱議的焦點,國內(nèi)外各
    的頭像 發(fā)表于 11-11 11:39 ?550次閱讀
    <b class='flag-5'>國產(chǎn)</b>大<b class='flag-5'>模型</b>發(fā)展的經(jīng)驗與教訓

    PyTorch GPU 加速訓練模型方法

    在深度學習領(lǐng)域,GPU加速訓練模型已經(jīng)成為提高訓練效率和縮短訓練時間的重要手段。PyTorch作為一個流行的深度學習框架,提供了豐富的工具和方法來利用GPU進行模型訓練。 1. 了解
    的頭像 發(fā)表于 11-05 17:43 ?1135次閱讀

    【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 第一、二章學習感受

    今天閱讀了《大模型時代的基礎(chǔ)架構(gòu)》前兩章,還是比較輕松舒適的;再就是本書知識和我的工作領(lǐng)域沒有任何關(guān)聯(lián),一切都是新鮮的,似乎每讀一頁都會有所收獲,這種快樂的學習過程感覺也挺不錯的。 第一章開始介紹了
    發(fā)表于 10-10 10:36

    【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 未知領(lǐng)域的感受

    國慶前就收到《大模型時代的基礎(chǔ)架構(gòu)》一書,感謝電子發(fā)燒友論壇。歡度國慶之余,今天才靜下心來體驗此書,書不厚,200余頁,彩色圖例,印刷精美! 當初申請此書,主要是看到副標題“大模型算力中心建設(shè)指南
    發(fā)表于 10-08 10:40

    模型時代的算力需求

    現(xiàn)在AI已進入大模型時代,各企業(yè)都爭相部署大模型,但如何保證大模型的算力,以及相關(guān)的穩(wěn)定性和性能,是一個極為重要的問題,帶著這個極為重要的問題,我需要在此書中找到答案。
    發(fā)表于 08-20 09:04

    名單公布!【書籍評測活動NO.41】大模型時代的基礎(chǔ)架構(gòu):大模型算力中心建設(shè)指南

    基于TOGAF方法論,剖析業(yè)界知名案例的設(shè)計方案。 全書總計13章。第1章講解AI與大模型時代對基礎(chǔ)架構(gòu)的需求;第2章講解軟件程序與專用硬件的結(jié)合,涉及GPU并行運算庫、機器學習程序的開發(fā)框架和分布式AI訓練
    發(fā)表于 08-16 18:33

    國產(chǎn)FPGA的發(fā)展前景是什么?

    ,擴大市場份額。 國際化布局:加強與國際巨頭的合作與競爭,了解國際市場需求和趨勢,推動國產(chǎn)FPGA走向全球。 六、面臨挑戰(zhàn)盡管國產(chǎn)FPGA的發(fā)展前景廣闊,但仍
    發(fā)表于 07-29 17:04

    模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn)

    電子發(fā)燒友網(wǎng)站提供《大模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn).pdf》資料免費下載
    發(fā)表于 07-18 15:44 ?11次下載
    大<b class='flag-5'>模型</b>發(fā)展下,<b class='flag-5'>國產(chǎn)</b><b class='flag-5'>GPU</b>的機會和<b class='flag-5'>挑戰(zhàn)</b>

    模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn)(下)

    洞見分析經(jīng)驗分享模型
    電子發(fā)燒友網(wǎng)官方
    發(fā)布于 :2024年06月11日 17:15:23

    模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn)(上)

    洞見分析經(jīng)驗分享模型
    電子發(fā)燒友網(wǎng)官方
    發(fā)布于 :2024年06月11日 16:51:11

    摩爾線程與無問芯穹在國產(chǎn)GPU上首次實現(xiàn)大模型實訓

    近日,摩爾線程與無問芯穹共同宣布,雙方已正式完成基于國產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實訓。這款名為“MT-infini-3B”的模型,在摩爾線程夸娥(KUAE)千卡智算集群與無
    的頭像 發(fā)表于 05-27 10:59 ?842次閱讀

    2024年國產(chǎn)數(shù)字隔離器:挑戰(zhàn)與機遇探析

    國產(chǎn)數(shù)字隔離器作為一種重要的電子元器件,在工業(yè)控制、通信、醫(yī)療等領(lǐng)域發(fā)揮著重要作用。然而,面對不斷變化的市場環(huán)境和技術(shù)挑戰(zhàn),國產(chǎn)數(shù)字隔離器在2024年面臨著諸多
    的頭像 發(fā)表于 05-24 17:15 ?1044次閱讀
    2024年<b class='flag-5'>國產(chǎn)</b>數(shù)字隔離器:<b class='flag-5'>挑戰(zhàn)</b>與機遇探析