電子發(fā)燒友網(wǎng)報道(文/李彎彎)隨著人工智能技術(shù)的快速發(fā)展,對GPU計算能力的需求也越來越高。國內(nèi)企業(yè)也正在不斷提升GPU性能,以滿足日益增長的應用需求。然而,相較于國際巨頭,國內(nèi)GPU仍然存在差距,國產(chǎn)GPU在不斷成長的過程中也存在諸多挑戰(zhàn)。
在大模型訓練上存在差距
大語言模型是基于深度學習的技術(shù)。這些模型通過在海量文本數(shù)據(jù)上的訓練,學習語言的語法、語境和語義等多層次的信息,用于理解和生成自然語言文本。大語言模型是自然語言處理(NLP)領(lǐng)域中的一個重要分支,應用于文本生成、分類、情感分析等多種任務(wù)。
深度學習是現(xiàn)代機器學習領(lǐng)域的一種強大的算法,它可以在圖像識別、語音識別、自然語言處理、游戲AI等各種應用領(lǐng)域取得驚人的成果。然而,深度學習對計算幾硬件的要求非常高,通常需要使用GPU進行大規(guī)模訓練。在使用GPU進行深度學習時,一個常見的問題就是選擇單精度還是雙精度。
浮點數(shù)是一種用于表示實數(shù)的數(shù)值格式,它包括符號位、指數(shù)位和尾數(shù)位三部分。通過這三部分,浮點數(shù)可以表示非常大或非常小的數(shù),同時保持一定的精度。
單精度和雙精度是指浮點數(shù)在計算機中的存儲方式和精度。單精度通常使用32位(4字節(jié))來存儲一個浮點數(shù),而雙精度則使用64位(8字節(jié))來存儲。由于雙精度使用了更多的位數(shù),因此它可以表示更大范圍的數(shù)值,并具有更高的精度。
大模型訓練需要處理高顆粒度的信息,因此對于用于大模型訓練的GPU芯片處理信息的精細度和算力速度要求更高,現(xiàn)階段,國產(chǎn)GPU在支持大模型訓練的能力方面相對來說還較差。
不同于多媒體和圖形處理的單精度浮點計算(FP32)計算需求,雙精度浮點計算能力FP64是進行高算力計算的硬性指標。英偉達的A100同時具備上述兩類能力,而國內(nèi)大多GPU只能處理單精度浮點計算。
從目前的信息來看,海光信息的協(xié)處理器(DCU)能夠支持FP64雙精度浮點運算,海光DCU屬于GPGPU 的一種,采用“類CUDA”通用并行計算架構(gòu)。據(jù)該公司介紹,其DCU產(chǎn)品能夠完整支持大模型訓練。不過相比于英偉達的A100性能只有其60%。
另外,景嘉微表示面向AI 訓練、AI推理、科學計算等應用領(lǐng)域研發(fā)成功的景宏系列,支持INT8、FP16、FP32、FP64等混合精度運算,該產(chǎn)品在大模型的訓練上或許也可以期待一下。
在軟件和生態(tài)方面存在差距
除上述情況以外,國產(chǎn)GPU在軟件和生態(tài)方面與全球領(lǐng)先品牌相比,也存在一定的差距。軟件工具鏈的完善度方面,全球領(lǐng)先的GPU廠商已經(jīng)構(gòu)建了完整的軟件工具鏈,包括編譯器、調(diào)試器、性能分析工具等,可以方便地支持開發(fā)人員進行GPU程序的開發(fā)、調(diào)試和優(yōu)化。而國產(chǎn)GPU在這方面還需要進一步完善,以滿足用戶的多樣化需求。
生態(tài)系統(tǒng)的成熟度方面,全球GPU市場已經(jīng)形成了較為成熟的生態(tài)系統(tǒng),涵蓋了各種應用領(lǐng)域和場景。然而,國產(chǎn)GPU在生態(tài)系統(tǒng)建設(shè)方面尚處于起步階段,缺乏足夠的應用支持和市場認可。這導致國產(chǎn)GPU在市場上的競爭力相對較弱,難以與全球領(lǐng)先品牌抗衡。
近些年可以明顯的看到,國產(chǎn)PGU企業(yè)也正在這些方面不斷努力。在軟件支持方面,國產(chǎn)GPU企業(yè)正在積極與主流操作系統(tǒng)、開發(fā)環(huán)境以及圖形處理軟件等進行適配,確保用戶能夠流暢地使用各種應用軟件。同時,一些企業(yè)還在推動GPU在人工智能、云計算等新興領(lǐng)域的應用,為國產(chǎn)GPU生態(tài)注入新的活力。
在驅(qū)動程序優(yōu)化方面,國產(chǎn)GPU企業(yè)也在加大投入力度,不斷提升驅(qū)動程序的性能和穩(wěn)定性。通過優(yōu)化驅(qū)動程序,可以充分發(fā)揮GPU的性能優(yōu)勢,提升整體計算效率。
此外,國產(chǎn)GPU企業(yè)還在積極探索與各種應用場景的深度融合。例如,在游戲、圖形設(shè)計、視頻渲染等領(lǐng)域,國產(chǎn)GPU正在與相關(guān)企業(yè)合作,共同推動相關(guān)應用的發(fā)展。這種深度融合不僅有助于提升國產(chǎn)GPU的市場競爭力,也有助于推動整個產(chǎn)業(yè)的進步。
寫在最后
近些年國產(chǎn)GPU正在蓬勃發(fā)展,不過相較于國際巨頭,仍然存在較大差距。近年來,大模型快速發(fā)展,國產(chǎn)GPU在大模型訓練方面的不足也凸顯出來。不過也可以看到,目前國產(chǎn)GPU企業(yè)都在積極朝大模型方向布局,包括訓練和推理。另外軟件和生態(tài)建設(shè)也在加速推進。
-
gpu
+關(guān)注
關(guān)注
28文章
4882瀏覽量
130390 -
大模型
+關(guān)注
關(guān)注
2文章
2941瀏覽量
3683
發(fā)布評論請先 登錄
相關(guān)推薦
無法在GPU上運行ONNX模型的Benchmark_app怎么解決?
浪潮信息剖析智能時代數(shù)據(jù)存儲領(lǐng)域面臨的挑戰(zhàn)與機遇
GPU是如何訓練AI大模型的
國產(chǎn)大模型發(fā)展的經(jīng)驗與教訓

PyTorch GPU 加速訓練模型方法
【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 第一、二章學習感受
【「大模型時代的基礎(chǔ)架構(gòu)」閱讀體驗】+ 未知領(lǐng)域的感受
大模型時代的算力需求
名單公布!【書籍評測活動NO.41】大模型時代的基礎(chǔ)架構(gòu):大模型算力中心建設(shè)指南
國產(chǎn)FPGA的發(fā)展前景是什么?
大模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn)


大模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn)(下)

大模型發(fā)展下,國產(chǎn)GPU的機會和挑戰(zhàn)(上)
摩爾線程與無問芯穹在國產(chǎn)GPU上首次實現(xiàn)大模型實訓
2024年國產(chǎn)數(shù)字隔離器:挑戰(zhàn)與機遇探析

評論