全志A40和A50的區(qū)別 A40i處理器架構(gòu)設(shè)計分析

全志A50相對于A40來說，在處理器性能、GPU性能和視頻解碼能力方面略為突出。這使得A50更適合處理更為復(fù)雜的應(yīng)用需求，如高清視頻播放、游戲等。對于一...

2023-08-05 標簽：處理器嵌入式系統(tǒng)GPU 7240 0

面向高性能計算和人工智能聚焦VDI的GPU部署

由于圖形和視頻在常見生產(chǎn)力類應(yīng)用中的使用大量增加，對于眾多傳統(tǒng)知識型崗位工作者來說，GPU已經(jīng)成為其VDI解決方案必不可少的組成。NVIDIA一直是面向...

2018-04-01 標簽：NVIDIAGPU人工智能 7192 0

圖解大模型系列之：Megatron源碼解讀1，分布式環(huán)境初始化

使用Megatron來訓(xùn)練gpt類大模型的項目有很多。在這個系列里，我選擇了由THUDM開發(fā)的CodeGeeX項目，它是gpt在代碼生成方向上的應(yīng)用，對...

2023-06-06 標簽：gpu源碼大模型 7005 0

超算網(wǎng)絡(luò)中的主流拓撲架構(gòu)

傳統(tǒng)的樹形網(wǎng)絡(luò)拓撲中，帶寬是逐層收斂的，樹根處的網(wǎng)絡(luò)帶寬要遠小于各個葉子處所有帶寬的總和。而Fat-Tree則更像是真實的樹，越到樹根，枝干越粗，即：從...

2024-03-26 標簽：gpu服務(wù)器交換機 6954 0

如何使用OpenCL輕松實現(xiàn)FPGA應(yīng)用編程

實現(xiàn)這一編程思想的轉(zhuǎn)變，是因為 FPGA 借助 OpenCL 實現(xiàn)了編程，程序員只需要通過 C/C++ 添加適當(dāng)?shù)?pragma 就能實現(xiàn) FPGA 編...

2020-07-16 標簽：fpgagpu深度學(xué)習(xí) 6908 0

深度解析HBM內(nèi)存技術(shù)

HBM作為基于3D堆棧工藝的高性能DRAM，打破內(nèi)存帶寬及功耗瓶頸。HBM(High Bandwidth Memory)即高帶寬存儲器，通過使用先進封裝...

2024-01-02 標簽：存儲器gpu內(nèi)存 6797 0

CPU和GPU大不相同，究竟原因在哪？

GPU采用了數(shù)量眾多的計算單元和超長的流水線，但只有非常簡單的控制邏輯并省去了Cache。而CPU不僅被Cache占據(jù)了大量空間，而且還有有復(fù)雜的控制邏...

2017-10-26 標簽：cpu摩爾定律gpu 6786 1

CPU與GPU維護數(shù)據(jù)結(jié)構(gòu)來保證環(huán)形緩沖區(qū)的正確工作

CPU 和 GPU 將各自維護一些數(shù)據(jù)結(jié)構(gòu)來保證環(huán)形緩沖區(qū)的正確工作。這些 數(shù)據(jù)結(jié)構(gòu)有緩沖區(qū)的基地址，緩沖區(qū)大小，寫指針和讀指針。其中寫指針和讀指針分別...

2018-03-30 標簽：CPUGPU數(shù)據(jù)結(jié)構(gòu) 6710 0

什么是CXL技術(shù)？CXL的三種模式、類型、應(yīng)用

更快的數(shù)據(jù)傳輸速度：CXL技術(shù)可以實現(xiàn)高達25GB/s的數(shù)據(jù)傳輸速度，比目前常用的PCIe 4.0技術(shù)還要快。這意味著在數(shù)據(jù)中心等高性能應(yīng)用場景下，可以...

2023-09-27 標簽：fpgacpugpu 6708 0

主流大模型推理框架盤點解析

vLLM是一個開源的大模型推理加速框架，通過PagedAttention高效地管理attention中緩存的張量，實現(xiàn)了比HuggingFace Tra...

2023-10-10 標簽：神經(jīng)網(wǎng)絡(luò)gpu服務(wù)器 6680 0

AI服務(wù)器架構(gòu)的五大硬件拆解

AI 服務(wù)器我們瞄準英偉達 DGX A100 和 DGX H100 兩款具有標桿性產(chǎn)品力的產(chǎn)品進行分析，鑒于 H100 發(fā)布時間較短、資料詳盡度不夠，我...

2023-08-11 標簽：pcbgpu服務(wù)器 6585 0