AI計(jì)算，為什么要用GPU？

今天這篇文章，我們繼續(xù)來聊聊芯片。 在之前的文章里，小棗君說過，行業(yè)里通常會(huì)把半導(dǎo)體芯片分為數(shù)字芯片和模擬芯片。其中，數(shù)字芯片的市場規(guī)模占比較大，達(dá)到7...

2024-01-04 標(biāo)簽：gpuAI數(shù)字芯片 903 0

四種微調(diào)大模型的方法介紹

全微調(diào)（Full Fine-tuning）：全微調(diào)是指對(duì)整個(gè)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，包括所有的模型參數(shù)。在這種方法中，預(yù)訓(xùn)練模型的所有層和參數(shù)都會(huì)被更新和優(yōu)...

2024-01-03 標(biāo)簽：gpu深度學(xué)習(xí)ChatGPT 2.6萬 0

基于國產(chǎn)AI編譯器ICRAFT部署YOLOv5邊緣端計(jì)算的實(shí)戰(zhàn)案例

人工智能領(lǐng)域中各種算法模型的不斷研究和改進(jìn)。隨著深度學(xué)習(xí)的興起，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、生成對(duì)抗網(wǎng)絡(luò)（GAN）、transf...

2024-01-03 標(biāo)簽：gpu物聯(lián)網(wǎng)人工智能 1.7萬 0

AI時(shí)代的計(jì)算，是不是GPU一家通吃呢？

在之前的文章里，小棗君說過，行業(yè)里通常會(huì)把半導(dǎo)體芯片分為數(shù)字芯片和模擬芯片。其中，數(shù)字芯片的市場規(guī)模占比較大，達(dá)到70%左右。

2024-01-02 標(biāo)簽：處理器gpu門電路 940 0

AI算力服務(wù)器技術(shù)及產(chǎn)業(yè)鏈報(bào)告

“算網(wǎng)大腦”即算力網(wǎng)絡(luò)中最核心的部分，主 要進(jìn)行全網(wǎng)算力資源的智能編排、彈性調(diào)度，具體而言有四個(gè)作用： 1） 獲取全域?qū)崟r(shí)的算、網(wǎng)、數(shù)資源，以及云、邊...

2024-01-02 標(biāo)簽：gpu服務(wù)器AI 1221 0

深度解析HBM內(nèi)存技術(shù)

HBM作為基于3D堆棧工藝的高性能DRAM，打破內(nèi)存帶寬及功耗瓶頸。HBM(High Bandwidth Memory)即高帶寬存儲(chǔ)器，通過使用先進(jìn)封裝...

2024-01-02 標(biāo)簽：存儲(chǔ)器gpu內(nèi)存 6792 0

英偉達(dá)和華為/海思主流GPU型號(hào)性能參考

一句話總結(jié)，H100 vs. A100：3 倍性能，2 倍價(jià)格 值得注意的是，HCCS vs. NVLINK的GPU 間帶寬。 對(duì)于 8 卡 A...

2023-12-29 標(biāo)簽：cpugpu英偉達(dá) 1.1萬 0

1-2B參數(shù)規(guī)模大模型的使用心得

大模型時(shí)代，根據(jù)大模型縮放定律，大家通常都在追求模型的參數(shù)規(guī)模更大、訓(xùn)練的數(shù)據(jù)更多，從而使得大模型涌現(xiàn)出更多的智能。但是，模型參數(shù)越大部署壓力就越大。即...

2023-12-28 標(biāo)簽：手機(jī)gpu參數(shù) 1460 0

英偉達(dá)vs.華為/海思：GPU性能一覽

NVIDIA NVLink采用全網(wǎng)狀拓?fù)?，如下所示，（雙向）GPU-to-GPU 最大帶寬可達(dá)到400GB/s （需要注意的是，下方展示的是8*A100...

2023-12-27 標(biāo)簽：華為NVIDIAgpu 3046 0

揭秘：實(shí)時(shí)渲染、離線渲染、云渲染和混合渲染的區(qū)別

渲染，就是將3D模型轉(zhuǎn)換成2D圖像，并最終呈現(xiàn)在屏幕上的過程。常見的渲染類型有以下幾種：實(shí)時(shí)渲染離線渲染云渲染混合渲染它們中間有重疊交叉，也有技術(shù)區(qū)別。...

2023-12-26 標(biāo)簽：gpu模型 1256 0

DPU技術(shù)發(fā)展及落地實(shí)戰(zhàn)

Nitro DPU系統(tǒng)提供了密鑰、網(wǎng)絡(luò)、安全、服務(wù)器和監(jiān)控等功能支持，釋放了底層服務(wù)資源供客戶的虛擬機(jī)使用，并且NitroDPU使AWS可以提供更多的裸...

2023-12-26 標(biāo)簽：fpgagpuDPU 1443 0

一文詳解LLM模型基本架構(gòu)

LLM 中非常重要的一個(gè)概念是 Token，我們輸入給 LLM 和它輸出的都是 Token。Token 在這里可以看做語言的基本單位，中文一般是詞或字（...

2023-12-25 標(biāo)簽：gpurust語言LLM 4023 0

GPU集群組網(wǎng)技術(shù)詳解

? 流行的GPU/TPU集群網(wǎng)絡(luò)組網(wǎng)，包括：NVLink、InfiniBand、ROCE以太網(wǎng)Fabric、DDC網(wǎng)絡(luò)方案等，深入了解它們之間的連接方...

2023-12-25 標(biāo)簽：gpu服務(wù)器InfiniBand 6236 0

詳細(xì)解讀GPU的起源及發(fā)展

最早的算力引擎。是人類的大腦，后來演變成草繩、石頭、算籌（一種用于計(jì)算的小棍子）、算盤。到了20世紀(jì)40年代，世界上第一臺(tái)數(shù)字式電子計(jì)算機(jī)ENIAC誕生...

2023-12-25 標(biāo)簽：cpugpuAI 3146 0

NVIDIA RTX 5000 Ada顯卡性能實(shí)測報(bào)告

單精度浮點(diǎn)運(yùn)算性能是顯卡一項(xiàng)重要的指標(biāo)，很多計(jì)算都是使用單精度來完成的。從測試結(jié)果來看 RTX 5000 Ada 的性能達(dá)到了 63.1T，而 RTX ...

2023-12-21 標(biāo)簽：NVIDIAgpu顯卡 1.1萬 0

深入分析AMD MI300A的規(guī)格和設(shè)計(jì)方案

MI300A 與 H100 SXM，同樣是 APU（CPU + GPU）與僅 GPU 的比較，AMD 認(rèn)為其芯片處于大致水平，但包含 CPU。

2023-12-21 標(biāo)簽：芯片amdcpu 3448 0

Python GPU DataFrame庫cuDF介紹

cuDF (Pandas GPU 平替)，用于加載、連接、聚合、過濾和其他數(shù)據(jù)操作。

2023-12-20 標(biāo)簽：gpu編程數(shù)據(jù)結(jié)構(gòu) 986 0