什么是Triton-shared？Triton-shared的安裝和使用

經(jīng)過前面幾章關(guān)于triton在nv gpu上調(diào)優(yōu)的講解，我們這章開始來看看triton的一個(gè)third_party庫，該庫是為了讓triton去支持更多...

2023-12-19 標(biāo)簽：gpuTriton代碼 1846 0

TOP25座艙SoC芯片性能排名

CPU算力決定座艙系統(tǒng)的流暢程度；GPU算力決定屏幕數(shù)量、分辨率和3D圖形性能；制造工藝越先進(jìn)，功耗就能降低更多；存儲(chǔ)帶寬也決定一部分流暢程度；AI算力...

2023-12-18 標(biāo)簽：cpugpuSoC芯片 3852 0

PyTorch常用代碼段合集資料分享

減少 CPU 和 GPU 之間的數(shù)據(jù)傳輸。例如如果你想知道一個(gè) epoch 中每個(gè) mini-batch 的 loss 和準(zhǔn)確率，先將它們累積在 GPU...

2023-12-18 標(biāo)簽：cpugpu函數(shù) 970 0

Triton編譯器的原理和性能

Triton是一種用于編寫高效自定義深度學(xué)習(xí)原語的語言和編譯器。Triton的目的是提供一個(gè)開源環(huán)境，以比CUDA更高的生產(chǎn)力編寫快速代碼，但也比其他現(xiàn)...

2023-12-16 標(biāo)簽：內(nèi)核gpuTriton 3905 0

淺談DPU和CPU、GPU的關(guān)系

把CPU的一大部分算力卸載給GPU之后，人們發(fā)現(xiàn)可以把很多其他功能也外包出去，于是又有了智能網(wǎng)卡，或者叫做DPU。

2023-12-14 標(biāo)簽：cpugpuDPU 1378 0

CPU和GPU之間的主要區(qū)別

以下是以表格形式提供的CPU和GPU之間的一些區(qū)別：中央處理器圖形處理器CPU代表中央處理器。GPU代表圖形處理單元。CPU是通用處理器。GPU是專用處...

2023-12-14 標(biāo)簽：cpugpu圖形處理器 1229 0

大模型時(shí)代，AI芯片面臨的三大挑戰(zhàn)

AI算力需求的提升給中國本土芯片廠商的發(fā)展提供了較大的空間，帶來新的機(jī)遇。IDC預(yù)計(jì)，2023年中國人工智能芯片出貨量將達(dá)到133.5萬片，同比增長(zhǎng) 2...

2023-12-14 標(biāo)簽：cpugpuAI 2126 0

AI時(shí)代，你需要了解的GPU互聯(lián)技術(shù)：NVLink、IB、ROCE

總線是數(shù)據(jù)通信必備管道，PCIe 是最泛使用的總線協(xié)議。總線是服務(wù)器主板上不同硬件互相進(jìn)行數(shù)據(jù)通信的管道，對(duì)數(shù)據(jù)傳輸速度起到?jīng)Q定性作用，目前最普及的總線...

2023-12-13 標(biāo)簽：數(shù)據(jù)傳輸gpuAI 1.5萬 0

機(jī)器學(xué)習(xí)硬件性能的最新趨勢(shì)

許多DGX H100服務(wù)器又可以組成所謂的SuperPOD，其中各個(gè)獨(dú)立服務(wù)器中的加速器仍可使用NVLink傳輸數(shù)據(jù)，但耦合程度較低。每個(gè)SuperPO...

2023-12-13 標(biāo)簽：cpu加速器gpu 657 0

什么是第三代通用計(jì)算？既通用又高性能的計(jì)算存在嗎？

對(duì)大芯片來說，通用是成功的必由之路。CPU是通用芯片，成就了Intel的成功；GPU是通用芯片，成就了NVIDIA的成功。目前，還沒有看到做專用芯片非常...

2023-12-12 標(biāo)簽：集成電路cpugpu 1210 0

簡(jiǎn)單認(rèn)識(shí)高級(jí)處理器

除了傳統(tǒng)的處理器 (CPU、MPU/MCU、DSP 和 GPU)，面向當(dāng)代各種應(yīng)用的高級(jí)處理器（Advanced Processors）層出不窮，例如加...

2023-12-07 標(biāo)簽：處理器dspamd 1346 0

解讀AMD的“分布式幾何”新專利（GPU的完全小芯片方法）

AMD 的專利詳細(xì)介紹了一種方法，即放棄中央處理器，用多個(gè)小芯片取代單個(gè)硅塊，每個(gè)小芯片處理自己的任務(wù)。渲染指令以稱為命令列表的長(zhǎng)序列發(fā)送到 GPU，其...

2023-12-06 標(biāo)簽：處理器amdgpu 892 0

下一代HBM技術(shù)路線選擇對(duì)行業(yè)有何影響？

HBM 存儲(chǔ)器堆棧通過微凸塊連接到 HBM 堆棧中的硅通孔（TSV 或連接孔），并與放置在基礎(chǔ)封裝層上的中間件相連，中間件上還安裝有處理器，提供 HBM...

2023-12-06 標(biāo)簽：DRAM存儲(chǔ)器gpu 752 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個(gè)K和V...

2023-12-04 標(biāo)簽：gpuGPTLLM 8961 0

Xen雙系統(tǒng)GPU資源分配過程

i.MX8 有兩個(gè) GPU，型號(hào)為 GC7000，這兩個(gè) GPU 可以同時(shí)分給 Kernel 系統(tǒng)，也可以同時(shí)分給 Android 系統(tǒng)，也可以一邊分配...

2023-12-04 標(biāo)簽：NXPAndroidgpu 858 0

盤點(diǎn)GPU Fabric典型拓?fù)浣Y(jié)構(gòu)

當(dāng)前，許多超大規(guī)模廠商正在競(jìng)相構(gòu)建大型 GPU 集群，以適應(yīng)GenAI訓(xùn)練工作負(fù)載。本文探討了針對(duì)GenAI訓(xùn)練工作負(fù)載進(jìn)行優(yōu)化的各種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如M...

2023-12-03 標(biāo)簽：負(fù)載gpu拓?fù)浣Y(jié)構(gòu) 4287 0

從圖形到通用計(jì)算：GPGPU技術(shù)的進(jìn)化之路

在當(dāng)今的計(jì)算世界中，GPGPU（General-Purpose computing on Graphics Processing Units）已成為一種...

2023-12-01 標(biāo)簽：gpu圖形處理GPGPU 1838 0

深入理解BigBird的塊稀疏高效實(shí)現(xiàn)方案

RoBERTa 架構(gòu)的 BigBird 模型現(xiàn)已集成入 transformers 中。本文的目的是讓讀者 深入 了解 BigBird 的實(shí)現(xiàn)，并讓讀者能...

2023-11-29 標(biāo)簽：gpu算法Transformer 876 0