RDMA在高速網(wǎng)絡(luò)中的應(yīng)用及其實(shí)現(xiàn)策略

在大型模型應(yīng)用領(lǐng)域，要獲得最佳性能，關(guān)鍵在于精密配置，特別是當(dāng)GPU與InfiniBand網(wǎng)卡協(xié)同工作時(shí)。這里參考了合作伙伴NVIDIA推出的DGX系統(tǒng)...

2024-04-22 標(biāo)簽：cpugpu適配器 1014 0

一文解析AI驅(qū)動(dòng)光模塊變革

傳統(tǒng)的三層架構(gòu)已不再適應(yīng)日益增長(zhǎng)的數(shù)據(jù)中心流量需求，葉脊架構(gòu)的出現(xiàn)解決了這一問(wèn)題。葉脊架構(gòu)下，光模塊數(shù)量可高達(dá)數(shù)十倍，以滿(mǎn)足大規(guī)模AI集群對(duì)大帶寬、低時(shí)...

2024-04-22 標(biāo)簽：gpu數(shù)據(jù)中心光通信 1037 0

英偉達(dá)GPU壟斷局面下，開(kāi)源能否成為顛覆市場(chǎng)的關(guān)鍵力量？

開(kāi)源是AMD AI軟硬件生態(tài)系統(tǒng)的一大賣(mài)點(diǎn)，雖然ROCm軟件自 2016 年推出以來(lái)一直是開(kāi)源的，但是固件的開(kāi)源也很重要，AMD GPU 上的MES固件...

2024-04-18 標(biāo)簽：amd寄存器gpu 704 0

一、二、三代半導(dǎo)體的區(qū)別

在5G和新能源汽車(chē)等新市場(chǎng)需求的驅(qū)動(dòng)下，第三代半導(dǎo)體材料有望迎來(lái)加速發(fā)展。硅基半導(dǎo)體的性能已無(wú)法完全滿(mǎn)足5G和新能源汽車(chē)的需求，碳化硅和氮化鎵等第三代半...

2024-04-18 標(biāo)簽：半導(dǎo)體cpugpu 3918 0

基于生物識(shí)別的門(mén)禁系統(tǒng)解決方案

在生物識(shí)別訪(fǎng)問(wèn)控制系統(tǒng)發(fā)展過(guò)程中，物聯(lián)網(wǎng)（IoT）和人工智能（AI）的融合為該技術(shù)的市場(chǎng)推廣注入了新的活力。物聯(lián)網(wǎng)設(shè)備可以與接入系統(tǒng)通信，實(shí)現(xiàn)遠(yuǎn)程控制和監(jiān)控。

2024-04-17 標(biāo)簽：cpu門(mén)禁系統(tǒng)gpu 856 0

GPU：量化理論計(jì)算的新引擎

在過(guò)去的幾十年里，量化理論計(jì)算一直是化學(xué)研究的關(guān)鍵工具。密度泛函理論（DFT）、分子力學(xué)（MM）、耦合簇（CC）等方法在預(yù)測(cè)分子結(jié)構(gòu)、能量、光譜性質(zhì)等方...

2024-04-16 標(biāo)簽：處理器gpuDFT 758 0

GPU/TPU集群網(wǎng)絡(luò)組網(wǎng)間的連接方式

用于連接 GPU 服務(wù)器中的 8 個(gè) GPU 的 NVLink 交換機(jī)也可以用于構(gòu)建連接 GPU 服務(wù)器之間的交換網(wǎng)絡(luò)。Nvidia 在 2022 年的...

2024-04-16 標(biāo)簽：以太網(wǎng)gpu服務(wù)器 1361 0

什么是NVIDIA？InfiniBand網(wǎng)絡(luò)VSNVLink網(wǎng)絡(luò)

NVSwitch物理交換機(jī)將多個(gè)NVLink GPU服務(wù)器連接成一個(gè)大型Fabric網(wǎng)絡(luò)，即NVLink網(wǎng)絡(luò)，解決了GPU之間的高速通信帶寬和效率問(wèn)題。

2024-04-16 標(biāo)簽：以太網(wǎng)gpu交換機(jī) 2174 0

常用的RGB-D SLAM解決方案

BundleFusion是一種稠密的實(shí)時(shí)室內(nèi)場(chǎng)景三維重建算法框架。輸入為RGB-D相機(jī)采集的并且是對(duì)齊好的RGB圖像和深度圖的數(shù)據(jù)流。輸出為重建好的稠密...

2024-04-16 標(biāo)簽：機(jī)器人gpuSLAM 1513 0

AI服務(wù)器異構(gòu)計(jì)算深度解讀

AI服務(wù)器按芯片類(lèi)型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國(guó)內(nèi)的主要選擇（占比91.9%）。

2024-04-12 標(biāo)簽：gpu服務(wù)器異構(gòu)計(jì)算 935 0

NuLink PHY技術(shù)：突破計(jì)算芯片內(nèi)存瓶頸

NuLink PHY技術(shù)通過(guò)雙向傳輸功能和靈活的設(shè)計(jì)，為構(gòu)建更優(yōu)越的計(jì)算引擎提供了新的途徑。相比傳統(tǒng)的硅中介層封裝技術(shù)，NuLink PHY能夠提高計(jì)算...

2024-04-11 標(biāo)簽：gpu人工智能網(wǎng)絡(luò)傳輸 754 0

一文帶你了解NVIDIA Jetson

計(jì)算機(jī)發(fā)展成為今天的機(jī)器有著悠久的歷史，今天看到的許多計(jì)算機(jī)都遵循類(lèi)似的設(shè)計(jì)結(jié)構(gòu)，至少包含CPU、GPU、內(nèi)存和存儲(chǔ)。迄今為止，我們對(duì)計(jì)算機(jī)設(shè)計(jì)的了解大...

2024-04-09 標(biāo)簽：NVIDIAgpu人工智能 1035 0

探究GPGPU體系結(jié)構(gòu)優(yōu)化策略

GPU Warp內(nèi)，32個(gè)線(xiàn)程（NVIDIA）鎖步lock step執(zhí)行時(shí)，如果遇到每個(gè)分支走上了不同分支，比如20個(gè)線(xiàn)程if，12個(gè)執(zhí)行else，那么...

2024-04-09 標(biāo)簽：gpu內(nèi)存線(xiàn)程 1112 0

為什么GPU適用于AI？AI服務(wù)器產(chǎn)業(yè)鏈格局分析

GPT模型對(duì)比BERT模型、T5模型的參數(shù)量有明顯提升。GPT-3是目前最大的知名語(yǔ)言模型之一，包含了1750億（175B）個(gè)參數(shù)。在GPT-3發(fā)布之前...

2024-04-09 標(biāo)簽：cpugpu人工智能 1320 0

全面解讀英偉達(dá)AI芯片發(fā)展藍(lán)圖

　基于B100雙Die架構(gòu)，采用雙Socket板級(jí)3D擴(kuò)展可以實(shí)現(xiàn)與X100同等的算力。類(lèi)似的方法也可以應(yīng)用到X100中進(jìn)一步擴(kuò)展算力。

2024-04-09 標(biāo)簽：NVIDIAgpu英偉達(dá) 1252 0

如何打造超越英偉達(dá)性能的GPU

PHY 是一種物理網(wǎng)絡(luò)傳輸設(shè)備，它將交換芯片、網(wǎng)絡(luò)接口或計(jì)算引擎上或內(nèi)部的任何數(shù)量的其他類(lèi)型的接口鏈接到物理介質(zhì)（銅線(xiàn)、光纖、無(wú)線(xiàn)電信號(hào)），而物理介質(zhì)又...

2024-04-08 標(biāo)簽：DRAMgpu內(nèi)存 1372 0

X-Silicon發(fā)布RISC-V新架構(gòu) 實(shí)現(xiàn)CPU/GPU一體化

X-Silicon 的芯片與其他架構(gòu)不同，其設(shè)計(jì)將 CPU 和 GPU 的功能整合到單核架構(gòu)中。這與英特爾和 AMD 的典型設(shè)計(jì)不同，前者有獨(dú)立的 CP...

2024-04-08 標(biāo)簽：cpugpu微處理器 910 0

FPGA為什么比GPU的延遲低這么多？

FPGA 正是一種硬件可重構(gòu)的體系結(jié)構(gòu)。它的英文全稱(chēng)是Field Programmable Gate Array，中文名是現(xiàn)場(chǎng)可編程門(mén)陣列。 FP...

2024-04-08 標(biāo)簽：cpugpu圖像處理 1066 0

LLM推理任務(wù)中GPU的選擇策略

在Roofline模型可以直觀展示一張曲線(xiàn)圖，其中x軸表示AI（Arithmetic Intensity），即每個(gè)內(nèi)存操作對(duì)應(yīng)的浮點(diǎn)運(yùn)算次數(shù)；y軸表示性...

2024-04-07 標(biāo)簽：NVIDIAgpuLLM 1613 0

深入探討常見(jiàn)的GPU系統(tǒng)架構(gòu)

同一主機(jī)內(nèi)GPU之間的通信：通過(guò)NVLink技術(shù)，雙向帶寬達(dá)到600GB/s，單向帶寬達(dá)到300GB/s。

2024-04-07 標(biāo)簽：數(shù)據(jù)傳輸NVIDIAgpu 2689 0