全球GPU市場分析 GPU在汽車電子中的應(yīng)用情況

以ChatGPT的訓(xùn)練為例，單次模型訓(xùn)練就可能需要超過2000張英偉達(dá)A100顯卡持續(xù)不斷地訓(xùn)練27天。不僅如此，大模型的日常運(yùn)行中每一次用戶調(diào)用都需要...

2023-11-10 標(biāo)簽：amdNVIDIAgpu 967 0

什么是虛擬GPU？虛擬GPU的優(yōu)勢有哪些？

虛擬 GPU，也稱為 vGPU，是通過將數(shù)據(jù)中心 GPU 進(jìn)行虛擬化，用戶可在多個(gè)虛擬機(jī)中共享該 GPU。

2023-11-10 標(biāo)簽：NVIDIAgpu數(shù)據(jù)中心 2304 0

一文解析Numenta加速AI推理的的秘密

Numenta成立于2005年，由Jeff Hawkins和Donna Dubinsky創(chuàng)立，公司的目標(biāo)是將更多的大腦工作方式應(yīng)用于人工智能問題。提出的...

2023-11-06 標(biāo)簽：英特爾cpuNVIDIA 373 0

如何讓網(wǎng)絡(luò)模型加速訓(xùn)練

如果我們使用的 數(shù)據(jù)集較大 ，且 網(wǎng)絡(luò)較深 ，則會造成 訓(xùn)練較慢 ，此時(shí)我們要 想加速訓(xùn)練 可以使用 Pytorch的AMP （ autocast與Gr...

2023-11-03 標(biāo)簽：NVIDIA數(shù)據(jù)集網(wǎng)絡(luò)模型 1830 0

如何搭建高效推薦系統(tǒng)？用Milvus和NVIDIA Merlin搭建高效推薦系統(tǒng)

如何搭建一個(gè)高效的推薦系統(tǒng)？ 簡單來說，現(xiàn)代推薦系統(tǒng)由訓(xùn)練/推斷流水線（pipeline）組成，涉及數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、模型訓(xùn)練和調(diào)整檢索、過濾、排名...

2023-11-01 標(biāo)簽：NVIDIA英偉達(dá)深度學(xué)習(xí) 1231 0

基于PyTorch的模型并行分布式訓(xùn)練Megatron解析

NVIDIA Megatron 是一個(gè)基于 PyTorch 的分布式訓(xùn)練框架，用來訓(xùn)練超大Transformer語言模型，其通過綜合應(yīng)用了數(shù)據(jù)并行，Te...

2023-10-23 標(biāo)簽：NVIDIA源碼模型 3923 0

CUDA核心是什么？CUDA核心的工作原理

CUDA核心（Compute Unified Device Architecture Core）是NVIDIA圖形處理器（GPU）上的計(jì)算單元，用于執(zhí)行...

2023-09-27 標(biāo)簽：存儲器NVIDIAgpu 9984 0

GPGPU和NPU技術(shù)路線對比

FPGA是一種半定制芯片，對芯片硬件層可以靈活編譯。但是缺點(diǎn)也比較明顯，當(dāng)處理的任務(wù)重復(fù)性不強(qiáng)、邏輯較為復(fù)雜時(shí)，F(xiàn)PGA效率就會比較差。

2023-09-26 標(biāo)簽：fpga神經(jīng)網(wǎng)絡(luò)NVIDIA 5330 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1212 0

揭秘英偉達(dá)A100、A800、H100、H800 GPU如何實(shí)現(xiàn)高性能大模型的百倍訓(xùn)練加速

摘要：本文主要介紹大模型的內(nèi)部運(yùn)行原理、我國算力發(fā)展現(xiàn)狀。大模型指具有巨大參數(shù)量的深度學(xué)習(xí)模型，如GPT-4。其通過在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠產(chǎn)生更...

2023-09-09 標(biāo)簽：NVIDIAgpu英偉達(dá) 2265 0

Faster Transformer v1.0源碼詳解

寫在前面：本文將對 Nvidia BERT 推理解決方案 Faster Transformer 源碼進(jìn)行深度剖析，詳細(xì)分析作者的優(yōu)化意圖，并對源碼中的加...

2023-09-08 標(biāo)簽：NVIDIAgpu源碼 1227 0

NVIDIA最強(qiáng)CPU芯片架構(gòu)——NVIDIA Grace CPU

NVIDIA Grace Hopper Superchip將節(jié)能、高帶寬的 NVIDIA Grace CPU 與功能強(qiáng)大的 NVIDIA H100 Ho...

2023-08-30 標(biāo)簽：armcpuNVIDIA 1801 0

使用模塊化、OpenUSD加持的Omniverse版本加速3D工作流程

最新的 NVIDIA Omniverse 版本可基于 Omniverse Kit 105 套件提供一系列令人振奮的新功能，使開發(fā)者能夠更加輕松地開始構(gòu)建...

2023-08-14 標(biāo)簽：存儲器連接器NVIDIA 1487 0

生成式ai會帶來怎樣的改變？生成式AI引領(lǐng)各行各業(yè)邁向高效新時(shí)代

2022 年 11 月 22 日是一個(gè)歷史性時(shí)刻，給各行各業(yè)帶來了震撼和影響。 那一天，OpenAI 發(fā)布了有史以來最先進(jìn)的 AI 聊天機(jī)器人 Chat...

2023-08-04 標(biāo)簽：cpuNVIDIAgpu 1908 0

什么是 NVLink?

什么是 NVLink?

2023-10-27 標(biāo)簽：芯片cpuNVIDIA 1000 0