一個(gè)給NLP領(lǐng)域帶來(lái)革新的預(yù)訓(xùn)練語(yǔ)言大模型Bert

之前的文章和大家詳細(xì)的介紹了靜態(tài)的詞向量表示word2vec理論加實(shí)戰(zhàn)，但是word2vec存在一個(gè)很大的問(wèn)題，由于是靜態(tài)詞向量所以無(wú)法表示一詞多義，對(duì)...

2023-02-28 標(biāo)簽：GPTELMOSTransformer 7.9萬(wàn) 0

大模型訓(xùn)練為什么不能用4090顯卡，GPU訓(xùn)練性能和成本對(duì)比

為什么？一般有 tensor parallelism、pipeline parallelism、data parallelism 幾種并行方式，分別在模...

2023-09-15 標(biāo)簽：fpgagpu內(nèi)存 3.1萬(wàn) 0

通往AGI之路：揭秘英偉達(dá)A100、A800、H800、V100在高性能計(jì)算與大模型訓(xùn)練中的霸主地位

英偉達(dá)前段時(shí)間發(fā)布GH 200包含 36 個(gè) NVLink 開(kāi)關(guān)，將 256 個(gè) GH200 Grace Hopper 芯片和 144TB 的共享內(nèi)存連...

2023-06-29 標(biāo)簽：AI英偉達(dá)Agi 3.0萬(wàn) 0

四種微調(diào)大模型的方法介紹

全微調(diào)（Full Fine-tuning）：全微調(diào)是指對(duì)整個(gè)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，包括所有的模型參數(shù)。在這種方法中，預(yù)訓(xùn)練模型的所有層和參數(shù)都會(huì)被更新和優(yōu)...

2024-01-03 標(biāo)簽：gpu深度學(xué)習(xí)ChatGPT 2.6萬(wàn) 0

十分鐘讀懂旋轉(zhuǎn)編碼（RoPE）

對(duì)于位置編碼，常規(guī)的做法是在計(jì)算 query，key 和 value 向量之前，會(huì)計(jì)算一個(gè)位置編碼向量 加到詞嵌入 上，位置編碼向量 同樣也是 維向量，...

2023-09-05 標(biāo)簽：向量旋轉(zhuǎn)編碼大模型 1.5萬(wàn) 0

什么是大模型、大模型是怎么訓(xùn)練出來(lái)的及大模型作用

本文通俗簡(jiǎn)單地介紹了什么是大模型、大模型是怎么訓(xùn)練出來(lái)的和大模型的作用。 ? 什么是大模型 大模型，英文名叫Large Model，大型模型。早期的時(shí)候...

2024-11-25 標(biāo)簽：大模型LLM 1.2萬(wàn) 0

InfiniBand和RoCEv2網(wǎng)絡(luò)簡(jiǎn)介及解決方案

超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對(duì)于網(wǎng)絡(luò)的要求。

2023-09-22 標(biāo)簽：數(shù)據(jù)中心AITCP 1.1萬(wàn) 0

什么是內(nèi)存語(yǔ)義？CXL是如何劃分語(yǔ)義的

從IB提供的具體操作來(lái)看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實(shí)際上都是針對(duì)內(nèi)存的操作，所不同的是，Se...

2024-04-08 標(biāo)簽：內(nèi)存人工智能傳輸層 8024 0

圖解大模型系列之：Megatron源碼解讀1，分布式環(huán)境初始化

使用Megatron來(lái)訓(xùn)練gpt類(lèi)大模型的項(xiàng)目有很多。在這個(gè)系列里，我選擇了由THUDM開(kāi)發(fā)的CodeGeeX項(xiàng)目，它是gpt在代碼生成方向上的應(yīng)用，對(duì)...

2023-06-06 標(biāo)簽：gpu源碼大模型 6759 0

主流大模型推理框架盤(pán)點(diǎn)解析

vLLM是一個(gè)開(kāi)源的大模型推理加速框架，通過(guò)PagedAttention高效地管理attention中緩存的張量，實(shí)現(xiàn)了比HuggingFace Tra...

2023-10-10 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu服務(wù)器 6399 0

開(kāi)發(fā)者如何使用訊飛星火認(rèn)知大模型API？

之前我們使用網(wǎng)頁(yè)文本輸入的方式體驗(yàn)了訊飛星火認(rèn)知大模型的功能（是什么讓科大訊飛1個(gè)月股價(jià)翻倍？），本篇博文將從開(kāi)發(fā)者角度來(lái)看看如何使用訊飛星火認(rèn)知大模型API。

2023-08-15 標(biāo)簽：測(cè)試API科大訊飛 5902 0

什么是多模態(tài)？多模態(tài)的難題是什么？

單模態(tài)大模型，通常大于100M～1B參數(shù)。具有較強(qiáng)的通用性，比如對(duì)圖片中任意物體進(jìn)行分割，或者生成任意內(nèi)容的圖片或聲音。極大降低了場(chǎng)景的定制成本。

2024-01-17 標(biāo)簽：AI大模型LLM 5440 0

圖解大模型訓(xùn)練之：Megatron源碼解讀2，模型并行

前文說(shuō)過(guò)，用Megatron做分布式訓(xùn)練的開(kāi)源大模型有很多，我們選用的是THUDM開(kāi)源的CodeGeeX（代碼生成式大模型，類(lèi)比于openAI Code...

2023-06-07 標(biāo)簽：gpu源碼大模型 5300 0

什么是混合專(zhuān)家模型？混合專(zhuān)家模型 (MoEs)優(yōu)劣勢(shì)分析

門(mén)控網(wǎng)絡(luò)或路由: 這個(gè)部分用于決定哪些令牌 (token) 被發(fā)送到哪個(gè)專(zhuān)家。例如，在下圖中，“More”這個(gè)令牌可能被發(fā)送到第二個(gè)專(zhuān)家，而“Param...

2024-02-22 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AITransformer 5144 0