全面解讀英偉達NVLink技術(shù)

NVLink是一種解決服務(wù)器內(nèi)GPU之間通信限制的協(xié)議。與傳統(tǒng)的PCIe交換機不同，NVLink帶寬有限，可以在服務(wù)器內(nèi)的GPU之間實現(xiàn)高速直接互連。第...

2024-04-22 標簽：gpu服務(wù)器交換機 1864 0

廣汽集團無圖純視覺智能駕駛技術(shù)解讀

一是極其精準的理解復(fù)雜交通道路的能力。通過廣汽自研基于Transformer、占用網(wǎng)絡(luò)等先進的人工智能算法，可以實現(xiàn)交通道路識別，為高階智駕方案提供立體...

2024-04-19 標簽：算法人工智能智能駕駛 494 0

RAG系統(tǒng)中答案無關(guān)片段對LLMs生成結(jié)果的影響分析

與常見語義無關(guān)的答案無關(guān)片段相比，LLMs更容易受到高度語義相關(guān)的答案無關(guān)片段的影響；

2024-04-15 標簽：Drag大模型LLMs 539 0

AI服務(wù)器異構(gòu)計算深度解讀

AI服務(wù)器按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國內(nèi)的主要選擇（占比91.9%）。

2024-04-12 標簽：gpu服務(wù)器異構(gòu)計算 840 0

什么是內(nèi)存語義？CXL是如何劃分語義的

從IB提供的具體操作來看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實際上都是針對內(nèi)存的操作，所不同的是，Se...

2024-04-08 標簽：內(nèi)存人工智能傳輸層 8024 0

大模型訓(xùn)練如何應(yīng)對GPU萬卡互聯(lián)難題

為了增強對訓(xùn)練穩(wěn)定性和性能的監(jiān)控，開發(fā)了一個精度達到毫秒級的監(jiān)控系統(tǒng)。采用不同級別的監(jiān)控來跟蹤各種指標。

2024-04-07 標簽：gpu數(shù)據(jù)中心人工智能 863 0

淺談大模型在汽車上的作用

智能汽車不僅僅是一種交通工具，更是一個全新的生活空間。夏一平強調(diào)，真正的智能汽車應(yīng)該具備三個核心能力：自然交流、自由移動和自我成長。

2024-04-03 標簽：AI智能汽車大模型 1322 0

基于雙級優(yōu)化（BLO）的消除過擬合的微調(diào)方法

這篇論文試圖解決的問題是大型預(yù)訓(xùn)練模型在下游任務(wù)中進行微調(diào)時出現(xiàn)的過擬合問題。盡管低秩適應(yīng)（LoRA）及其變體通過學(xué)習(xí)低秩增量矩陣有效地減少了與完全微調(diào)...

2024-04-02 標簽：數(shù)據(jù)集LoRa自然語言 923 0

字節(jié)跳動攻克GPU萬卡互聯(lián)技術(shù)突破與解決方案

在分布式訓(xùn)練中大規(guī)模使用默認的DCQCN協(xié)議時，all-to-all通信可能會導(dǎo)致?lián)砣蚉FC級別的提高。過度使用PFC可能會導(dǎo)致頭部阻塞（HoL），從...

2024-04-01 標簽：gpu人工智能網(wǎng)絡(luò)拓撲 1225 0

一文掌握AI大模型算力的核心要素

GPU和顯卡的關(guān)系，就像是CPU和主板的關(guān)系。前者是顯卡的心臟，后者是主板的心臟。有些小伙伴會把GPU和顯卡當(dāng)成一個東西，其實還有些差別的，顯卡不僅包括...

2024-03-29 標簽：cpugpuAI 1519 0

FP8在NVIDIA GPU架構(gòu)和軟件系統(tǒng)中的應(yīng)用

在深度學(xué)習(xí)和人工智能的快速發(fā)展背景下，尤其是大語言模型（Large Language Model，LLM）的蓬勃發(fā)展，模型的大小和計算復(fù)雜性不斷增加，對...

2024-03-28 標簽：NVIDIA人工智能深度學(xué)習(xí) 1710 0

自然語言常用的自回歸解碼方法

在選擇k值時，較大的值會使生成的內(nèi)容更具多樣性，但可能會生成不合理的內(nèi)容；較小的值則使生成的內(nèi)容多樣性較低，但質(zhì)量更有保證。我們可以根據(jù)任務(wù)的不同選擇合...

2024-03-28 標簽：自然語言大模型 1101 0

盤點一下史上最全大語言模型訓(xùn)練中的網(wǎng)絡(luò)技術(shù)

人工智能的基礎(chǔ)設(shè)施在大語言模型訓(xùn)練和推理過程中發(fā)揮了關(guān)鍵的作用。隨著大語言模型規(guī)模不斷增大，其對計算和通信的需求也在不斷增加。高

2024-03-27 標簽：處理器人工智能網(wǎng)絡(luò)拓撲 2297 0

通過增強一致性訓(xùn)練，有效緩解CoT中的偏見問題

這些偏見特征可能導(dǎo)致模型在沒有明確提及這些偏見的情況下，系統(tǒng)性地歪曲其推理過程，從而產(chǎn)生不忠實（unfaithful）的推理。

2024-03-22 標簽：大模型 508 0

探索推理時KV Cache的動態(tài)內(nèi)存壓縮方法

DMC通過一個決策變量（α）來有效地對輸入序列進行分段，每個段落可以獨立地決定是繼續(xù)追加還是進行累積。這允許模型在不同段落之間動態(tài)調(diào)整內(nèi)存使用。

2024-03-22 標簽：AI動態(tài)內(nèi)存DMC 1161 0