FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過(guò)程中顯著加速attention操作（例如長(zhǎng)序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標(biāo)簽：gpu模型LLM 1501 0

主流GPU/TPU集群組網(wǎng)方案深度解析

用于連接 GPU 服務(wù)器中的 8 個(gè) GPU 的 NVLink 交換機(jī)也可以用于構(gòu)建連接 GPU 服務(wù)器之間的交換網(wǎng)絡(luò)。Nvidia 在 2022 年的...

2024-04-24 標(biāo)簽：gpu服務(wù)器InfiniBand 1478 0

LLM推理任務(wù)中GPU的選擇策略

在Roofline模型可以直觀展示一張曲線圖，其中x軸表示AI（Arithmetic Intensity），即每個(gè)內(nèi)存操作對(duì)應(yīng)的浮點(diǎn)運(yùn)算次數(shù)；y軸表示性...

2024-04-07 標(biāo)簽：NVIDIAgpuLLM 1453 0

LLM的幻覺(jué)問(wèn)題最新綜述

幻覺(jué)被描述為無(wú)意義或不忠實(shí)于所提供源內(nèi)容的生成內(nèi)容。根據(jù)與源內(nèi)容的矛盾，這些幻覺(jué)又進(jìn)一步分為內(nèi)在幻覺(jué)和外在幻覺(jué)。在LLMs中，幻覺(jué)的范圍包含了一個(gè)更廣泛...

2023-11-22 標(biāo)簽：人工智能渦輪增壓ChatGPT 1446 0

低比特量化技術(shù)如何幫助LLM提升性能

針對(duì)大語(yǔ)言模型 (LLM) 在部署過(guò)程中的性能需求，低比特量化技術(shù)一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術(shù)如何幫助 LLM 提升性能，以及...

2023-12-08 標(biāo)簽：輕量化技術(shù)大模型LLM 1438 0

chatGPT的175Billion個(gè)參數(shù)是哪兒來(lái)的

最近大語(yǔ)言模型模型LLM很火，大家總是說(shuō)chatgpt的175Billion參數(shù)。做算法的人更關(guān)心網(wǎng)絡(luò)的結(jié)構(gòu)，而我這種做硬件的人一直很好奇這個(gè)參數(shù)是怎么計(jì)算的。

2023-11-01 標(biāo)簽：LSTMChatGPTLLM 1426 0

如何從訓(xùn)練集中生成候選prompt 三種生成候選prompt的方式

這個(gè)“gradient”怎么得到的了呢，這是個(gè)啥玩意，怎么還有梯度？注意，注意。人家是帶引號(hào)的！比喻成梯度。這玩意有什么用呢。 文章指出給定一批e...

2024-01-12 標(biāo)簽：算法promptLLM 1416 0

Optimum Intel三步完成Llama3在算力魔方的本地量化和部署

Llama3 是Meta最新發(fā)布的開源大語(yǔ)言模型(LLM), 當(dāng)前已開源8B和70B參數(shù)量的預(yù)訓(xùn)練模型權(quán)重，并支持指令微調(diào)。

2024-05-10 標(biāo)簽：處理器pythonLLM 1406 0

BigCode背后的大規(guī)模數(shù)據(jù)去重方法有哪些？

本文面向?qū)Υ笠?guī)模文檔去重感興趣，且對(duì)散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標(biāo)簽：存儲(chǔ)器URLpython 1358 0

如何更好地繼續(xù)預(yù)訓(xùn)練（Continue PreTraining）

但，這種前提是「充分訓(xùn)練」，如果只看訓(xùn)練前期的話，使用更長(zhǎng)的預(yù)熱步數(shù)（黃色的線）。無(wú)論是「上游任務(wù)」還是「下游任務(wù)」，模型的 Loss 都要比其他預(yù)熱步...

2023-09-11 標(biāo)簽：模型數(shù)據(jù)集LLM 1349 0

基于DBFP與DB-Attn的算法硬件協(xié)同優(yōu)化方案

本文討論了LLM推理過(guò)程對(duì)計(jì)算資源需求急劇攀升的背景下，現(xiàn)有量化和剪枝技術(shù)、新數(shù)據(jù)格式存在的不足，提出動(dòng)態(tài)塊浮點(diǎn)數(shù)（DBFP）及其配套算法-硬件協(xié)同框架...

2025-03-19 標(biāo)簽：算法模型LLM 1329 0

如何基于亞馬遜云科技LLM相關(guān)工具打造知識(shí)庫(kù)

背景 本篇將為大家闡述亞馬遜云科技大語(yǔ)言模型下沉到具體行業(yè)進(jìn)行場(chǎng)景以及實(shí)施案例的介紹，是亞馬遜云科技官方《基于智能搜索和大模型打造企業(yè)下一代知識(shí)庫(kù)》系列...

2023-11-23 標(biāo)簽：測(cè)試亞馬遜LLM 1305 0

MOE與MOT：提升LLM效能的關(guān)鍵策略比較

MoE 與 MoT：在專家混合中（左），每個(gè)令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內(nèi)的令牌被混合，并且混合令牌由專家前饋層處理。

2024-04-15 標(biāo)簽：控制器機(jī)器學(xué)習(xí)LLM 1300 0

OneLLM：對(duì)齊所有模態(tài)的框架！

OneLLM 是第一個(gè)在單個(gè)模型中集成八種不同模態(tài)的MLLM。通過(guò)統(tǒng)一的框架和漸進(jìn)式多模態(tài)對(duì)齊pipelines，可以很容易地?cái)U(kuò)展OneLLM以包含更多...

2024-01-04 標(biāo)簽：編碼器路由器大模型 1293 0

如何在不微調(diào)的情況下提高RAG的準(zhǔn)確性？

數(shù)據(jù)科學(xué)家、AI 工程師、MLOps 工程師和 IT 基礎(chǔ)設(shè)施專業(yè)人員在設(shè)計(jì)和部署檢索增強(qiáng)生成（RAG）工作流時(shí)，必須考慮各項(xiàng)因素，比如大語(yǔ)言模型（LL...

2024-01-05 標(biāo)簽：機(jī)器人SQLLLM 1290 0

OpenVINO? C# API部署YOLOv9目標(biāo)檢測(cè)和實(shí)例分割模型

YOLOv9模型是YOLO系列實(shí)時(shí)目標(biāo)檢測(cè)算法中的最新版本，代表著該系列在準(zhǔn)確性、速度和效率方面的又一次重大飛躍。

2024-04-03 標(biāo)簽：英特爾計(jì)算機(jī)視覺(jué)深度學(xué)習(xí) 1283 0

開源LLM在各種基準(zhǔn)上的代理能力

采用ChatGPT的企業(yè)可能會(huì)擔(dān)心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問(wèn)題，以及其他不可預(yù)測(cè)的事件，如最近關(guān)于董事會(huì)解雇CEO Sam Al...

2023-12-04 標(biāo)簽：人工智能OpenAIChatGPT 1280 0

Arm KleidiAI助力提升PyTorch上LLM推理性能

生成式人工智能 (AI) 正在科技領(lǐng)域發(fā)揮關(guān)鍵作用，許多企業(yè)已經(jīng)開始將大語(yǔ)言模型 (LLM) 集成到云端和邊緣側(cè)的應(yīng)用中。生成式 AI 的引入也使得許多...

2024-12-03 標(biāo)簽：處理器ARM聊天機(jī)器人 1276 0

小紅書搜索團(tuán)隊(duì)研究新框架：負(fù)樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語(yǔ)言模型（LLMs）展現(xiàn)出強(qiáng)大的推理能力。然而，思維鏈已被證明是千億級(jí)參數(shù)模型才具有的涌現(xiàn)能力。

2024-01-30 標(biāo)簽：算法OpenAI大模型 1272 0

RISC -V跑大模型（一）

去年，ChatGPT的出現(xiàn)震驚了全世界，在短短幾個(gè)月的時(shí)間內(nèi)，ChatGPT的月活躍用戶達(dá)到了1億。ChatGPT的成功讓許多人第一次知道了大語(yǔ)言模型（...

2023-07-17 標(biāo)簽：RISC-VRISC-V處理器ChatGPT 1254 0