Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標(biāo)簽：語言模型亞馬遜LLM 1149 0

chatGPT的175Billion個(gè)參數(shù)是哪兒來的

最近大語言模型模型LLM很火，大家總是說chatgpt的175Billion參數(shù)。做算法的人更關(guān)心網(wǎng)絡(luò)的結(jié)構(gòu)，而我這種做硬件的人一直很好奇這個(gè)參數(shù)是怎么計(jì)算的。

2023-11-01 標(biāo)簽：LSTMChatGPTLLM 1426 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標(biāo)簽：gpu模型LLM 1500 0

大語言模型Fine-tuning踩坑經(jīng)驗(yàn)分享

當(dāng)然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標(biāo)簽：gpu數(shù)據(jù)處理ChatGPT 658 0

揭秘編碼器與解碼器語言模型

Transformer 架構(gòu)的問世標(biāo)志著現(xiàn)代語言大模型時(shí)代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標(biāo)簽：解碼器編碼器語言模型 1042 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標(biāo)簽：人工智能C++openEuler 3065 0

mlc-llm對(duì)大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實(shí)戰(zhàn)（3B模型Mac M2解碼可達(dá)26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標(biāo)簽：編譯MLC深度學(xué)習(xí) 1147 0

對(duì)比解碼在LLM上的應(yīng)用

為了改進(jìn)LLM的推理能力，University of California聯(lián)合Meta AI實(shí)驗(yàn)室提出將Contrastive Decoding應(yīng)用于多...

2023-09-21 標(biāo)簽：解碼AI深度學(xué)習(xí) 804 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項(xiàng)任務(wù)，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 790 0

基于神經(jīng)科學(xué)的Numenta介紹

人腦以高效著稱，它以稀疏的表征方式存儲(chǔ)和處理信息。在任何時(shí)刻，只有一小部分神經(jīng)元處于活躍狀態(tài)。

2023-09-21 標(biāo)簽：處理器GPU芯片自然語言處理 1056 0

Medusa如何加速大型語言模型（LLM）的生成？

面對(duì)推測性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 909 0

從原理到代碼理解語言模型訓(xùn)練和推理，通俗易懂，快速修煉LLM

要理解大語言模型（LLM），首先要理解它的本質(zhì)，無論預(yù)訓(xùn)練、微調(diào)還是在推理階段，核心都是next token prediction，也就是以自回歸的方式...

2023-09-19 標(biāo)簽：語言模型LLM 2058 0

【比特熊充電棧】實(shí)戰(zhàn)演練構(gòu)建LLM對(duì)話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1211 0

如何更好地繼續(xù)預(yù)訓(xùn)練（Continue PreTraining）

但，這種前提是「充分訓(xùn)練」，如果只看訓(xùn)練前期的話，使用更長的預(yù)熱步數(shù)（黃色的線）。無論是「上游任務(wù)」還是「下游任務(wù)」，模型的 Loss 都要比其他預(yù)熱步...

2023-09-11 標(biāo)簽：模型數(shù)據(jù)集LLM 1348 0

檢索增強(qiáng)LLM的方案全面的介紹

OpenAI 研究科學(xué)家 Andrej Karpathy 前段時(shí)間在微軟 Build 2023 大會(huì)上做過一場關(guān)于 GPT 模型現(xiàn)狀的分享 State ...

2023-09-08 標(biāo)簽：檢索GitHubLLM 1643 0

RLAIF：一個(gè)不依賴人工的RLHF替代方案

如圖所示，在RLAIF中，首先使用LLM來評(píng)估給定的文本和2個(gè)候選回復(fù)，然后，這些由LLM生成的偏好數(shù)據(jù)被用來訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型，這個(gè)獎(jiǎng)勵(lì)模型用于強(qiáng)化學(xué)習(xí)...

2023-09-08 標(biāo)簽：模型強(qiáng)化學(xué)習(xí)LLM 997 0

MLC-LLM的編譯部署流程

0x0. 前言 我的 ChatRWKV 學(xué)習(xí)筆記和使用指南 這篇文章是學(xué)習(xí)RWKV的第一步，然后學(xué)習(xí)了一下之后決定自己應(yīng)該做一些什么。所以就在RWKV社...

2023-09-04 標(biāo)簽：模型編譯LLM 3392 0

LLaMa量化部署

使用 GPTQ 量化的模型具有很大的速度優(yōu)勢，與 LLM.int8() 不同，GPTQ 要求對(duì)模型進(jìn)行 post-training quantizati...

2023-08-28 標(biāo)簽：cpu模型LLM 1707 0

深入理解Llama模型的源碼案例

目前大部分開源LLM模型都是基于transformers庫來做的，它們的結(jié)構(gòu)大部分都和Llama大同小異。

2023-08-23 標(biāo)簽：解碼器源碼位置編碼器 3428 0