語言大模型內(nèi)部究竟是如何工作的？

當(dāng)ChatGPT在去年秋天推出時，在科技行業(yè)乃至世界范圍內(nèi)引起了轟動。當(dāng)時，機(jī)器學(xué)習(xí)研究人員嘗試研發(fā)了多年的語言大模型（LLM），但普通大眾并未十分關(guān)注...

2023-08-23 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)GPT 1023 0

LLM大模型訓(xùn)練Trick系列之拒絕采樣

這個方法之所以有效，是因為均勻分布幫助我們將Mq(x)提供的“封包”縮放到p(x)的概率密度函數(shù)。另一種看法是，我們?nèi)狱cx0的概率。這與從g中取樣x0...

2023-08-21 標(biāo)簽：算法大模型LLM 3531 0

什么是向量數(shù)據(jù)庫？關(guān)系數(shù)據(jù)庫和向量數(shù)據(jù)庫之間的區(qū)別是什么？

向量數(shù)據(jù)庫是一種以向量嵌入（高維向量）方式存儲和管理非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像或音頻）的數(shù)據(jù)庫，以便于快速查找和檢索類似對象。

2023-08-16 標(biāo)簽：存儲器向量機(jī)機(jī)器學(xué)習(xí) 2897 0

GPT-4沒有推理能力嗎？

今年三月，OpenAI 重磅發(fā)布了 GPT-4 大模型，帶來了比 ChatGPT 背后 GPT-3.5 更強(qiáng)的推理、計算、邏輯能力，也引發(fā)了全民使用的熱...

2023-08-11 標(biāo)簽：機(jī)器學(xué)習(xí)GPTOpenAI 1076 0

更適合機(jī)械寶寶體質(zhì)的操作系統(tǒng)，竟然內(nèi)置LLM！

工程師們一直在試圖搭建更智能、可靠的機(jī)器人，比如之前火爆全網(wǎng)、來自波士頓動力公司的機(jī)器狗Spot。它可以輕松上下樓梯、搬運重物、巡查街道，等等。

2023-08-03 標(biāo)簽：人機(jī)交互機(jī)器人編解碼器 604 0

BigCode背后的大規(guī)模數(shù)據(jù)去重方法有哪些？

本文面向?qū)Υ笠?guī)模文檔去重感興趣，且對散列 (hashing) 、圖 (graph) 及文本處理有一定了解的讀者。

2023-08-02 標(biāo)簽：存儲器URLpython 1358 0

LLM的長度外推淺談

蘇神最早提出的擴(kuò)展LLM的context方法，基于bayes啟發(fā)得到的公式

2023-07-28 標(biāo)簽：解碼器LLM 2130 0

適用于各種NLP任務(wù)的開源LLM的finetune教程~

ChatGLM2-6b是清華開源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩(wěn)妥)即可推理和微調(diào)，是目前社區(qū)非?；钴S的一個開源LLM。

2023-07-24 標(biāo)簽：LoRa模塊nlpprompt 1931 0

基于MNN在個人設(shè)備上流暢運行大語言模型該如何實現(xiàn)呢？

LLM（大語言模型）因其強(qiáng)大的語言理解能力贏得了眾多用戶的青睞，但LLM龐大規(guī)模的參數(shù)導(dǎo)致其部署條件苛刻；

2023-07-20 標(biāo)簽：轉(zhuǎn)換器存儲器C++語言 1968 0

RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

2023-07-17 標(biāo)簽：RISC-V大模型LLM 1612 0

RISC -V跑大模型（一）

去年，ChatGPT的出現(xiàn)震驚了全世界，在短短幾個月的時間內(nèi)，ChatGPT的月活躍用戶達(dá)到了1億。ChatGPT的成功讓許多人第一次知道了大語言模型（...

2023-07-17 標(biāo)簽：RISC-VRISC-V處理器ChatGPT 1253 0

最新綜述！當(dāng)大型語言模型（LLM）遇上知識圖譜：兩大技術(shù)優(yōu)勢互補(bǔ)

LLM 是黑箱模型，缺乏可解釋性，因此備受批評。LLM 通過參數(shù)隱含地表示知識。因此，我們難以解釋和驗證 LLM 獲得的知識。此外，LLM 是通過概率模...

2023-07-10 標(biāo)簽：編碼語言模型知識圖譜 2365 0

當(dāng)紅炸子雞LoRA，是當(dāng)代微調(diào)LLMs的正確姿勢？

大多數(shù)人對于 LLM 的“親密度”，可能最多就是拉個開源的 demo 跑下推理過程，得到個“意料之中”的結(jié)果，然后很諷刺地自 high 一把：WOW~ ...

2023-07-07 標(biāo)簽：模型LoRaChatGPT 3103 0

英特爾銳炫顯卡運行類ChatGPT的開源大語言模型(LLM)Dolly 2.0解讀

人類偏好強(qiáng)化學(xué)習(xí)Reinforcement learning with human preferences（RLHF）和 InstructGPT 等技術(shù)...

2023-07-07 標(biāo)簽：英特爾顯卡開源 1852 0

使用NVIDIA NeMo定制LLM的過程

如何創(chuàng)建自定義語言模型

2023-07-05 標(biāo)簽：NVIDIAAI語言模型 1012 0

我們能否擴(kuò)展現(xiàn)有的預(yù)訓(xùn)練 LLM 的上下文窗口

? ? 在大家不斷升級迭代自家大模型的時候，LLM（大語言模型）對上下文窗口的處理能力，也成為一個重要評估指標(biāo)。 ? 比如 OpenAI 的 gpt-3...

2023-06-30 標(biāo)簽：編碼窗口模型 816 0

基于一個完整的 LLM 訓(xùn)練流程

? ? 在這篇文章中，我們將盡可能詳細(xì)地梳理一個完整的 LLM 訓(xùn)練流程。包括模型預(yù)訓(xùn)練（Pretrain）、Tokenizer 訓(xùn)練、指令微調(diào)（Ins...

2023-06-29 標(biāo)簽：數(shù)據(jù)編碼模型 2508 0

一種完全由LLM + 啟發(fā)式搜索算法結(jié)合的TOT算法

今天分享一篇普林斯頓大學(xué)的一篇文章，Tree of Thoughts: Deliberate Problem Solving with Large La...

2023-06-29 標(biāo)簽：模塊算法語言模型 1882 0

基于Transformer的大型語言模型（LLM）的內(nèi)部機(jī)制

本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內(nèi)部機(jī)制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...

2023-06-25 標(biāo)簽：存儲語言模型Transformer 1753 0