大型語言模型有哪些用途？大型語言模型如何運(yùn)作呢？

大型語言模型能識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語言模型GPTChatGPT 8443 0

詳細(xì)介紹ChatGPT技術(shù)原理和架構(gòu)

模型選擇：ChatGPT 的開發(fā)人員選擇了 GPT-3.5 系列中的預(yù)訓(xùn)練模型，而不是對(duì)原始 GPT-3 模型進(jìn)行調(diào)優(yōu)。使用的基線模型是最新版的 tex...

2023-03-08 標(biāo)簽：GPTChatGPT 932 0

GPT/GPT-2/GPT-3/InstructGPT進(jìn)化之路

在預(yù)訓(xùn)練階段，GPT 選擇 transformer 的 decoder 部分作為模型的主要模塊，transformer 是 2017年 google 提...

2023-03-03 標(biāo)簽：GPT強(qiáng)化學(xué)習(xí)OpenAI 4117 0

Language Model Reasoning是什么意思？

那么，前面總是提到推理 (Reasoning) 這個(gè)詞，什么是推理？我嘗試用自己的語言來解釋“推理”的含義，最后發(fā)現(xiàn)我寫得還不如 ChatGPT

2023-02-28 標(biāo)簽：生成器數(shù)據(jù)集GPT 1264 0

超越GPT 3.5的小型語言模型案例概述

ChatGPT 是在 GPT-3.5 系列模型的基礎(chǔ)上微調(diào)而來的，我們看到很多研究也在緊隨其后緊追慢趕，但是，與 ChatGPT 相比，他們的新研究效果...

2023-02-27 標(biāo)簽：GPTChatGPT 981 0

FasterTransformer GPT介紹

GPT 是 Decooding 模型的一種變體，沒有 Encoder 模塊，沒有交叉多頭注意力模塊，使用 GeLU 作為激活函數(shù)。

2023-02-07 標(biāo)簽：編碼器gpuGPT 2702 0

支持Python和Java的BigCode開源輕量級(jí)語言模型

BigCode 是一個(gè)開放的科學(xué)合作組織，致力于開發(fā)大型語言模型。近日他們開源了一個(gè)名為 SantaCoder 的語言模型，該模型擁有 11 億個(gè)參數(shù)

2023-01-17 標(biāo)簽：JAVA語言javascriptpython 1066 0

基于統(tǒng)一語義匹配的通用信息抽取框架USM

信息提?。↖nformation Extraction，IE）需要提取句子中的實(shí)體、關(guān)系、事件等，其不同的任務(wù)具有多樣的抽取目標(biāo)和異質(zhì)的機(jī)構(gòu)，因此，傳統(tǒng)...

2023-01-16 標(biāo)簽：USMGPTnlp 1340 0

用ChatGPT編寫各種腳本

最牛逼的還是屬于程序編寫方面，ChatGPT在各個(gè)編程語言上面都挺在行的（嘗試了下Python, Perl, Tcl都挺不錯(cuò)的），可以說是一個(gè)各個(gè)語言都...

2023-01-13 標(biāo)簽：TCLpythonGPT 7608 0

講一講ChatGPT的技術(shù)細(xì)節(jié)

通過人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對(duì)GPT3模型（對(duì)這個(gè)是chatGPT模型的base）進(jìn)行初步訓(xùn)練（有監(jiān)督微調(diào)，SFT），從而得到一個(gè)初步能夠理解...

2023-01-03 標(biāo)簽：SFTGPTnlp 2624 0

介紹四個(gè)為語言生成設(shè)計(jì)的預(yù)訓(xùn)練模型

BERT: 只有Transformer Encoder部分，隨機(jī)MASK掉一些token，然后利用上下文還原。

2022-12-05 標(biāo)簽：GPT 3288 0

基于VQVAE的長(zhǎng)文本生成 利用離散code來建模文本篇章結(jié)構(gòu)的方法

寫在前面 近年來，多個(gè)大規(guī)模預(yù)訓(xùn)練語言模型 GPT、BART、T5 等被提出，這些預(yù)訓(xùn)練模型在自動(dòng)文摘等多個(gè)文本生成任務(wù)上顯著優(yōu)于非預(yù)訓(xùn)練語言模型。但對(duì)...

2022-12-01 標(biāo)簽：CodeGPTcnn 2000 0

介紹大模型高效訓(xùn)練所需要的主要技術(shù)

隨著BERT、GPT等預(yù)訓(xùn)練模型取得成功，預(yù)訓(xùn)-微調(diào)范式已經(jīng)被運(yùn)用在自然語言處理、計(jì)算機(jī)視覺、多模態(tài)語言模型等多種場(chǎng)景，越來越多的預(yù)訓(xùn)練模型取得了優(yōu)異的效果。

2022-11-08 標(biāo)簽：gpuGPTMLP 5333 0

一種新的基于視覺語言模型的零鏡頭分類框架

人們很容易用文字來描述類別的視覺特征，并利用這些文字描述來輔助感知，用于分類檢測(cè)等各種感知任務(wù)。

2022-10-20 標(biāo)簽：ClipGPTvlm 1162 0

GPT系列的“高仿” 最大可達(dá)GPT-3大小 自主訓(xùn)練

雖然GPT-3沒有開源，卻已經(jīng)有人在復(fù)刻GPT系列的模型了。 例如，慕尼黑工業(yè)大學(xué)的Connor Leahy，此前用200個(gè)小時(shí)、6000RMB，復(fù)現(xiàn)了...

2021-02-13 標(biāo)簽：開源語言模型GPT 2979 0

專家解讀GPT 2.0 VS BERT!GPT 2.0到底做了什么

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過，過程參考上圖，簡(jiǎn)述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語言模型GPTnlp 1.0萬 0

GPT2.0究竟是做什么的？有哪些優(yōu)勢(shì)和不足？未來發(fā)展趨勢(shì)如何？

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過，過程參考上圖，簡(jiǎn)述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語言模型GPTnlp 8201 0