Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語(yǔ)言建模

盡管指令調(diào)整的大型語(yǔ)言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們?cè)谖谋疽酝獾钠渌麛?shù)據(jù)模式上的有效性尚未得到充分研究。在這項(xiàng)工作中，...

2023-06-19 標(biāo)簽：模塊語(yǔ)言建模語(yǔ)言模型 1737 0

LLM in Medical Domain: 一文速覽大語(yǔ)言模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用

由于在生成長(zhǎng)文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對(duì)Fla...

2023-06-15 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集大模型 2015 0

中文信息處理實(shí)驗(yàn)室提出工具學(xué)習(xí)新框架ToolAlpaca

受 Alpaca 通過(guò)微調(diào)讓小模型學(xué)會(huì)通用指令遵循啟發(fā)，中文信息處理實(shí)驗(yàn)室的研究人員探索了通過(guò)在通用工具使用數(shù)據(jù)集上微調(diào)較小規(guī)模的語(yǔ)言模型，讓它們獲得通...

2023-06-15 標(biāo)簽：框架語(yǔ)言模型數(shù)據(jù)集 2514 0

基于預(yù)訓(xùn)練模型和語(yǔ)言增強(qiáng)的零樣本視覺(jué)學(xué)習(xí)

在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會(huì)讓模型能力進(jìn)一步提升 怎么讓能力更好？可以引入其他知識(shí)，即其他的預(yù)訓(xùn)練模型，...

2023-06-15 標(biāo)簽：語(yǔ)言模型訓(xùn)練模型 701 0

LeCun世界模型首個(gè)研究！自監(jiān)督視覺(jué)像人一樣學(xué)習(xí)和推理！

今日，Meta 推出了首個(gè)基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預(yù)測(cè)架構(gòu)（Image Joint Embedding Pr...

2023-06-15 標(biāo)簽：人工智能模型語(yǔ)言模型 475 0

大語(yǔ)言模型中的常用評(píng)估指標(biāo)

EM 是 exact match 的簡(jiǎn)稱，所以就很好理解，em 表示預(yù)測(cè)值和答案是否完全一樣。

2023-06-12 標(biāo)簽：計(jì)算模型語(yǔ)言模型 3336 0

多模態(tài)上下文指令調(diào)優(yōu)數(shù)據(jù)集MIMIC-IT

然而，一個(gè)理想的 AI 對(duì)話助手應(yīng)該能夠解決涉及多種模態(tài)的任務(wù)。這需要獲得一個(gè)多樣化和高質(zhì)量的多模式指令跟隨數(shù)據(jù)集。比如，LLaVAInstruct-1...

2023-06-12 標(biāo)簽：AI語(yǔ)言模型數(shù)據(jù)集 924 0

Allen AI推出集成主流大語(yǔ)言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來(lái)自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語(yǔ)言模型 897 0

號(hào)稱「碾壓」LLaMA的Falcon實(shí)測(cè)得分僅49.08，HuggingFace決定重寫(xiě)排行榜代碼

這是一組由 Meta 開(kāi)源的大型語(yǔ)言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過(guò)了 GPT-3（1...

2023-06-11 標(biāo)簽：解碼器語(yǔ)言模型 753 0

PyTorch教程-9.3. 語(yǔ)言模型

9.3. 語(yǔ)言模型? Colab [火炬]在 Colab 中打開(kāi)筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標(biāo)簽：語(yǔ)言模型pytorch 515 0

一個(gè)通用的自適應(yīng)prompt方法，突破了零樣本學(xué)習(xí)的瓶頸

為了解決這個(gè)問(wèn)題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對(duì)LLMs的零樣本學(xué)習(xí)進(jìn)行了優(yōu)化...

2023-06-01 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集自然語(yǔ)言 1002 0

GPT4技術(shù)原理之相變與涌現(xiàn)

物理系統(tǒng)中發(fā)生的相變最直觀，水結(jié)成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統(tǒng)發(fā)生行為的突然變化，從一種相轉(zhuǎn)變?yōu)榱硪环N相。轉(zhuǎn)變出現(xiàn)了之前相中沒(méi)有的新特性，...

2023-05-29 標(biāo)簽：語(yǔ)言模型GPT 1319 0

調(diào)教LLaMA類模型沒(méi)那么難，LoRA將模型微調(diào)縮減到幾小時(shí)

最近幾個(gè)月，ChatGPT 等一系列大語(yǔ)言模型（LLM）相繼出現(xiàn)，隨之而來(lái)的是算力緊缺日益嚴(yán)重。雖然人人都想打造專屬于自己的大模型，但是能負(fù)擔(dān)得起上億參...

2023-05-28 標(biāo)簽：語(yǔ)言模型LoRaChatGPT 2989 0

時(shí)下改變AI的6大NLP語(yǔ)言模型

消除早期語(yǔ)言模型的局限性，特別是在預(yù)訓(xùn)練中表現(xiàn)出的單向性。這些限制了可用于預(yù)訓(xùn)練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標(biāo)簽：語(yǔ)言模型nlp 988 0

以Gpipe作為流水線并行的范例進(jìn)行介紹

回顧C(jī)hatGPT的發(fā)展歷程，我們可以總結(jié)出大語(yǔ)言模型（LLM）取得驚艷效果的要點(diǎn)（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實(shí)...

2023-05-25 標(biāo)簽：3D開(kāi)源語(yǔ)言模型 1294 0

大型語(yǔ)言模型能否捕捉到它們所處理和生成的文本中的語(yǔ)義信息

? 大型語(yǔ)言模型能否捕捉到它們所處理和生成的文本中的語(yǔ)義信息？這一問(wèn)題在計(jì)算機(jī)科學(xué)和自然語(yǔ)言處理領(lǐng)域一直存在爭(zhēng)議。然而，MIT的一項(xiàng)新研究表明，僅基于文...

2023-05-25 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型自然語(yǔ)言 867 0

Meta AI重磅推出LIMA！媲美GPT-4、無(wú)需RLHF就能對(duì)齊！

天下人苦“對(duì)齊”久矣！要讓預(yù)訓(xùn)練語(yǔ)言模型的響應(yīng)和特定任務(wù)和用戶偏好對(duì)齊，動(dòng)輒需要百萬(wàn)示例數(shù)據(jù)集上的instruction tuning、以及最近從人類反...

2023-05-24 標(biāo)簽：語(yǔ)言模型CMUChatGPT 1317 0

GPT-4推理提升1750%！清華姚班校友提出全新ToT框架

那么，這樣一個(gè)簡(jiǎn)單的機(jī)制能否足以建立一個(gè)通向「解決通用問(wèn)題的語(yǔ)言模型」？如果不是，哪些問(wèn)題會(huì)挑戰(zhàn)當(dāng)前的范式，真正的替代機(jī)制應(yīng)該是什么？

2023-05-24 標(biāo)簽：框架語(yǔ)言模型GPT 507 0

GPT-4 的模型結(jié)構(gòu)和訓(xùn)練方法

在 GPT-4 的發(fā)布報(bào)道上，GPT-4 的多模態(tài)能力讓人印象深刻，它可以理解圖片內(nèi)容給出圖片描述，甚至能在圖片內(nèi)容的基礎(chǔ)上理解其中的隱喻或推斷下一時(shí)刻的發(fā)展。

2023-05-22 標(biāo)簽：數(shù)據(jù)模型語(yǔ)言模型 2899 0