大模型如何快速構(gòu)建指令遵循數(shù)據(jù)集？
構(gòu)造instruction data非常耗時(shí)耗力，常受限于質(zhì)量，多樣性，創(chuàng)造性，阻礙了instruc....
GLoRA—高效微調(diào)模型參數(shù)
近年來，大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的顯著成就徹底改變了人工智能領(lǐng)域，在各種任務(wù)和領(lǐng)域展示了前所未有的性能。
面向結(jié)構(gòu)化數(shù)據(jù)的文本生成技術(shù)研究
今天我們要講的文本生成是現(xiàn)在最流行的研究領(lǐng)域之一。文本生成的目標(biāo)是讓計(jì)算機(jī)像人類一樣學(xué)會(huì)表達(dá)，目前看....
ChatGLM2-6B：性能大幅提升，8-32k上下文，推理提速42%，在中文榜單位列榜首
在主要評(píng)估LLM模型中文能力的 C-Eval 榜單中，截至6月25日 ChatGLM2 模型以 71....
基準(zhǔn)數(shù)據(jù)集(CORR2CAUSE)如何測(cè)試大語(yǔ)言模型(LLM)的純因果推理能力
? 因果推理是人類智力的標(biāo)志之一。因果關(guān)系NLP領(lǐng)域近年來引起了人們的極大興趣，但其主要依賴于從常識(shí)....
RLHF實(shí)踐中的框架使用與一些坑 (TRL, LMFlow)
我們主要用一個(gè)具體的例子展示如何在兩個(gè)框架下做RLHF，并且記錄下訓(xùn)練過程中我們踩到的主要的坑。這個(gè)....
GPT-Engineer一夜爆火！一個(gè)提示生成整個(gè)代碼庫(kù)，GitHub狂飆19k星
網(wǎng)友表示，「澄清問題」是真正使GPT-Engineer脫穎而出的原因，因?yàn)樾迯?fù)生成代碼中的問題往往比....
基于多任務(wù)預(yù)訓(xùn)練模塊化提示
Prompt Tuning 可以讓預(yù)訓(xùn)練的語(yǔ)言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當(dāng)訓(xùn)練數(shù)據(jù)足夠多....
智能開源大模型baichuan-7B技術(shù)改進(jìn)
baichuan-7B 主要是參考LLaMA進(jìn)行的改進(jìn)，且模型架構(gòu)與LLaMA一致。而在開源大模型中....
基于 Transformers 的編碼器-解碼器模型
基于 transformer 的編碼器-解碼器模型是 表征學(xué)習(xí) 和 模型架構(gòu) 這兩個(gè)領(lǐng)域多年研究成果....
LLM in Medical Domain: 一文速覽大語(yǔ)言模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用
由于在生成長(zhǎng)文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Ins....
王小川大模型首亮相！70億參數(shù)霸榜，清北搶先用
AGIEval評(píng)測(cè)基準(zhǔn)由微軟研究院發(fā)起，旨在全面評(píng)估基礎(chǔ)模型在人類認(rèn)知和問題解決相關(guān)任務(wù)上的能力，包....
梁寧：為什么中國(guó)沒有像ChatGPT和Vision Pro這樣的創(chuàng)新產(chǎn)品？
相隔 20 多年的時(shí)間再回頭看，我比較得意的一件事就是，1996 年我給聯(lián)想的總裁辦做了一次匯報(bào)，說....
為k近鄰機(jī)器翻譯領(lǐng)域自適應(yīng)構(gòu)建可解釋知識(shí)庫(kù)
為了找到NMT模型的潛在缺陷，構(gòu)建更加可解釋的知識(shí)庫(kù)，我們提出以局部準(zhǔn)確性這一新概念作為分析角度。其....
大模型參數(shù)高效微調(diào)技術(shù)原理綜述
神經(jīng)網(wǎng)絡(luò)包含很多全連接層，其借助于矩陣乘法得以實(shí)現(xiàn)，然而，很多全連接層的權(quán)重矩陣都是滿秩的。
如何將ChatGPT的能力蒸餾到另一個(gè)大模型
如何將ChatGPT的能力蒸餾到另一個(gè)大模型，是當(dāng)前許多大模型研發(fā)的研發(fā)范式。當(dāng)前許多模型都是采用c....
In-Context-Learning在更大的語(yǔ)言模型上表現(xiàn)不同
最近，在語(yǔ)言模型領(lǐng)域取得了巨大的進(jìn)展，部分是因?yàn)樗鼈兛梢酝ㄟ^In-Context- Learning....
Allen AI推出集成主流大語(yǔ)言模型的LLM-BLENDER框架
在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的....
使用單卡高效微調(diào)bloom-7b1，效果驚艷
在本文中我們將對(duì)QLoRA的基本原理進(jìn)行介紹，并且在Firefly項(xiàng)目中進(jìn)行實(shí)踐。我們?cè)赽loom-....
性能媲美同時(shí)成本降低98%，斯坦福提出FrugalGPT，研究卻惹爭(zhēng)議
這項(xiàng)研究提出的思想和發(fā)現(xiàn)為可持續(xù)高效地使用 LLM 奠定了基礎(chǔ)。如果能夠在不增加預(yù)算的情況下采用更高....
Transformer結(jié)構(gòu)及其應(yīng)用詳解
本文首先詳細(xì)介紹Transformer的基本結(jié)構(gòu)，然后再通過GPT、BERT、MT-DNN以及GPT....
從大模型中蒸餾腳本知識(shí)用于約束語(yǔ)言規(guī)劃
為了實(shí)現(xiàn)日常目標(biāo)，人們通常會(huì)根據(jù)逐步指令來計(jì)劃自己的行動(dòng)。這些指令被發(fā)現(xiàn)是目標(biāo)導(dǎo)向的腳本，包括一組達(dá)....
LLM時(shí)代NLP研究何去何從？
在當(dāng)前低資源的語(yǔ)言基準(zhǔn)上（如FLORES-200）改進(jìn)機(jī)器翻譯性能。針對(duì)資源極低的語(yǔ)言，可以利用圣經(jīng)....
工商網(wǎng)監(jiān)