OneLLM：對(duì)齊所有模態(tài)的框架！
OneLLM 是第一個(gè)在單個(gè)模型中集成八種不同模態(tài)的MLLM。通過(guò)統(tǒng)一的框架和漸進(jìn)式多模態(tài)對(duì)齊pip....
RL究竟是如何與LLM做結(jié)合的？
強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL）的核心概念可簡(jiǎn)單概括為：一個(gè)機(jī)器人（....
2023年大語(yǔ)言模型(LLM)全面調(diào)研：原理、進(jìn)展、領(lǐng)跑者、挑戰(zhàn)、趨勢(shì)
大型語(yǔ)言模型(LLM)是基于人工智能的先進(jìn)模型，經(jīng)過(guò)訓(xùn)練，它可以密切反映人類(lèi)自然交流的方式處理和生成....
一種基于表征工程的生成式語(yǔ)言大模型人類(lèi)偏好對(duì)齊策略
最近復(fù)旦大學(xué)自然語(yǔ)言處理組鄭驍慶和黃萱菁團(tuán)隊(duì)提出了基于表征工程（Representation Eng....
NLP領(lǐng)域的語(yǔ)言偏置問(wèn)題分析
許多研究證明，學(xué)術(shù)論文表達(dá)的nativeness會(huì)影響其被接受發(fā)表的可能性[1, 2]。先前的研究也....
ChatGPT是一個(gè)好的因果推理器嗎？
因果推理能力對(duì)于許多自然語(yǔ)言處理（NLP）應(yīng)用至關(guān)重要。最近的因果推理系統(tǒng)主要基于經(jīng)過(guò)微調(diào)的預(yù)訓(xùn)練語(yǔ)....
1-2B參數(shù)規(guī)模大模型的使用心得
大模型時(shí)代，根據(jù)大模型縮放定律，大家通常都在追求模型的參數(shù)規(guī)模更大、訓(xùn)練的數(shù)據(jù)更多，從而使得大模型涌....
從Google多模態(tài)大模型看后續(xù)大模型應(yīng)該具備哪些能力
前段時(shí)間Google推出Gemini多模態(tài)大模型，展示了不凡的對(duì)話能力和多模態(tài)能力，其表現(xiàn)究竟如何呢....
一文速覽大語(yǔ)言模型提示最新進(jìn)展
盡管基本的CoT提示策略在復(fù)雜推理任務(wù)中展示出了強(qiáng)大的能力，但它仍然面臨著一些問(wèn)題，比如推理過(guò)程存在....
大模型微調(diào)數(shù)據(jù)選擇和構(gòu)造技巧
比如我們會(huì)經(jīng)常遇到下面幾種情況：
1.數(shù)據(jù)要不要都去標(biāo)注，標(biāo)的比較慢咋辦？
2.我已經(jīng)有一....
Mistral中杯代碼能力完勝GPT-4，成本暴降2/3
這個(gè)開(kāi)源模型盡管尺寸不大，小到足以在一臺(tái)內(nèi)存100GB以上的電腦上運(yùn)行，然而在某些基準(zhǔn)測(cè)試中卻能和G....
論文遭首屆ICLR拒稿、代碼被過(guò)度優(yōu)化，word2vec作者Tomas Mikolov分享背后的故事
盡管 word2vec 是我被引用最多的論文，但我從未認(rèn)為它是我最有影響力的項(xiàng)目。實(shí)際上，word2....
什么是大模型的badcase？如何修復(fù)大模型的badcase呢？
首先我們定義什么是大模型的badcase，大模型badcase是指在應(yīng)用場(chǎng)景中，出現(xiàn)不符合預(yù)期的答復(fù)....
對(duì)于大模型RAG技術(shù)的一些思考
大模型或者句向量在訓(xùn)練時(shí)，使用的語(yǔ)料都是較為通用的語(yǔ)料。這導(dǎo)致了這些模型，對(duì)于垂直領(lǐng)域的知識(shí)識(shí)別是有....
開(kāi)源LLM在各種基準(zhǔn)上的代理能力
采用ChatGPT的企業(yè)可能會(huì)擔(dān)心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問(wèn)題，以及其他不可....
人工智能體在未來(lái)幾年如何顛覆軟件行業(yè)
Agent 不僅將改變?nèi)藗兣c計(jì)算機(jī)的互動(dòng)方式，還將顛覆軟件行業(yè)，引發(fā)自從我們從鍵入命令到點(diǎn)擊圖標(biāo)以來(lái)....
聚焦于用LLMs模擬國(guó)際沖突的研究
本實(shí)驗(yàn)旨在驗(yàn)證LLM在模擬復(fù)雜歷史事件方面的有效性。實(shí)驗(yàn)選用了OpenAI開(kāi)發(fā)的GPT-4作為后端模....
淺談Q-Learning在Agent的應(yīng)用
經(jīng)典的文字模型我們已經(jīng)很熟悉了：訓(xùn)練時(shí)，模型不停的預(yù)測(cè)下一個(gè) token 并與真實(shí)語(yǔ)料比較，直到模型....
基于大語(yǔ)言模型辯論的多智能體協(xié)作推理分析
具體來(lái)說(shuō)，我們以多項(xiàng)選擇的常識(shí)推理作為示例任務(wù)，因?yàn)槌ＷR(shí)推理任務(wù)是一類(lèi)可能性 (plausible)....
大模型的Scaling Law的概念和推導(dǎo)
對(duì)于Decoder-only的模型，計(jì)算量(Flops), 模型參數(shù)量, 數(shù)據(jù)大小(token數(shù))，....
為什么Agent落地這么難？AI最大賽道Agent機(jī)遇全解析
“如果一篇論文提出了某種不同的訓(xùn)練方法，OpenAI內(nèi)部會(huì)嗤之以鼻，認(rèn)為都是我們玩剩下的。但是當(dāng)新的....
被OpenAI帶火的Agent如何解放人力？
在歷史的長(zhǎng)河中，自動(dòng)化是人類(lèi)技術(shù)發(fā)展的主要?jiǎng)恿?，幫助人?lèi)從復(fù)雜、危險(xiǎn)、繁瑣的勞動(dòng)環(huán)境中解放出來(lái)。自早....
基于ICL范式的LLM的最高置信度預(yù)測(cè)方案
本文假設(shè)不同的ICL為L(zhǎng)LM提供了關(guān)于任務(wù)的不同知識(shí)，導(dǎo)致對(duì)相同數(shù)據(jù)的不同理解和預(yù)測(cè)。因此，一個(gè)直接....
用語(yǔ)言對(duì)齊多模態(tài)信息，北大騰訊等提出LanguageBind，刷新多個(gè)榜單
目前的 VL 預(yù)訓(xùn)練方法通常僅適用于視覺(jué)和語(yǔ)言模態(tài)，而現(xiàn)實(shí)世界中的應(yīng)用場(chǎng)景往往包含更多的模態(tài)信息，如....
工商網(wǎng)監(jiān)