探索ChatGPT模型的人工智能語言模型

最大的區(qū)別ChatGPT是通過對話數(shù)據(jù)進行預(yù)訓(xùn)練，而不僅僅是通過單一的句子進行預(yù)訓(xùn)練，這使得ChatGPT能夠更好地理解對話的上下文，并進行連貫的回復(fù)。

2024-04-24 標簽：編碼器人工智能語言模型 871 0

深度探討VLMs距離視覺演繹推理還有多遠？

通用大型語言模型（LLM）推理基準：研究者們介紹了多種基于文本的推理任務(wù)和基準，用于評估LLMs在不同領(lǐng)域（如常識、數(shù)學(xué)推理、常識推理、事實推理和編程）...

2024-03-19 標簽：語言模型大模型 482 0

利用知識圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動的RAG系統(tǒng)（下）

對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標簽：數(shù)據(jù)庫語言模型知識圖譜 1498 0

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評測基準HaluEval 2.0，并基于該評測框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標簽：開源語言模型自然語言處理 684 0

專補大模型短板的RAG有哪些新進展？這篇綜述講明白了

然而，盡管它們的能力令人印象深刻，但它們并非無懈可擊。這些模型可能會產(chǎn)生誤導(dǎo)性的 “幻覺”，依賴的信息可能過時，處理特定知識時效率不高，缺乏專業(yè)領(lǐng)域的深...

2024-01-17 標簽：人工智能語言模型大模型 1302 0

三步完成在英特爾獨立顯卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智譜 AI 和清華大學(xué) KEG 實驗室聯(lián)合發(fā)布的新一代對話預(yù)訓(xùn)練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型...

2024-01-11 標簽：英特爾語言模型LLM 1995 0

如何利用位置編碼實現(xiàn)長度外推？

無論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區(qū)分相近token的位置順序的能力。結(jié)合他們對RoPE的波長的觀察，存在一...

2024-01-08 標簽：語言模型Transformer位置編碼器 629 0

基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計算機領(lǐng)域，特別是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標簽：SQL語言模型大模型 1996 0

模型與人類的注意力視角下參數(shù)規(guī)模擴大與指令微調(diào)對模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強大能力，遠遠優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標簽：PLM語言模型LLM 671 0

大語言模型推斷中的批處理效應(yīng)

隨著開源預(yù)訓(xùn)練大型語言模型（Large Language Model, LLM ）變得更加強大和開放，越來越多的開發(fā)者將大語言模型納入到他們的項目中。其...

2024-01-04 標簽：語言模型機器學(xué)習(xí)LoRa 891 0

語言模型的弱監(jiān)督視頻異常檢測方法

LGT Adapter由局部關(guān)系Transformer和全局關(guān)系圖卷積串聯(lián)組成?？紤]到常規(guī)的Transformer在長時視頻時序關(guān)系建模時冗余信息較多、...

2024-01-02 標簽：適配器語言模型Clip 1184 0

一文速覽大語言模型提示最新進展

盡管基本的CoT提示策略在復(fù)雜推理任務(wù)中展示出了強大的能力，但它仍然面臨著一些問題，比如推理過程存在錯誤和不穩(wěn)定等。因此，一系列的研究通過增強的提示方法...

2023-12-27 標簽：生成器語言模型自然語言處理 885 0

谷歌Gemini模型AI網(wǎng)絡(luò)及TPU拆解

Gemini 是一款新型的多模態(tài)大語言模型，此前多模態(tài)大模型在處理視頻、文字、圖像等多維度輸入信息時是采用分別訓(xùn)練分別輸出再進行拼接的方式，這種方式的缺...

2023-12-14 標簽：谷歌GeminiAI 1529 0

大規(guī)模語言模型的基本概念、發(fā)展歷程和構(gòu)建流程

大規(guī)模語言模型（Large Language Models，LLM），也稱大規(guī)模語言模型或大型語言模型，是一種由包含數(shù)百億以上參數(shù)的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的語...

2023-12-07 標簽：人工智能語言模型華為云 5129 0

計算機視覺迎來GPT時刻！UC伯克利三巨頭祭出首個純CV大模型！

在損失函數(shù)上，研究者從自然語言社區(qū)汲取靈感，即掩碼 token 建模已經(jīng)「讓位給了」序列自回歸預(yù)測方法。一旦圖像、視頻、標注圖像都可以表示為序列，則訓(xùn)練...

2023-12-05 標簽：圖像計算機視覺語言模型 900 0

無監(jiān)督域自適應(yīng)場景：基于檢索增強的情境學(xué)習(xí)實現(xiàn)知識遷移

本文對比了多種基線方法，包括無監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)...

2023-12-05 標簽：解碼器編碼器語言模型 794 0

基于大語言模型辯論的多智能體協(xié)作推理分析

具體來說，我們以多項選擇的常識推理作為示例任務(wù)，因為常識推理任務(wù)是一類可能性 (plausible) 的任務(wù)，每個答案都是可能成立的，只是正確答案成立的...

2023-11-29 標簽：語言模型智能體ChatGPT 1832 1