一種基于自然語言的軌跡修正方法

本研究提出了ExTraCT框架，利用自然語言進(jìn)行軌跡校正。該框架結(jié)合了大型語言模型（LLMs）用于自然語言理解和軌跡變形函數(shù)。ExTraCT能夠根據(jù)場景...

2024-01-19 標(biāo)簽：函數(shù)模型自然語言 633 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語言模型針對語言任務(wù)進(jìn)行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過程...

2024-01-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1553 0

深入了解RAG技術(shù)

這是任何RAG流程的最后一步——基于我們仔細(xì)檢索的所有上下文和初始用戶查詢生成答案。最簡單的方法可能是將所有獲取到的上下文（超過某個(gè)相關(guān)性閾值的）連同查...

2024-01-17 標(biāo)簽：編碼器大模型LLM 3848 0

什么是多模態(tài)？多模態(tài)的難題是什么？

單模態(tài)大模型，通常大于100M～1B參數(shù)。具有較強(qiáng)的通用性，比如對圖片中任意物體進(jìn)行分割，或者生成任意內(nèi)容的圖片或聲音。極大降低了場景的定制成本。

2024-01-17 標(biāo)簽：AI大模型LLM 5436 0

如何從訓(xùn)練集中生成候選prompt 三種生成候選prompt的方式

這個(gè)“gradient”怎么得到的了呢，這是個(gè)啥玩意，怎么還有梯度？注意，注意。人家是帶引號(hào)的！比喻成梯度。這玩意有什么用呢。 文章指出給定一批e...

2024-01-12 標(biāo)簽：算法promptLLM 1415 0

三步完成在英特爾獨(dú)立顯卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智譜 AI 和清華大學(xué) KEG 實(shí)驗(yàn)室聯(lián)合發(fā)布的新一代對話預(yù)訓(xùn)練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型...

2024-01-11 標(biāo)簽：英特爾語言模型LLM 1996 0

大模型學(xué)習(xí)筆記

Apple最近發(fā)表了一篇文章，可以在iphone, MAC 上運(yùn)行大模型：【LLM in a flash: Efficient Large Langua...

2024-01-08 標(biāo)簽：DRAMMac大模型 721 0

基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計(jì)算機(jī)領(lǐng)域，特別是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標(biāo)簽：SQL語言模型大模型 1996 0

什么是LlamaIndex？LlamaIndex數(shù)據(jù)框架的特點(diǎn)和功能

LlamaIndex是一個(gè)數(shù)據(jù)框架，用于讓基于LLM的應(yīng)用程序攝取、結(jié)構(gòu)化和訪問私有或領(lǐng)域特定的數(shù)據(jù)。它提供Python和Typescript版本。

2024-01-05 標(biāo)簽：接口SQL數(shù)據(jù)庫 1.1萬 0

如何在不微調(diào)的情況下提高RAG的準(zhǔn)確性？

數(shù)據(jù)科學(xué)家、AI 工程師、MLOps 工程師和 IT 基礎(chǔ)設(shè)施專業(yè)人員在設(shè)計(jì)和部署檢索增強(qiáng)生成（RAG）工作流時(shí)，必須考慮各項(xiàng)因素，比如大語言模型（LL...

2024-01-05 標(biāo)簽：機(jī)器人SQLLLM 1286 0

模型與人類的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標(biāo)簽：PLM語言模型LLM 671 0

OneLLM：對齊所有模態(tài)的框架！

OneLLM 是第一個(gè)在單個(gè)模型中集成八種不同模態(tài)的MLLM。通過統(tǒng)一的框架和漸進(jìn)式多模態(tài)對齊pipelines，可以很容易地?cái)U(kuò)展OneLLM以包含更多...

2024-01-04 標(biāo)簽：編碼器路由器大模型 1292 0

高級(jí)檢索增強(qiáng)生成技術(shù)(RAG)全面指南

ChatGPT、Midjourney等生成式人工智能（GenAI）在文本生成、文本到圖像生成等任務(wù)中表現(xiàn)出令人印象深刻的性能。

2023-12-25 標(biāo)簽：轉(zhuǎn)換器人工智能RAG算法 5835 0

一文詳解LLM模型基本架構(gòu)

LLM 中非常重要的一個(gè)概念是 Token，我們輸入給 LLM 和它輸出的都是 Token。Token 在這里可以看做語言的基本單位，中文一般是詞或字（...

2023-12-25 標(biāo)簽：gpurust語言LLM 3803 0

聊聊AI研發(fā)的七大支柱

通過豐富數(shù)據(jù)，生成式 AI 應(yīng)用程序可以提供上下文感知交互。 LLM 驅(qū)動(dòng)的功能通常依賴于特定的專有數(shù)據(jù)。簡化從多個(gè)來源引入數(shù)據(jù)對于創(chuàng)建平滑有效的模型至...

2023-12-21 標(biāo)簽：AI數(shù)據(jù)連接器大模型 578 0

拆解大語言模型RLHF中的PPO算法

由于本文以大語言模型 RLHF 的 PPO 算法為主，所以希望你在閱讀前先弄明白大語言模型 RLHF 的前兩步，即 SFT Model 和 Reward...

2023-12-11 標(biāo)簽：算法深度學(xué)習(xí)ChatGPT 2835 0

低比特量化技術(shù)如何幫助LLM提升性能

針對大語言模型 (LLM) 在部署過程中的性能需求，低比特量化技術(shù)一直是優(yōu)化效果最佳的方案之一，本文將探討低比特量化技術(shù)如何幫助 LLM 提升性能，以及...

2023-12-08 標(biāo)簽：輕量化技術(shù)大模型LLM 1438 0

使用Huggingface創(chuàng)建大語言模型RLHF訓(xùn)練流程

ChatGPT已經(jīng)成為家喻戶曉的名字，而大語言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術(shù)來改進(jìn)我們的業(yè)務(wù)。

2023-12-06 標(biāo)簽：機(jī)器學(xué)習(xí)SFTDPO 1674 0

全面解析大語言模型（LLM）

internal feedback：使用LLM去預(yù)測生成的plan取得成功的概率、Tree of Thought去對比不同的plan（有點(diǎn)類似Alpha...

2023-12-05 標(biāo)簽：GPTOpenAI大模型 3059 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個(gè)K和V...

2023-12-04 標(biāo)簽：gpuGPTLLM 8567 0