什么是RAG，RAG學(xué)習(xí)和實(shí)踐經(jīng)驗(yàn)
高級(jí)的RAG能很大程度優(yōu)化原始RAG的問(wèn)題，在索引、檢索和生成上都有更多精細(xì)的優(yōu)化，主要的優(yōu)化點(diǎn)會(huì)集....
基于雙級(jí)優(yōu)化（BLO）的消除過(guò)擬合的微調(diào)方法
這篇論文試圖解決的問(wèn)題是大型預(yù)訓(xùn)練模型在下游任務(wù)中進(jìn)行微調(diào)時(shí)出現(xiàn)的過(guò)擬合問(wèn)題。盡管低秩適應(yīng)（LoRA....
自然語(yǔ)言常用的自回歸解碼方法
在選擇k值時(shí)，較大的值會(huì)使生成的內(nèi)容更具多樣性，但可能會(huì)生成不合理的內(nèi)容；較小的值則使生成的內(nèi)容多樣....
斯坦福繼Flash Attention V1和V2又推出Flash Decoding
斯坦福大學(xué)此前提出的FlashAttention算法，能夠在BERT-large訓(xùn)練中節(jié)省15%，將....
利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（下）
對(duì)于語(yǔ)言模型（LLM）幻覺(jué)，知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫(kù)。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一....
利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（上）
向量數(shù)據(jù)庫(kù)是一組高維向量的集合，用于表示實(shí)體或概念，例如單詞、短語(yǔ)或文檔。向量數(shù)據(jù)庫(kù)可以根據(jù)實(shí)體或概....
LLaMA 2是什么？LLaMA 2背后的研究工作
Meta 發(fā)布的 LLaMA 2，是新的 sota 開(kāi)源大型語(yǔ)言模型 (LLM)。LLaMA 2 代....
大模型系列：Flash Attention V2整體運(yùn)作流程
基于1.1中的思想，我們?cè)赩2中將原本的內(nèi)外循環(huán)置換了位置（示意圖就不畫了，基本可以對(duì)比V1示意圖想....
開(kāi)發(fā)RAG管道過(guò)程中的12個(gè)痛點(diǎn)
準(zhǔn)確解釋用戶查詢以檢索相關(guān)的結(jié)構(gòu)化數(shù)據(jù)是困難的，特別是在面對(duì)復(fù)雜或模糊的查詢、不靈活的文本到SQL轉(zhuǎn)....
聊聊小公司如何做大模型
通過(guò)SFT、DPO、RLHF等技術(shù)訓(xùn)練了領(lǐng)域?qū)懽髂Ｐ?。?shí)測(cè)下來(lái)，在該領(lǐng)域?qū)懽魃?，?qiáng)于國(guó)內(nèi)大多數(shù)的閉源....
小紅書搜索團(tuán)隊(duì)研究新框架：負(fù)樣本在大模型蒸餾中的重要性
在思維鏈（CoT）提示的幫助下，大語(yǔ)言模型（LLMs）展現(xiàn)出強(qiáng)大的推理能力。然而，思維鏈已被證明是千....
LLM推理加速新范式！推測(cè)解碼（Speculative Decoding）最新綜述
這個(gè)問(wèn)題隨著LLM規(guī)模的增大愈發(fā)嚴(yán)重。并且，如下左圖所示，目前LLM常用的自回歸解碼（autoreg....
大模型微調(diào)實(shí)踐心得與認(rèn)知深化
.通常CPT開(kāi)始的階段會(huì)出現(xiàn)一段時(shí)間的loss上升，隨后慢慢收斂，所以學(xué)習(xí)率是一個(gè)很重要的參數(shù)，這很....
大語(yǔ)言模型事實(shí)性幻象的實(shí)驗(yàn)性分析
盡管大語(yǔ)言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)Ha....
什么是多模態(tài)？多模態(tài)的難題是什么？
單模態(tài)大模型，通常大于100M～1B參數(shù)。具有較強(qiáng)的通用性，比如對(duì)圖片中任意物體進(jìn)行分割，或者生成任....
如何從訓(xùn)練集中生成候選prompt 三種生成候選prompt的方式
這個(gè)“gradient”怎么得到的了呢，這是個(gè)啥玩意，怎么還有梯度？注意，注意。人家是帶引號(hào)的！比喻....
深入淺出理解PagedAttention CUDA實(shí)現(xiàn)
vLLM 中，LLM 推理的 prefill 階段 attention 計(jì)算使用第三方庫(kù) xform....
視覺(jué)模型weak-to-strong的實(shí)現(xiàn)
幾天前，OpenAI「超級(jí)對(duì)齊」(Superalignment)團(tuán)隊(duì)發(fā)布了成立以來(lái)的首篇論文，聲稱開(kāi)....
8x7B MoE與Flash Attention 2結(jié)合，不到10行代碼實(shí)現(xiàn)快速推理
我們都知道，OpenAI 團(tuán)隊(duì)一直對(duì) GPT-4 的參數(shù)量和訓(xùn)練細(xì)節(jié)守口如瓶。Mistral 8x7....
模型與人類的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對(duì)模型語(yǔ)言理解的作用
近期的大語(yǔ)言模型（LLM）在自然語(yǔ)言理解和生成上展現(xiàn)出了接近人類的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等....
大語(yǔ)言模型推斷中的批處理效應(yīng)
隨著開(kāi)源預(yù)訓(xùn)練大型語(yǔ)言模型（Large Language Model, LLM ）變得更加強(qiáng)大和開(kāi)放....
工商網(wǎng)監(jiān)