Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計算一個矩陣，該矩陣包含表示成對比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語言模型 963 0

Medusa如何加速大型語言模型（LLM）的生成？

面對推測性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 961 0

VPG 在 LLM 之間的可遷移性問題

通過我們的VPGTrans框架可以根據(jù)需求為各種新的大語言模型靈活添加視覺模塊。比如我們在LLaMA-7B和Vicuna-7B基礎(chǔ)上制作了VL-LLaM...

2023-05-17 標(biāo)簽：開源模型LLM 958 0

自然語言處理應(yīng)用LLM推理優(yōu)化綜述

當(dāng)前，業(yè)界在將傳統(tǒng)優(yōu)化技術(shù)引入 LLM 推理的同時，同時也在探索從大模型自回歸解碼特點(diǎn)出發(fā)，通過調(diào)整推理過程和引入新的模型結(jié)構(gòu)來進(jìn)一步提升推理性能。

2024-04-10 標(biāo)簽：人工智能自然語言處理調(diào)度器 931 0

用PaddleNLP在4060單卡上實踐大模型預(yù)訓(xùn)練技術(shù)

作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開始訓(xùn)練一個大語言模型需要投資多少錢》，其中高昂的預(yù)訓(xùn)練費(fèi)用讓許多對大模型預(yù)訓(xùn)練技術(shù)感興趣...

2025-02-19 標(biāo)簽：數(shù)據(jù)集大模型LLM 928 0

我們能否擴(kuò)展現(xiàn)有的預(yù)訓(xùn)練 LLM 的上下文窗口

? ? 在大家不斷升級迭代自家大模型的時候，LLM（大語言模型）對上下文窗口的處理能力，也成為一個重要評估指標(biāo)。 ? 比如 OpenAI 的 gpt-3...

2023-06-30 標(biāo)簽：編碼窗口模型 919 0

對比解碼在LLM上的應(yīng)用

為了改進(jìn)LLM的推理能力，University of California聯(lián)合Meta AI實驗室提出將Contrastive Decoding應(yīng)用于多...

2023-09-21 標(biāo)簽：解碼AI深度學(xué)習(xí) 904 0

對話式LLM用于硬件設(shè)計

通常，開發(fā)任何類型的硬件（包括芯片，作為電子設(shè)備大腦的微小電子元件），都是從用正常語言描述硬件應(yīng)該做什么開始的。

2023-06-15 標(biāo)簽：HDL語言OpenAIChatGPT 888 0

OpenVINO 2024.4持續(xù)提升GPU上LLM性能

本次新版本在整個 OpenVINO 產(chǎn)品系列中引入了重要的功能和性能變化，使大語言模型 （LLM） 的優(yōu)化和部署在所有支持的場景中更容易、性能更高，包括...

2024-10-12 標(biāo)簽：處理器英特爾LLM 884 0

大模型對話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 862 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項任務(wù)，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 846 0

英特爾軟硬件構(gòu)建模塊如何幫助優(yōu)化RAG應(yīng)用

深入研究檢索增強(qiáng)生成 (Retrieval Augmented Generation, RAG)，該創(chuàng)新方法定義了企業(yè)和機(jī)構(gòu)如何利用大語言模型(LLM)...

2024-07-24 標(biāo)簽：英特爾軟硬件LLM 839 0

大模型學(xué)習(xí)筆記

Apple最近發(fā)表了一篇文章，可以在iphone, MAC 上運(yùn)行大模型：【LLM in a flash: Efficient Large Langua...

2024-01-08 標(biāo)簽：DRAMMac大模型 825 0

使用ReMEmbR實現(xiàn)機(jī)器人推理與行動能力

視覺語言模型（VLM）通過將文本和圖像投射到同一個嵌入空間，將基礎(chǔ)大語言模型（LLM）強(qiáng)大的語言理解能力與視覺 transformer（ViT）的視覺能...

2024-11-19 標(biāo)簽：機(jī)器人NVIDIALLM 809 0

LLM作用下的成分句法分析基礎(chǔ)研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...

2023-11-10 標(biāo)簽：語言模型語法LLM 771 0