開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來(lái)自中國(guó)的研究團(tuán)隊(duì)正是針對(duì)這些問(wèn)題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開源語(yǔ)言模型大模型 1777 0

基于Transformer的大型語(yǔ)言模型（LLM）的內(nèi)部機(jī)制

本文旨在更好地理解基于 Transformer 的大型語(yǔ)言模型（LLM）的內(nèi)部機(jī)制，以提高它們的可靠性和可解釋性。 隨著大型語(yǔ)言模型（LLM）在使用和部...

2023-06-25 標(biāo)簽：存儲(chǔ)語(yǔ)言模型Transformer 1755 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語(yǔ)言建模

盡管指令調(diào)整的大型語(yǔ)言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們?cè)谖谋疽酝獾钠渌麛?shù)據(jù)模式上的有效性尚未得到充分研究。在這項(xiàng)工作中，...

2023-06-19 標(biāo)簽：模塊語(yǔ)言建模語(yǔ)言模型 1738 0

大型語(yǔ)言模型在關(guān)鍵任務(wù)和實(shí)際應(yīng)用中的挑戰(zhàn)

大型語(yǔ)言模型的出現(xiàn)極大地推動(dòng)了自然語(yǔ)言處理領(lǐng)域的進(jìn)步，但同時(shí)也存在一些局限性，比如模型可能會(huì)產(chǎn)生看似合理但實(shí)際上是錯(cuò)誤或虛假的內(nèi)容，這一現(xiàn)象被稱為幻覺（...

2023-08-15 標(biāo)簽：解碼器數(shù)據(jù)語(yǔ)言模型 1710 0

Kaggle知識(shí)點(diǎn)：使用大模型進(jìn)行特征篩選

數(shù)據(jù)科學(xué)數(shù)據(jù)挖掘的核心是是對(duì)海量數(shù)據(jù)進(jìn)行有效的篩選和分析。傳統(tǒng)上數(shù)據(jù)篩選依賴于數(shù)據(jù)驅(qū)動(dòng)的方法，如包裹式、過(guò)濾式和嵌入式篩選。隨著大模型的發(fā)展，本文將探討...

2024-12-03 標(biāo)簽：語(yǔ)言模型海量數(shù)據(jù)大模型 1574 0

谷歌Gemini模型AI網(wǎng)絡(luò)及TPU拆解

Gemini 是一款新型的多模態(tài)大語(yǔ)言模型，此前多模態(tài)大模型在處理視頻、文字、圖像等多維度輸入信息時(shí)是采用分別訓(xùn)練分別輸出再進(jìn)行拼接的方式，這種方式的缺...

2023-12-14 標(biāo)簽：谷歌GeminiAI 1529 0

LlamaIndex：面向QA系統(tǒng)的全新文檔摘要索引

添加關(guān)鍵字過(guò)濾器是增強(qiáng)檢索結(jié)果的一種方法。但這也帶來(lái)了一系列挑戰(zhàn)。我們需要手動(dòng)或通過(guò) NLP 關(guān)鍵字提取/主題標(biāo)記模型為每個(gè)文檔充分確定合適的關(guān)鍵字。此...

2023-05-12 標(biāo)簽：代碼語(yǔ)言模型nlp 1510 0

利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（下）

對(duì)于語(yǔ)言模型（LLM）幻覺，知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫(kù)。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫(kù)語(yǔ)言模型知識(shí)圖譜 1503 0

探索SFT訓(xùn)練策略對(duì)性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí)，會(huì)呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過(guò)在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型SFT 1466 0

高性能計(jì)算與多模態(tài)處理的探索之旅：英偉達(dá)GH200性能優(yōu)化與GPT-4V的算力加速未來(lái)

隨著人工智能技術(shù)的不斷發(fā)展，多模態(tài)大模型成為越來(lái)越重要的發(fā)展趨勢(shì)。GPT-4V（GPT-4 近日開放的視覺模態(tài)）大型多模型（LMMs）擴(kuò)展大型語(yǔ)言模型（...

2023-10-19 標(biāo)簽：人工智能語(yǔ)言模型英偉達(dá) 1465 0

谷歌新作SPAE：GPT等大語(yǔ)言模型可以通過(guò)上下文學(xué)習(xí)解決視覺任務(wù)

這篇論文揭示了 PaLM 或 GPT 在通過(guò)上下文學(xué)習(xí)解決視覺任務(wù)方面的能力，并提出了新方法 SPAE（Semantic Pyramid AutoEnc...

2023-07-09 標(biāo)簽：語(yǔ)言模型GPTnlp 1442 0

大型語(yǔ)言模型的邏輯推理能力探究

最新研究揭示，盡管大語(yǔ)言模型LLMs在語(yǔ)言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個(gè)全新的邏輯推理評(píng)估基準(zhǔn)，包含1...

2023-11-23 標(biāo)簽：語(yǔ)言模型自然語(yǔ)言ChatGPT 1320 0