大型語(yǔ)言模型的邏輯推理能力探究

最新研究揭示，盡管大語(yǔ)言模型LLMs在語(yǔ)言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個(gè)全新的邏輯推理評(píng)估基準(zhǔn)，包含1...

2023-11-23 標(biāo)簽：語(yǔ)言模型自然語(yǔ)言ChatGPT 1320 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個(gè)單位。在計(jì)算交叉熵時(shí)，如果使用以 2 為底的對(duì)數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語(yǔ)言模型GPTOpenAI 1006 0

基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

最近，上下文學(xué)習(xí)策略已被證明在沒(méi)有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進(jìn)行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標(biāo)簽：語(yǔ)言模型nlpLLM 1212 0

怎樣讓PPO訓(xùn)練更穩(wěn)定？早期人類征服RLHF的馴化經(jīng)驗(yàn)

盡管魯迅先生曾言：真的強(qiáng)化敢于直面慘淡的結(jié)果，敢于正視崩壞的曲線。但日復(fù)一復(fù)地開(kāi)盲盒難免會(huì)讓人心臟承受不了，好在前人們留下了寶貴的馴化經(jīng)驗(yàn)，今天讓我們一...

2023-11-16 標(biāo)簽：噪聲語(yǔ)言模型LLM 1038 0

基于檢索的大語(yǔ)言模型簡(jiǎn)介

簡(jiǎn)介章節(jié)講的是比較基礎(chǔ)的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語(yǔ)言模型（LLM）

2023-11-15 標(biāo)簽：語(yǔ)言模型LLM 962 0

LLM作用下的成分句法分析基礎(chǔ)研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...

2023-11-10 標(biāo)簽：語(yǔ)言模型語(yǔ)法LLM 664 0

探究編輯多模態(tài)大語(yǔ)言模型的可行性

不同于單模態(tài)模型編輯，多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點(diǎn)依然從單模態(tài)模型編輯入手，將單模態(tài)模型編輯拓展到多模態(tài)模型編輯，主要從以下三個(gè)方面...

2023-11-09 標(biāo)簽：編碼器語(yǔ)言模型OpenAI 681 0

Hugging Face LLM部署大語(yǔ)言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開(kāi)源LLMs，比如BLOOM大型語(yǔ)言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標(biāo)簽：語(yǔ)言模型亞馬遜LLM 1149 0

探索SFT訓(xùn)練策略對(duì)性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí)，會(huì)呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過(guò)在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型SFT 1464 0

揭秘編碼器與解碼器語(yǔ)言模型

Transformer 架構(gòu)的問(wèn)世標(biāo)志著現(xiàn)代語(yǔ)言大模型時(shí)代的開(kāi)啟。自 2018 年以來(lái)，各類語(yǔ)言大模型層出不窮。

2023-10-24 標(biāo)簽：解碼器編碼器語(yǔ)言模型 1042 0

基于PyTorch的模型并行分布式訓(xùn)練Megatron解析

NVIDIA Megatron 是一個(gè)基于 PyTorch 的分布式訓(xùn)練框架，用來(lái)訓(xùn)練超大Transformer語(yǔ)言模型，其通過(guò)綜合應(yīng)用了數(shù)據(jù)并行，Te...

2023-10-23 標(biāo)簽：NVIDIA源碼模型 3923 0

開(kāi)源LLEMMA發(fā)布：超越未公開(kāi)的頂尖模型，可直接應(yīng)用于工具和定理證明

但LLEMMA的出現(xiàn)改變了這一局面。它不僅在MATH基準(zhǔn)測(cè)試上創(chuàng)下了新高，甚至超越了某些還未對(duì)外公開(kāi)的頂尖模型，如Minerva。更讓人欣喜的是，LLE...

2023-10-22 標(biāo)簽：模型語(yǔ)言模型python 965 0

在RTX 4090被限制的時(shí)代下，讓大模型使用RLHF更高效的方法來(lái)了

今年，以 ChatGPT 為首的大語(yǔ)言模型（Large Language Models, LLMs) 在各個(gè)方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對(duì) G...

2023-10-22 標(biāo)簽：語(yǔ)言模型ChatGPT大模型 670 0

谷歌重磅新作PaLI-3：視覺(jué)語(yǔ)言新模型！更小、更快、更強(qiáng)

效果怎么樣呢？PaLI-3 在需要視覺(jué)定位文本理解和目標(biāo)定位的任務(wù)上實(shí)現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個(gè)視覺(jué)定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語(yǔ)言模型大模型 2511 0

高性能計(jì)算與多模態(tài)處理的探索之旅：英偉達(dá)GH200性能優(yōu)化與GPT-4V的算力加速未來(lái)

隨著人工智能技術(shù)的不斷發(fā)展，多模態(tài)大模型成為越來(lái)越重要的發(fā)展趨勢(shì)。GPT-4V（GPT-4 近日開(kāi)放的視覺(jué)模態(tài)）大型多模型（LMMs）擴(kuò)展大型語(yǔ)言模型（...

2023-10-19 標(biāo)簽：人工智能語(yǔ)言模型英偉達(dá) 1464 0

CPU后端和CUDA后端的執(zhí)行代碼和效果

下面展示一下在 https://github.com/BBuf/RWKV-World-HF-Tokenizer 做的自定義實(shí)現(xiàn)的RWKV world t...

2023-10-16 標(biāo)簽：人工智能語(yǔ)言模型數(shù)據(jù)集 1176 0

ChatGPT是怎么實(shí)現(xiàn)的

ChatGPT 能夠自動(dòng)生成類似于人類寫(xiě)作的文本，這一點(diǎn)非常引人注目，也令人意外。但它是如何實(shí)現(xiàn)的？為什么它能夠如此出色地生成我們認(rèn)為有意義的文本？我的...

2023-10-16 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型ChatGPT 1311 0

行人摔倒檢測(cè)-在英特爾開(kāi)發(fā)套件上基于OpenVINO? C# API部署PP-Human

OpenVINO 2023.1 于 2023 年 9 月 18 日發(fā)布，該工具包帶來(lái)了挖掘生成人工智能全部潛力的新功能。生成人工智能的覆蓋范圍得到了擴(kuò)展...

2023-10-13 標(biāo)簽：英特爾視頻監(jiān)控語(yǔ)言模型 974 0