文本分類中處理樣本不均衡和提升模型魯棒性的trick

文本分類看似簡(jiǎn)單，但實(shí)則里面有好多門道。作者水平有限，只能將平時(shí)用到的方法和trick在此做個(gè)記錄和分享，并且盡可能提供給出簡(jiǎn)潔、清晰的代碼實(shí)現(xiàn)。希望各...

2022-10-11 標(biāo)簽：模型代碼nlp 1308 0

nlp自然語(yǔ)言處理基本概念及關(guān)鍵技術(shù)

自然語(yǔ)言處理（Natural Language Processing，簡(jiǎn)稱NLP）是人工智能領(lǐng)域的一個(gè)重要分支，它致力于使計(jì)算機(jī)能夠理解、解釋和生成人類...

2024-07-09 標(biāo)簽：人工智能模型自然語(yǔ)言處理 1304 0

大型語(yǔ)言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開(kāi)來(lái)的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語(yǔ)言模型nlp 1304 0

多維度剖析視覺(jué)-語(yǔ)言訓(xùn)練的技術(shù)路線

視覺(jué)-語(yǔ)言 (Vision-Language, VL) 是計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理這兩個(gè)研究領(lǐng)域之間形成的交叉領(lǐng)域，旨在賦予 AI 系統(tǒng)從多模態(tài)數(shù)據(jù)中學(xué)...

2023-02-23 標(biāo)簽：AI計(jì)算機(jī)視覺(jué)nlp 1299 0

預(yù)訓(xùn)練模型在搜索中使用的思路和方案

當(dāng)然了，和往常的文章一樣，我不會(huì)復(fù)述這一篇文章，而是聊聊里面的一些關(guān)鍵點(diǎn)和一些有意思的內(nèi)容，拿出來(lái)和大家討論一下。

2022-09-19 標(biāo)簽：編碼nlp訓(xùn)練模型 1296 0

自然語(yǔ)言處理技術(shù)的原理的應(yīng)用

自然語(yǔ)言處理（Natural Language Processing, NLP）作為人工智能（AI）領(lǐng)域的一個(gè)重要分支，旨在使計(jì)算機(jī)能夠理解和處理人類自...

2024-07-02 標(biāo)簽：人工智能自然語(yǔ)言處理nlp 1274 0

GPT-4發(fā)布后，你的NLP研究發(fā)生了怎樣的變化？

舉Parsing的例子主要是想說(shuō)，Parsing領(lǐng)域的今天就是很多NLP子領(lǐng)域的明天。NLP很多dalao都是做Parsing起家，那他們?yōu)槭裁船F(xiàn)在不做...

2023-03-27 標(biāo)簽：算法GPTnlp 1247 0

介紹幾篇EMNLP'22的語(yǔ)言模型訓(xùn)練方法優(yōu)化工作

來(lái)自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語(yǔ)言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作分別是： 針對(duì)檢索優(yōu)化語(yǔ)言模型 ：優(yōu)化語(yǔ)言模型訓(xùn)練過(guò)...

2022-12-22 標(biāo)簽：算法nlp 1229 0

如何讓Transformer在征程5上跑得既快又好？以SwinT部署為例的優(yōu)化探索

摘要：SwinT是目前視覺(jué)transformer模型中的典型代表，在常見(jiàn)視覺(jué)任務(wù)，如分類、檢測(cè)、分割都有非常出色的表現(xiàn)。雖然在相同計(jì)算量的模型指標(biāo)上，S...

2023-03-03 標(biāo)簽：gpu模型Transformer 1217 0

自然語(yǔ)言處理模式的優(yōu)點(diǎn)

自然語(yǔ)言處理（Natural Language Processing，簡(jiǎn)稱NLP）是人工智能領(lǐng)域的一個(gè)重要分支，它致力于使計(jì)算機(jī)能夠理解、生成和處理人類...

2024-07-03 標(biāo)簽：計(jì)算機(jī)人工智能自然語(yǔ)言處理 1214 0

分享微博在特征Embedding建模方向做的一些工作

首先我們對(duì)比自然語(yǔ)言處理和圖像處理：NLP 最基本的數(shù)據(jù)元素是單詞，每個(gè)單詞有一定的含義，可能指代某個(gè)實(shí)體；

2022-10-20 標(biāo)簽：圖像處理CTRnlp 1191 0

NLP類別不均衡問(wèn)題之loss大集合

　　NLP 任務(wù)中，數(shù)據(jù)類別不均衡問(wèn)題應(yīng)該是一個(gè)極常見(jiàn)又頭疼的的問(wèn)題了。最近在工作中也是碰到這個(gè)問(wèn)題，花了些時(shí)間梳理并實(shí)踐了下類別不均衡問(wèn)題的解決方式，...

2023-01-31 標(biāo)簽：數(shù)據(jù)代碼GitHub 1162 0

ChatGPT語(yǔ)言模型核心技術(shù)之Transformer

Transformer的主要優(yōu)點(diǎn)是它可以并行地處理輸入序列中的所有位置，因此在訓(xùn)練和推理時(shí)都有著很好的效率。此外，Transformer沒(méi)有使用循環(huán)結(jié)構(gòu)...

2023-03-08 標(biāo)簽：TransformernlpChatGPT 1160 0

nlp神經(jīng)語(yǔ)言和NLP自然語(yǔ)言的區(qū)別和聯(lián)系

神經(jīng)語(yǔ)言（Neuro-Linguistic Programming，NLP） 神經(jīng)語(yǔ)言是一種心理學(xué)方法，它研究人類思維、語(yǔ)言和行為之間的關(guān)系。NLP的核...

2024-07-09 標(biāo)簽：計(jì)算機(jī)人工智能自然語(yǔ)言 1159 0