如何用語(yǔ)言模型（LM）實(shí)現(xiàn)建模能力
當(dāng)初筆者進(jìn)入 NLP 的大門(mén)，就是相信：由于語(yǔ)言強(qiáng)大的表達(dá)能力以及語(yǔ)言模型強(qiáng)大的建模能力，Reaso....
最適合小白入門(mén)的NLP項(xiàng)目
數(shù)據(jù)集?；陬^條新聞標(biāo)題數(shù)據(jù)集，質(zhì)量相對(duì)較高。
基于有效樣本數(shù)的類(lèi)平衡損失
本文綜述了康奈爾大學(xué)、康奈爾科技、谷歌Brain和Alphabet公司的基于有效樣本數(shù)的類(lèi)平衡損失(....
Adapter在finetune全模型參數(shù)的效果
目前在大規(guī)模預(yù)訓(xùn)練模型上進(jìn)行finetune是NLP中一種高效的遷移方法，但是對(duì)于眾多的下游任務(wù)而言....
Few-shot NER的三階段
Few-shot NER的三階段：Train、Adapt、Recognize，即在source域訓(xùn)練....
介紹兩個(gè)few-shot NER中的challenge
此部分著重介紹了兩個(gè)few-shot NER中的challenge：limited informat....
詳細(xì)介紹算法效果調(diào)優(yōu)的流程
效果調(diào)優(yōu)應(yīng)該是算法工程師最基礎(chǔ)的工作了我們需要對(duì)當(dāng)前的現(xiàn)狀有一定了解后，提出有效的效果優(yōu)化方案，為指....
NLP技術(shù)在司法領(lǐng)域的應(yīng)用
這個(gè)AI背后的主要技術(shù)，其實(shí)就是自然語(yǔ)言處理，它可以提取出當(dāng)前案件中的諸多要素，將其和其他類(lèi)似案件的....
PiCO核心點(diǎn)—對(duì)比學(xué)習(xí)引入PLL
有監(jiān)督學(xué)習(xí)是最常見(jiàn)的一種機(jī)器學(xué)習(xí)問(wèn)題，給定一個(gè)輸入樣本，預(yù)測(cè)該樣本的label是什么。Partial....
README不同庫(kù)的分布式訓(xùn)練方式
測(cè)試結(jié)果發(fā)現(xiàn) Apex 的加速效果最好，但與 Horovod/Distributed 差別不大，平時(shí)....
RAKE算法原理介紹
RAKE英文全稱(chēng)為Rapid Automatic keyword extraction，中文稱(chēng)為快速....
DocumentAI的模型、任務(wù)和基準(zhǔn)數(shù)據(jù)集
隨著最近幾年多模態(tài)大火的，越來(lái)越多的任務(wù)都被推陳出新為多模態(tài)版本。譬如，傳統(tǒng)對(duì)話(huà)任務(wù)，推出了考慮視覺(jué)....
基于中文數(shù)據(jù)的標(biāo)簽詞構(gòu)造過(guò)程
生成方法對(duì)于長(zhǎng)實(shí)體來(lái)說(shuō)更加困難。但是隨著UIE的出現(xiàn)，中文小樣本NER 的效果得到了突破。
FLAT的一種改進(jìn)方案
許久沒(méi)有更新，今天來(lái)水一篇之前在arXiv上看到的論文，這篇NFLAT是對(duì)FLAT的改進(jìn)（其實(shí)也是對(duì)....
project復(fù)現(xiàn)過(guò)程踩到坑對(duì)應(yīng)的解決方案
最近做的一個(gè) project 需要復(fù)現(xiàn) EMNLP 2020 Findings 的 TinyBERT....
稠密向量檢索的Query深度交互的文檔多視角表征
今天給大家?guī)?lái)一篇北航和微軟出品的稠密向量檢索模型Dual-Cross-Encoder，結(jié)合Quer....
計(jì)算語(yǔ)言學(xué)的發(fā)展趨勢(shì)、不足與挑戰(zhàn)
NAACL 會(huì)議是 ACL 的北美分會(huì)，每年舉辦一次，也是 NLP 領(lǐng)域備受關(guān)注的頂會(huì)之一。NAAC....
如何在PyTorch中使用交叉熵?fù)p失函數(shù)
Keras有一個(gè)簡(jiǎn)潔的API來(lái)查看模型的每一層輸出尺寸，這在調(diào)試網(wǎng)絡(luò)時(shí)非常有用?，F(xiàn)在在PyTorch....
對(duì)比學(xué)習(xí)在開(kāi)放域段落檢索和主題挖掘中的應(yīng)用
開(kāi)放域段落檢索是給定一個(gè)由數(shù)百萬(wàn)個(gè)段落組成的超大文本語(yǔ)料庫(kù)，其目的是檢索一個(gè)最相關(guān)的段落集合，作為一....
各種梯度下降法是如何工作的
導(dǎo)讀一圖勝千言，什么？還是動(dòng)畫(huà)，那就更棒啦！本文用了大量的資源來(lái)解釋各種梯度下降法（gradient....
快速了解文本語(yǔ)義相似度領(lǐng)域的研究脈絡(luò)和進(jìn)展
文本表示：當(dāng)數(shù)據(jù)被預(yù)處理完成后，就可以送入模型了。在文本相似度任務(wù)中，需要有一個(gè)模塊用于對(duì)文本的向量....
三篇基于遷移學(xué)習(xí)的論元關(guān)系提取
該篇文章為了使論辯中繁瑣的過(guò)程自動(dòng)化，提出了一個(gè)大規(guī)模數(shù)據(jù)集IAM，該數(shù)據(jù)集可用于一系列論辯挖掘任務(wù)....
FS-NER 的關(guān)鍵挑戰(zhàn)
小樣本 NER 需要從很少的實(shí)例和外部資源中獲取有效信息。本文提出了一個(gè)自描述機(jī)制，可以通過(guò)使用全局....
PyTorch 的 Autograd 機(jī)制和使用
PyTorch 作為一個(gè)深度學(xué)習(xí)平臺(tái)，在深度學(xué)習(xí)任務(wù)中比 NumPy 這個(gè)科學(xué)計(jì)算庫(kù)強(qiáng)在哪里呢？我覺(jué)....
如何進(jìn)行MLM訓(xùn)練
Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動(dòng)態(tài)mask。除此....
基于基本圖像處理技術(shù)的數(shù)據(jù)增強(qiáng)方法
深度神經(jīng)網(wǎng)絡(luò)在許多任務(wù)中表現(xiàn)良好，但這些網(wǎng)絡(luò)通常需要大量數(shù)據(jù)才能避免過(guò)度擬合。遺憾的是，許多場(chǎng)景無(wú)法....
基于填表方式的NER方法
現(xiàn)在很多基于填表方式的NER方法，在構(gòu)造表中元素的時(shí)候，一般用的都是由相應(yīng)span的head字和ta....
怎么評(píng)估算法的性能
我在很多文章里都有吐槽大規(guī)模預(yù)訓(xùn)練模型的性能差，落地成本高，這一期就和大家講講，怎么評(píng)估算法的性能的....
預(yù)訓(xùn)練語(yǔ)言模型的字典描述
今天給大家?guī)?lái)一篇IJCAI2022浙大和阿里聯(lián)合出品的采用對(duì)比學(xué)習(xí)的字典描述知識(shí)增強(qiáng)的預(yù)訓(xùn)練語(yǔ)言模....
PFN模型整體結(jié)構(gòu)和分區(qū)過(guò)濾編碼器內(nèi)部結(jié)構(gòu)
他們認(rèn)為task間的信息沒(méi)有得到很好的交互，（但其實(shí)Table sequence還是有交互的），其實(shí)....
工商網(wǎng)監(jiān)