擴散模型和其在文本生成圖像任務上的應用
擴散過程有一個顯著特性，我們可以對任意 進行采樣。為了證明該性質需要使用參數(shù)重整化技巧：假設要從....
一份NLP算法方向的社招面經(jīng)
這里有一個提高通過率的小trick：可以和1個或者多個靠譜小伙伴一起，讓大家看對方的簡歷，假設自己是....
meta reweighting 策略來增強偽樣本的效果
本文的 basic 模型使用 BERT+BiLSTM+CRF 進行 NER 任務。首先給定輸入序列 ....
ERNIE-Search模型結構
這個損失的內(nèi)容非常多，我把他分為兩個部分，一個是獨立訓練的部分（不帶箭頭的），另一個是蒸餾部分（帶箭....
利用對比前綴控制文本生成以及長文本生成的動態(tài)內(nèi)容規(guī)劃
一些最新的研究表明，預訓練語言模型（PLM）可以通過自我監(jiān)督的預訓練從大規(guī)模語料庫中自動獲取知識，然....
利用算法開發(fā)了一種新的自然語言生成解碼方式
這樣的前向啟發(fā)函數(shù)有兩個好處，如果是滿足多Token約束的一個Token，前向啟發(fā)函數(shù)包含了全部約束....
詞義消歧與實體消歧
在詞義消歧中，同一詞語的不同義項會作為候選詞。我們需要在所有候選詞中找到與文本中目標詞語最接近的那個....
基于序列標注的實體識別所存在的問題
實體識別通常被當作序列標注任務來做，序列標注模型需要對實體邊界和實體類別進行預測，從而識別和提取出相....
大模型技術發(fā)展背景
我們今天看到了一個明顯的趨勢就是 AI 正從感知智能快速向認知智能邁進。AI 正從“能聽、會說、會看....
怎么構建命名實體識別（NER）任務的標注數(shù)據(jù)
用自己平臺的商品標題去請求一些開放 NER 的 api，比如阿里云、騰訊云、百度 ai 等，有些平臺....
中文文本糾錯任務
公文糾錯：針對公文寫作場景，提供字詞、標點、專名、數(shù)值內(nèi)容糾錯，包含領導人姓名、領導人職位、數(shù)值一致....
實體關系抽取模型CasRel
許多實驗證明聯(lián)合學習方法由于考慮了兩個子任務之間的信息交互，大大提升了實體關系抽取的效果，所以目前針....
跨語言命名實體識別：無監(jiān)督多任務多教師蒸餾模型
另外一個任務輸入的為序列標注的句對數(shù)據(jù)，分別采用兩個獨立的Encoder編碼器進行編碼，得到的對應的....
Meta開源NLLB翻譯模型，支持200種語言互譯
除了AI業(yè)內(nèi)關心他們?nèi)绾沃С终Z料稀缺的冷門語言，以及如何在BLEU基準測試上提高7個點以外。也有來自....
融合Image-Text和Image-Label兩種數(shù)據(jù)的多模態(tài)訓練新方式
目前CV領域中包括兩種典型的訓練模式，第一種是傳統(tǒng)的圖像分類訓練，以離散的label為目標，人工標注....
馬爾可夫與語言模型
有限狀態(tài)語法或正則語法，是指能夠生成有限狀態(tài)機可以接受的句子的語法。而能夠生成非確定性下推自動機（n....
如何實現(xiàn)更高效的VLN算法
視覺-語言導航任務（Vision-Language Navigation， VLN）是指在陌生環(huán)境中....
如何對typo 進行檢測和糾正
自然語言文本中經(jīng)常會出現(xiàn)一些拼寫錯誤（typo），在中文文本里即所謂的錯別字，中文拼寫糾錯（Chin....
在Token中加入你感興趣的詞的邊界標記
首先分詞，在詞中間插入特殊標記，這些標記也會被當做普通的字符處理。有位置，也會被 MASK，這樣編碼....
基于Entity-Linking及基于Retreval的方法
NLP預訓練模型需要非常大的參數(shù)量以及非常多的語料信息，這些都是希望能盡可能多的記住文本中的知識，以....
基于GAN-inversion的圖像重構過程
筆者最近在集中時間學習對抗生成網(wǎng)絡（GAN），特別是深度生成先驗進行多用途圖像修復與處理，需要對圖像....
生成式摘要的經(jīng)典模型
以往的標題模型產(chǎn)生的都是平實性標題，即簡單語言描述的事實性標題。但是，實際上我們可能更需要有記憶點的....
基于對抗自注意力機制的預訓練語言模型
表示輸入的特征，在傳統(tǒng)的對抗訓練中， 通常是 token 序列或者是 token 的 embeddi....
數(shù)據(jù)類別不均衡問題的分類及解決方式
數(shù)據(jù)類別不均衡問題應該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題，花了些時間梳理....
基于RoBERTa的語義理解模型的構建
美團技術團隊 近日，美團搜索與NLP部NLP中心語義理解團隊的小樣本學習模型FSL++在中文小樣本語....
表示學習中7大損失函數(shù)的發(fā)展歷程及設計思路
表示學習的目的是將原始數(shù)據(jù)轉換成更好的表達，以提升下游任務的效果。在表示學習中，損失函數(shù)的設計一直是....
邏輯推理MRC的兩個數(shù)據(jù)集和對應方法
AdaLoGN的整體結構如圖6所示，可以看到自適應地擴展TLG、消息傳遞過程通過迭代多輪來使得符號推....
如何在Prompt Learning下引入外部知識達到好文本分類效果
手工定義或自動搜索得到的verbalizer有主觀性強覆蓋面小等缺點，我們使用了知識庫來進行標簽詞的....
如何更高效地使用預訓練語言模型
本文對任務低維本征子空間的探索是基于 prompt tuning, 而不是fine-tuning。原....
工商網(wǎng)監(jiān)