基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究
sparse retrieval：傳統(tǒng)的基于字或基于詞去建立倒排索引，同時(shí)基于此去構(gòu)建很多查詢理解的....
NLP類別不均衡問題之loss大集合
NLP 任務(wù)中，數(shù)據(jù)類別不均衡問題應(yīng)該是一個(gè)極常見又頭疼的的問題了。最近在工作中也是碰到這個(gè)問題....
Jina AI到底是做什么的？為什么要做這些
在 Jina AI，我們的產(chǎn)品囊括了跨模態(tài)、多模態(tài)、神經(jīng)搜索和生成式 AI，涵蓋了未來 AI 應(yīng)用的....
怎樣去使用ChatGPT呢？
文本生成模型已成為文本輸入方法（如聯(lián)想詞、語言檢查等）的重要技術(shù)支撐。
基于統(tǒng)一語義匹配的通用信息抽取框架USM
信息提?。↖nformation Extraction，IE）需要提取句子中的實(shí)體、關(guān)系、事件等，其....
對(duì)話機(jī)器人之Sparrow簡(jiǎn)介
DeepMind提出的Sparrow，相對(duì)于以往的方法，是一種更加有用，準(zhǔn)確并且無害的信息檢索對(duì)話機(jī)....
基于Transformer編碼器的chatGPT模型設(shè)計(jì)
Bert 所作的事就是從大規(guī)模的上億的文本預(yù)料中，隨機(jī)地扣掉一部分字，形成上面例子的完形填空題型，不....
一鍵從Prompt到PowerPoint
職場(chǎng)人苦 PPT 久矣。想做出一份優(yōu)秀的 PPT，確實(shí)難點(diǎn)頗多：要構(gòu)思亮眼的標(biāo)題、簡(jiǎn)明的大綱、精煉的....
ChatGPT反思大語言模型的技術(shù)精要
在Bert和GPT模型出現(xiàn)之前，NLP領(lǐng)域流行的技術(shù)是深度學(xué)習(xí)模型，而NLP領(lǐng)域的深度學(xué)習(xí)，主要依托....
模型任務(wù)的評(píng)價(jià)指標(biāo)體系
1. 寫在前面 模型“好”與“壞”的評(píng)價(jià)指標(biāo)直接由業(yè)務(wù)目標(biāo)/任務(wù)需求決定。我們需要做的是：根據(jù)具體的....
文本圖片編輯新范式：?jiǎn)蝹€(gè)模型實(shí)現(xiàn)多文本引導(dǎo)圖像編輯
本文首先利用已有的編碼器將需要編輯的圖像轉(zhuǎn)換到 StyleGAN 的 語義空間中的潛在編碼 w，再通....
一文速覽人崗匹配領(lǐng)域研究進(jìn)展
基于文本匹配的方法認(rèn)為求職者與職位是否匹配主要依賴于求職者簡(jiǎn)歷中的技能或工作經(jīng)歷與職位要求描述之間是....
京東：基于多類目MoE模型的電商搜索引擎
此外，對(duì)于一些小類目的商品，在訓(xùn)練集樣本量上和大類目相比差距懸殊，在模型訓(xùn)練過程中會(huì)被大類目商品的樣....
基于長(zhǎng)度感知注意機(jī)制的長(zhǎng)度可控摘要模型
本文的方法是在由原始訓(xùn)練數(shù)據(jù)構(gòu)建的摘要長(zhǎng)度平衡數(shù)據(jù)集上訓(xùn)練 LAAM，然后像往常一樣進(jìn)行微調(diào)。結(jié)果表....
Distributed Data Parallel中的分布式訓(xùn)練
與DataParallel不同的是，Distributed Data Parallel會(huì)開設(shè)多個(gè)進(jìn)程....
對(duì)話機(jī)器人之LaMDA
來自：NLP日志 提綱1 簡(jiǎn)介 2 LaMDA 3 總結(jié) 1 簡(jiǎn)介 LaMDA是在DeepMind的....
講一講ChatGPT的技術(shù)細(xì)節(jié)
通過人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對(duì)GPT3模型（對(duì)這個(gè)是chatGPT模型的base）進(jìn)行初步....
世界杯融入詞庫的位置編碼方法介紹
實(shí)際上在NER任務(wù)中，格是一個(gè)有向無環(huán)圖，其中每個(gè)節(jié)點(diǎn)都是一個(gè)字符或一個(gè)潛在的字，可以參考圖1a。格....
介紹幾篇EMNLP'22的語言模型訓(xùn)練方法優(yōu)化工作
來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作....
靴子落地：ChatGPT 國(guó)內(nèi)發(fā)展或被「拉手剎」
實(shí)際上，早在今年 1 月，國(guó)家網(wǎng)信辦就發(fā)布了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定（征求意見稿）》，公開征....
為什么使用ROC曲線？
對(duì)于樣本數(shù)據(jù)，我們使用分類器對(duì)其進(jìn)行分類，分類器會(huì)給出每個(gè)數(shù)據(jù)為正例的概率。我們可以針對(duì)此來設(shè)定一個(gè)....
基于優(yōu)化的元學(xué)習(xí)方法
為了解決上述問題，本文將目光從任務(wù)專用的soft prompt模型設(shè)計(jì)轉(zhuǎn)移到任務(wù)通用的模型參數(shù)初始化....
DataParallel里為什么會(huì)顯存不均勻以及如何解決
DataParallel里為什么會(huì)顯存不均勻以及如何解決
如何簡(jiǎn)單粗暴的提升NER效果？
如果我們有一個(gè)訓(xùn)練數(shù)據(jù)集，比方說一個(gè)case：“海底撈的主要食物是火鍋”，在NER的任務(wù)中，標(biāo)注成為....
無殘差連接或歸一化層，也能成功訓(xùn)練深度Transformer
最近，使用信號(hào)傳播原則來訓(xùn)練更深度的 DNN 并且殘差架構(gòu)中沒有殘差連接和 / 或歸一化層的參與，成....
自然語言處理或?qū)⒂瓉硇碌姆妒阶冞w
從技術(shù)角度講，ChatGPT還是基于大規(guī)模預(yù)訓(xùn)練語言模型（GPT-3.5）強(qiáng)大的語言理解和生成的能力....
一文速覽醫(yī)學(xué)多模態(tài)進(jìn)展
本文主要從全局和局部進(jìn)行醫(yī)學(xué)圖像的表示學(xué)習(xí)，提出GLoRIA模型，主要使用注意機(jī)制，通過匹配放射學(xué)報(bào)....
對(duì)話系統(tǒng)中的多路召回和排序
首先，是比較經(jīng)典的檢索技術(shù)，這個(gè)其實(shí)對(duì)應(yīng)的比較經(jīng)典的檢索式對(duì)話，其實(shí)現(xiàn)在仍舊被廣泛使用，一些依賴數(shù)據(jù)....
張俊林：ChatGPT會(huì)成為下一代搜索引擎嗎
說回ChatGPT，例子就不舉了，在網(wǎng)上漫山遍野都是，我們主要從技術(shù)角度來聊聊。那么，ChatGPT....
CLIP-Chinese：中文多模態(tài)對(duì)比學(xué)習(xí)預(yù)訓(xùn)練模型
CLIP模型主要由文本編碼器和圖片編碼器兩部分組成，訓(xùn)練過程如下圖所示。對(duì)于batch size為N....
工商網(wǎng)監(jiān)