中文對話式大語言模型Firefly-2b6開源，使用210萬訓(xùn)練數(shù)據(jù)
在本文中，我們將對該模型進(jìn)行分享和介紹。與firefly-1b4相比，firefly-2b6的代碼生....
AIGC時代的多模態(tài)知識工程思考與展望
隨著人工智能總體階段的發(fā)展，生成式人工智能技術(shù)（AIGC）也在不斷迭代。從20世紀(jì)50年代到90年代....
SceneXplain：讓ChatGPT開啟視覺視角
得益于多模態(tài)技術(shù)的不斷發(fā)展，圖像描述這個需要結(jié)合 CV 和 NLP 的老大難問題在近些年里邁出了一大....
ChatGPT的朋友們：大語言模型經(jīng)典論文
本節(jié)目標(biāo)是通過OpenAI系列論文閱讀細(xì)窺ChatGPT的主要原理，其先進(jìn)的工作脈絡(luò)可以概括為下圖。....
In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開其奧秘
In-context learning允許用戶為新用例快速構(gòu)建模型，而無需為每個任務(wù)微調(diào)和存儲新參數(shù)....
通俗易懂chatGPT原理
收集NLP各種任務(wù)的數(shù)據(jù)集，加上任務(wù)描述和提示組裝成新的數(shù)據(jù)集，并使用這些數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的大型語言模....
基于預(yù)訓(xùn)練語言模型設(shè)計(jì)了一套統(tǒng)一的模型架構(gòu)
進(jìn)一步，本文研究了在更依賴 KG 的知識庫問答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推....
Firefly(流螢): 中文對話式大語言模型
Bloom是個多語言模型，由于需要兼容多語言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會被....
與ChatGPT性能最相匹配的開源模型
最近由UC Berkeley、CMU、Stanford, 和 UC San Diego的研究人員創(chuàng)建....
基于GLM-6B對話模型的實(shí)體屬性抽取項(xiàng)目實(shí)現(xiàn)解析
Zero-shot、One-shot以及Few-shot讓人傻傻分不清，讀了很多文章，也沒搞清楚他們....
語言模型性能評估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集
零樣本學(xué)習(xí)是AI識別方法之一。簡單來說就是識別從未見過的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識別出訓(xùn)練....
GPT-4發(fā)布后，你的NLP研究發(fā)生了怎樣的變化？
舉Parsing的例子主要是想說，Parsing領(lǐng)域的今天就是很多NLP子領(lǐng)域的明天。NLP很多da....
如何使用Jina來構(gòu)建一個使用Stable Diffusion生成圖像的Executor呢
為了讓你能夠更輕松地分配和管理微服務(wù)，我們將正式執(zhí)行者從Flow中分離出來。同時，也便于你更好地利用....
語言模型GPT-4在北京高考題目上的測試結(jié)果
計(jì)算符號的表示。針對數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（....
ChatGPT開源項(xiàng)目匯總表格
CarperAI 是EleutherAI研究小組的一個新實(shí)驗(yàn)室，其任務(wù)是“通過強(qiáng)化學(xué)習(xí)提高大型語言模....
如何利用大規(guī)模語言模型將自然語言問題轉(zhuǎn)化為SQL語句？
有的工作嘗試引出中間推理步驟，通過將復(fù)雜問題顯示分解為多個子問題，從而以分而治之的方式來解決。
自然語言融入NeRF，給點(diǎn)文字就生成3D圖的LERF來了
但自然語言不同，自然語言與 3D 場景交互非常直觀。我們可以用圖 1 中的廚房場景來解釋，通過詢問餐....
最全ChatGPT技術(shù)匯總
ChatGPT的強(qiáng)大能力是顯而易見的，但對于人工智能領(lǐng)域不太熟悉的人，對這種黑盒的技術(shù)仍然會擔(dān)憂或者....
利用Contrastive Loss（對比損失）思想設(shè)計(jì)自己的loss function
在非監(jiān)督學(xué)習(xí)時，對于一個數(shù)據(jù)集內(nèi)的所有樣本，因?yàn)槲覀儧]有樣本真實(shí)標(biāo)簽，所以在對比學(xué)習(xí)框架下，通常以每....
淺析Meta最新模型LLaMA語言模型細(xì)節(jié)與代碼
其中torch不用多講，fairscale是用來做GPU分布的，一般是當(dāng)使用DDP仍然遇到超顯存的問....
微軟發(fā)布Visual ChatGPT：視覺模型加持ChatGPT實(shí)現(xiàn)絲滑聊天
系統(tǒng)原則的提示符，“Visual ChatGPT是一個可以處理廣泛語言和視覺任務(wù)的助手，xxxxxx....
NLP數(shù)據(jù)增強(qiáng)的最新綜述
作為一種有效的策略，數(shù)據(jù)增強(qiáng) (data augmentation, DA) 緩解了深度學(xué)習(xí)技術(shù)可能....
通俗理解文本生成的常用解碼策略
“Autoregressive”語言模型的含義是：當(dāng)生成文本時，它不是一下子同時生成一段文字（模型吐....
ELMER: 高效強(qiáng)大的非自回歸預(yù)訓(xùn)練文本生成模型
每個單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也....
改進(jìn)Hinton的Dropout：可以用來減輕欠擬合了
他們首先通過對梯度范數(shù)的有趣觀察來研究 dropout 的訓(xùn)練動態(tài)，然后得出了一個關(guān)鍵的實(shí)證發(fā)現(xiàn)：在....
AIGC最新綜述：從GAN到ChatGPT的AI生成歷史
本調(diào)查全面回顧了生成模型的歷史、基本組件、AIGC 從單模態(tài)交互和多模態(tài)交互的最新進(jìn)展。我們從單峰性....
預(yù)訓(xùn)練數(shù)據(jù)大小對于預(yù)訓(xùn)練模型的影響
BERT類模型的工作模式簡單，但取得的效果也是極佳的，其在各項(xiàng)任務(wù)上的良好表現(xiàn)主要得益于其在大量無監(jiān)....
兩篇大廠CTR預(yù)估最新工作
目前業(yè)內(nèi)關(guān)于embedding table的壓縮主要有NAS-based embedding dim....
GPT/GPT-2/GPT-3/InstructGPT進(jìn)化之路
在預(yù)訓(xùn)練階段，GPT 選擇 transformer 的 decoder 部分作為模型的主要模塊，tr....
從ChatGPT看知識管理及知識圖譜的發(fā)展
知識管理涉及到用于在組織中捕獲、存儲和共享知識的流程和技術(shù)。在聊天機(jī)器人設(shè)計(jì)的背景下，知識管理可以幫....
工商網(wǎng)監(jiān)