哈工大南洋理工提出全球首個「多模態(tài)DeepFake檢測定位」模型：讓AIGC偽造無處可藏

具體而言，在多模態(tài)媒體篡改中，各類新聞報道的圖片中重要人物的人臉（如圖 1 中法國總統(tǒng)人臉）被替換，文字中關(guān)鍵短語或者單詞被篡改（如圖 1 中正面短語「...

2023-04-11 標簽：互聯(lián)網(wǎng)語言模型圖像檢測 1144 0

有哪些省內(nèi)存的大語言模型訓練/微調(diào)/推理方法？

首先，我們需要了解如何根據(jù)參數(shù)量估計模型大致所需的 RAM，這在實踐中有很重要的參考意義。我們需要通過估算設(shè)置 batch_size，設(shè)置模型精度，選擇...

2023-04-10 標簽：RAM參數(shù)語言模型 1731 0

基于預(yù)訓練語言模型設(shè)計了一套統(tǒng)一的模型架構(gòu)

進一步，本文研究了在更依賴 KG 的知識庫問答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推理兩階段，先從大規(guī)模知識圖譜上檢索問題相關(guān)的小子圖，...

2023-04-07 標簽：PLM語言模型數(shù)據(jù)集 860 0

Firefly(流螢): 中文對話式大語言模型

Bloom是個多語言模型，由于需要兼容多語言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會被用到。我們通過刪減冗余的詞表，從多語言模型中提取常用...

2023-04-07 標簽：語言模型數(shù)據(jù)集Firefly 7110 0

大型語言模型綜述全新出爐！從T5到GPT-4最全盤點

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開來的最顯著特征之一。當出現(xiàn)這種新的能...

2023-04-04 標簽：語言模型nlp 1233 0

重新審視Prompt優(yōu)化問題，預(yù)測偏差讓語言模型上下文學習更強

Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯度的優(yōu)化來調(diào)整這些 embeddings。然而，這些...

2023-04-03 標簽：語言模型 677 0

ChatGPT開始聯(lián)網(wǎng)，最后的封印解除了

OpenAI 的解決方案是用第三方插件作為橋梁，讓 AI 在較安全的環(huán)境下「看」外界數(shù)據(jù)。昨天該機構(gòu)開放了第一批 ChatGPT 插件名單。這批插件由 ...

2023-03-27 標簽：語言模型OpenAIChatGPT 1123 0

語言模型性能評估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集

零樣本學習是AI識別方法之一。簡單來說就是識別從未見過的數(shù)據(jù)類別，即訓練的分類器不僅僅能夠識別出訓練集中已有的數(shù)據(jù)類別， 還可以對于來自未見過的類別的數(shù)...

2023-03-27 標簽：分類器語言模型數(shù)據(jù)集 1897 0

Recursive prompting增強語言模型方案

無監(jiān)督問題分解，將原問題分解為多個相對簡單的子問題。這里需要訓練一個分解模型，用于將復雜問題分解成多個子問題。

2023-03-23 標簽：語言模型無監(jiān)督學習 382 0

語言模型GPT-4在北京高考題目上的測試結(jié)果

計算符號的表示。針對數(shù)學和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（如， ）都不影響GPT-4的理解。為了統(tǒng)一，我們都...

2023-03-22 標簽：電荷語言模型GPT 1554 0

ChatGPT開源項目匯總表格

CarperAI 是EleutherAI研究小組的一個新實驗室，其任務(wù)是“通過強化學習提高大型語言模型 (LLM) 的性能和安全性?！?CarperAI...

2023-03-22 標簽：開源語言模型ChatGPT 1903 0

如何利用大規(guī)模語言模型將自然語言問題轉(zhuǎn)化為SQL語句？

有的工作嘗試引出中間推理步驟，通過將復雜問題顯示分解為多個子問題，從而以分而治之的方式來解決。

2023-03-22 標簽：SQL語言模型SQL語句 7219 0

最全ChatGPT技術(shù)匯總

ChatGPT的強大能力是顯而易見的，但對于人工智能領(lǐng)域不太熟悉的人，對這種黑盒的技術(shù)仍然會擔憂或者不信任?？謶滞ǔ碜杂诓涣私?，因此本文將為大家全面剖...

2023-03-22 標簽：人工智能語言模型ChatGPT 4159 0

ELMER: 高效強大的非自回歸預(yù)訓練文本生成模型

每個單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也使得自回歸模型難以并行化。目前大部分預(yù)訓練生成模型均...

2023-03-13 標簽：模型語言模型聊天機器人 1627 0

大型語言模型有哪些用途？大型語言模型如何運作呢？

大型語言模型能識別、總結(jié)、翻譯、預(yù)測和生成文本及其他內(nèi)容。

2023-03-08 標簽：語言模型GPTChatGPT 8445 0

從ChatGPT看知識管理及知識圖譜的發(fā)展

知識管理涉及到用于在組織中捕獲、存儲和共享知識的流程和技術(shù)。在聊天機器人設(shè)計的背景下，知識管理可以幫助確保聊天機器人能夠訪問廣泛的相關(guān)信息，并可以為用戶...

2023-03-03 標簽：語言模型知識管理聊天機器人 2114 0

使用BLIP-2 零樣本“圖生文”

現(xiàn)代計算機視覺和自然語言模型在能力越來越強大的同時，模型尺寸也隨之顯著增大。由于當前進行一次單模態(tài)模型的預(yù)訓練既耗費資源又昂貴，因此端到端視覺語言預(yù)訓練...

2023-03-03 標簽：編碼器計算機視覺語言模型 2167 0

SimANS：簡單有效的困惑負樣本采樣方法

為訓練該稠密檢索模型，已有方法通?；谝粚Ρ葘W習訓練目標，即拉近語義一致的Query和Document的表示（Positive），并推遠語義無關(guān)的Doc...

2023-03-03 標簽：參數(shù)語言模型數(shù)據(jù)集 1605 0

LLaMA論文研讀：小參數(shù)+大數(shù)據(jù)的開放、高效基礎(chǔ)語言模型閱讀筆記

這些努力都是基于這樣的假設(shè)：更多的參數(shù)會帶來更好的性能。然而，Hoffmann等人（2022）最近的工作表明，在給定的計算預(yù)算下，最好的性能不是由最大的...

2023-03-03 標簽：語言模型數(shù)據(jù)集大數(shù)據(jù) 2369 0