完善資料讓更多小伙伴認(rèn)識你，還能領(lǐng)取20積分哦，立即完善>
標(biāo)簽 > 語言模型
文章：542個 瀏覽：10601次 帖子：4個
邱錫鵬團(tuán)隊(duì)提出具有內(nèi)生跨模態(tài)能力的SpeechGPT，為多模態(tài)LLM指明方向
大型語言模型（LLM）在各種自然語言處理任務(wù)上表現(xiàn)出驚人的能力。與此同時，多模態(tài)大型語言模型，如 GPT-4、PALM-E 和 LLaVA，已經(jīng)探索了 ...
邱錫鵬團(tuán)隊(duì)提出SpeechGPT：具有內(nèi)生跨模態(tài)能力的大語言模型
雖然現(xiàn)有的級聯(lián)方法或口語語言模型能夠感知和生成語音，但仍存在一些限制。首先，在級聯(lián)模型中，LLM 僅充當(dāng)內(nèi)容生成器。由于語音和文本的表示沒有對齊，LLM...
2023-05-22 標(biāo)簽：模態(tài)語言模型數(shù)據(jù)集 853 0
使用Alpaca-Lora進(jìn)行參數(shù)高效模型微調(diào)
在推理時，將左右兩部分的結(jié)果加到一起即可，h=Wx+BAx=(W+BA)x，所以，只要將訓(xùn)練完成的矩陣乘積BA跟原本的權(quán)重矩陣W加到一起作為新權(quán)重參數(shù)替...
以ChatGPT為代表的大語言模型（Large Language Models, LLM）在機(jī)器翻譯（Machine Translation, MT）任...
OpenAI用GPT-4解釋了GPT-2三十萬個神經(jīng)元：智慧原來是這個樣子
可解釋性研究的一種簡單方法是首先了解 AI 模型各個組件（神經(jīng)元和注意力頭）在做什么。傳統(tǒng)的方法是需要人類手動檢查神經(jīng)元，以確定它們代表數(shù)據(jù)的哪些特征。...
蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型
為了解決大型模型的這個問題，部署者往往采用小一些的特定模型來替代。這些小一點(diǎn)的模型用常見范式 —— 微調(diào)或是蒸餾來進(jìn)行訓(xùn)練。微調(diào)使用下游的人類注釋數(shù)據(jù)升...
涌現(xiàn)能力的定義、常見的激發(fā)手段和具體的分類和任務(wù)
縮放定律的一個重要作用就是預(yù)測模型的性能，但是隨著規(guī)模的擴(kuò)大，模型的能力在不同的任務(wù)上并不總表現(xiàn)出相似的規(guī)律。在很多知識密集型任務(wù)上，隨著模型規(guī)模的不斷...
LlamaIndex：面向QA系統(tǒng)的全新文檔摘要索引
添加關(guān)鍵字過濾器是增強(qiáng)檢索結(jié)果的一種方法。但這也帶來了一系列挑戰(zhàn)。我們需要手動或通過 NLP 關(guān)鍵字提取/主題標(biāo)記模型為每個文檔充分確定合適的關(guān)鍵字。此...
大型語言模型LLM（Large Language Model）具有很強(qiáng)的通用知識理解以及較強(qiáng)的邏輯推理能力，但其只能處理文本數(shù)據(jù)。雖然已經(jīng)發(fā)布的GPT4...
ImageBind：跨模態(tài)之王，將6種模態(tài)全部綁定！
最近，很多方法學(xué)習(xí)與文本、音頻等對齊的圖像特征。這些方法使用單對模態(tài)或者最多幾種視覺模態(tài)。最終嵌入僅限于用于訓(xùn)練的模態(tài)對。因此，視頻 - 音頻嵌入無法直...
2023-05-11 標(biāo)簽：編碼器語言模型數(shù)據(jù)集 1296 0
首個中文醫(yī)學(xué)知識LLM：真正的賽華佗—華駝(HuaTuo)
通過醫(yī)學(xué)知識圖譜和 GPT 3.5 API 構(gòu)建了中文醫(yī)學(xué)指令數(shù)據(jù)集，并在此基礎(chǔ)上對 LLaMA 進(jìn)行了指令微調(diào)，提高了 LLaMA 在醫(yī)療領(lǐng)域的問答效果。
誠然，專有模型很方便，“開箱即用”。但是，當(dāng)務(wù)之急是投資于開源的 LLM，既要幫助建立它們，又要將它們用于研究。我很樂觀地認(rèn)為，它們將被廣泛采用，就像開...
隨著大規(guī)模預(yù)訓(xùn)練語言模型（LLM）能力的不斷提升，in-context learning（ICL）逐漸成為自然語言處理領(lǐng)域一個新的范式。
基礎(chǔ) LLM 基本信息表，GPT-style 表示 decoder-only 的自回歸語言模型，T5-style 表示 encoder-decoder ...
同樣的，使用這些低資源語言的研究人員在ML和NLP社區(qū)中的代表性同樣不足。例如，雖然我們可以觀察到隸屬于非洲大學(xué)的作者數(shù)量在頂級機(jī)器學(xué)習(xí)（ML）和NLP...
后ChatGPT時代NLP的下一個方向：增強(qiáng)式大規(guī)模語言模型
Visual ChatGPT 是一種智能交互系統(tǒng)，它將不同的視覺基礎(chǔ)模型與 ChatGPT 相結(jié)合，使得用戶可以通過發(fā)送語言和圖像與 AI 系統(tǒng)進(jìn)行交互...
2023-04-20 標(biāo)簽：語言模型數(shù)據(jù)集ChatGPT 898 0
我們每分配一個任務(wù)，Auto-GPT 都會給出一個相應(yīng)的解決計劃。比如，需要瀏覽互聯(lián)網(wǎng)或使用新數(shù)據(jù)，它便會調(diào)整其策略，直到任務(wù)完成。這就像擁有一個能處理...
本節(jié)目標(biāo)是通過OpenAI系列論文閱讀細(xì)窺ChatGPT的主要原理，其先進(jìn)的工作脈絡(luò)可以概括為下圖。從依賴往上追溯需要了解Codex 和 instruc...
2023-04-11 標(biāo)簽：語言模型深度學(xué)習(xí)ChatGPT 2096 0
In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開其奧秘
In-context learning允許用戶為新用例快速構(gòu)建模型，而無需為每個任務(wù)微調(diào)和存儲新參數(shù)。它通常只需要很少的訓(xùn)練示例就可以使模型正常工作，而...
換一批
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
| 電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
| 伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟(jì)技術(shù)開發(fā)區(qū)航空路6號手機(jī)智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
