完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > 大模型
以大模型作為基礎(chǔ)模型支撐AI產(chǎn)業(yè)應(yīng)用邏輯已經(jīng)被證明實(shí)用性,AI大模型為AI落地應(yīng)用提供了一種通用化的解決方案;各自各樣參數(shù)不一、面向不同行業(yè)、面向不同任務(wù)的“大模型”也陸續(xù)發(fā)布,大模型已經(jīng)成為整個(gè)AI 界追逐的寵兒,AI大模型有效果好、泛化性強(qiáng)、研發(fā)流程標(biāo)準(zhǔn)化程度高等特點(diǎn)。
文章:2903個(gè) 視頻:33個(gè) 瀏覽:3683次 帖子:18個(gè)
一個(gè)給NLP領(lǐng)域帶來革新的預(yù)訓(xùn)練語言大模型Bert
之前的文章和大家詳細(xì)的介紹了靜態(tài)的詞向量表示word2vec理論加實(shí)戰(zhàn),但是word2vec存在一個(gè)很大的問題,由于是靜態(tài)詞向量所以無法表示一詞多義,對(duì)...
2023-02-28 標(biāo)簽:GPTELMOSTransformer 7.9萬 0
大模型訓(xùn)練為什么不能用4090顯卡,GPU訓(xùn)練性能和成本對(duì)比
為什么?一般有 tensor parallelism、pipeline parallelism、data parallelism 幾種并行方式,分別在模...
通往AGI之路:揭秘英偉達(dá)A100、A800、H800、V100在高性能計(jì)算與大模型訓(xùn)練中的霸主地位
英偉達(dá)前段時(shí)間發(fā)布GH 200包含 36 個(gè) NVLink 開關(guān),將 256 個(gè) GH200 Grace Hopper 芯片和 144TB 的共享內(nèi)存連...
全微調(diào)(Full Fine-tuning):全微調(diào)是指對(duì)整個(gè)預(yù)訓(xùn)練模型進(jìn)行微調(diào),包括所有的模型參數(shù)。在這種方法中,預(yù)訓(xùn)練模型的所有層和參數(shù)都會(huì)被更新和優(yōu)...
2024-01-03 標(biāo)簽:gpu深度學(xué)習(xí)ChatGPT 2.6萬 0
對(duì)于位置編碼,常規(guī)的做法是在計(jì)算 query,key 和 value 向量之前,會(huì)計(jì)算一個(gè)位置編碼向量 加到詞嵌入 上,位置編碼向量 同樣也是 維向量,...
2023-09-05 標(biāo)簽:向量旋轉(zhuǎn)編碼大模型 1.5萬 0
InfiniBand和RoCEv2網(wǎng)絡(luò)簡(jiǎn)介及解決方案
超高帶寬、超低延遲、超高可靠,這是大模型訓(xùn)練對(duì)于網(wǎng)絡(luò)的要求。
2023-09-22 標(biāo)簽:數(shù)據(jù)中心AITCP 1.1萬 0
圖解大模型系列之:Megatron源碼解讀1,分布式環(huán)境初始化
使用Megatron來訓(xùn)練gpt類大模型的項(xiàng)目有很多。在這個(gè)系列里,我選擇了由THUDM開發(fā)的CodeGeeX項(xiàng)目,它是gpt在代碼生成方向上的應(yīng)用,對(duì)...
大模型為什么要微調(diào)?大模型微調(diào)的原理
在人工智能(AI)領(lǐng)域,特別是自然語言處理(NLP)領(lǐng)域,大模型(如BERT、GPT系列等)的出現(xiàn)為許多復(fù)雜任務(wù)提供了強(qiáng)大的解決方案。然而,這些預(yù)訓(xùn)練的...
11
0
名單公布!【書籍評(píng)測(cè)活動(dòng)NO.52】基于大模型的RAG應(yīng)用開發(fā)與優(yōu)化
標(biāo)簽:應(yīng)用開發(fā)大模型 5148 11
11
0
名單公布!【書籍評(píng)測(cè)活動(dòng)NO.41】大模型時(shí)代的基礎(chǔ)架構(gòu):大模型算力中心建設(shè)指南
標(biāo)簽:大模型 3075 11
神州鯤泰亮相WAVE SUMMIT深度學(xué)習(xí)開發(fā)者大會(huì)2024,以智能算力搭配大模型推動(dòng)產(chǎn)業(yè)數(shù)智化變革
? 6月28日,由深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主辦,百度飛槳、文心大模型聯(lián)合承辦的WAVE SUMMIT深度學(xué)習(xí)開發(fā)者大會(huì)2024在北京成功舉辦,...
2024-07-01 標(biāo)簽:深度學(xué)習(xí)算力大模型 7.7萬 0
高通發(fā)布AI Hub平臺(tái)和Wi-Fi7芯片, 助力開發(fā)人員構(gòu)建AI模型和多終端用例
AI、5.5G和Wi-Fi7技術(shù)是MWC2024上最引人矚目的技術(shù),2024年是Wi-Fi7技術(shù)商用元年,作為全球Wi-Fi技術(shù)主流廠商之一的高通,在西...
盤古ai大模型怎么使用 盤古AI大模型是一個(gè)基于自然語言處理的人工智能模型,是華為公司發(fā)布的 超大規(guī)模預(yù)訓(xùn)練模型, 可以進(jìn)行文本分析、問題回答、智能客服...
AGI 的目標(biāo)是實(shí)現(xiàn)通用的人工智能,它需要整合各種技術(shù)和資源,包括計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別等領(lǐng)域。只有當(dāng) AGI 能夠?qū)崿F(xiàn)這些技術(shù)的無縫集成和...
2023-12-19 標(biāo)簽:操作系統(tǒng)計(jì)算機(jī)視覺機(jī)器學(xué)習(xí) 1.4萬 0
“百模大戰(zhàn)”:盤點(diǎn)國(guó)內(nèi)外橫空出世的AI大模型
從全球已經(jīng)發(fā)布的大模型分布來看,中美兩國(guó)數(shù)量合計(jì)占全球總數(shù)的超 80%,美國(guó)在大模型數(shù)量方面居全球之首。有專家披露,據(jù)不完全統(tǒng)計(jì),目前中國(guó) 10 億參數(shù)...
2023-07-13 標(biāo)簽:AI大數(shù)據(jù)大模型 1.3萬 0
ai大模型和小模型的區(qū)別? 人工智能領(lǐng)域中的模型分為兩種,一種是大模型,另一種是小模型,兩者在訓(xùn)練和應(yīng)用中有著明顯的區(qū)別。 本文將從定義、特點(diǎn)、應(yīng)用等方...
國(guó)內(nèi)有數(shù)十個(gè)醫(yī)療大模型,大模型如何賦能智慧醫(yī)療
電子發(fā)燒友網(wǎng)報(bào)道(文/吳子鵬)近日,在北京CGT新勢(shì)發(fā)布會(huì)上,中國(guó)科學(xué)院院士、翊博生物首席科學(xué)家陳潤(rùn)生表示,中國(guó)現(xiàn)在有數(shù)以百計(jì)的通用大模型,其中的90%...
沐曦基于曦云C500發(fā)布國(guó)產(chǎn)首臺(tái)GPU千億參數(shù)大模型訓(xùn)推一體機(jī)
首臺(tái)GPU千億參數(shù)大模型訓(xùn)推一體機(jī)由數(shù)字寧夏倡議發(fā)起技術(shù)攻關(guān),基于沐曦最新發(fā)布的曦云C500旗艦GPU芯片提供的算力支持、智譜華章的AI大模型以及優(yōu)刻得...
盤點(diǎn)國(guó)產(chǎn)GPU在支持大模型應(yīng)用方面的進(jìn)展
電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)目前談到GPU,大家首先想到的應(yīng)該就是英偉達(dá)了。近一年多時(shí)間來,隨著大模型的發(fā)展,英偉達(dá)GPU的強(qiáng)大實(shí)力可謂無人不知。而相...
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國(guó)民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |