深度學(xué)習(xí)模型部署與優(yōu)化：策略與實(shí)踐；L40S與A100、H100的對(duì)比分析

隨著生成式AI應(yīng)用的迅猛發(fā)展，我們正處在前所未有的大爆發(fā)時(shí)代。在這個(gè)時(shí)代，深度學(xué)習(xí)模型的部署成為一個(gè)亟待解決的問(wèn)題。盡管GPU在訓(xùn)練和推理中扮演著關(guān)鍵角...

2023-10-07 標(biāo)簽：gpuAI深度學(xué)習(xí) 1909 0

開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來(lái)自中國(guó)的研究團(tuán)隊(duì)正是針對(duì)這些問(wèn)題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開源語(yǔ)言模型大模型 1906 0

大模型分布式訓(xùn)練并行技術(shù)（一）-概述

數(shù)據(jù)并行是最常見的并行形式，因?yàn)樗芎?jiǎn)單。在數(shù)據(jù)并行訓(xùn)練中，數(shù)據(jù)集被分割成幾個(gè)碎片，每個(gè)碎片被分配到一個(gè)設(shè)備上。這相當(dāng)于沿批次（Batch）維度對(duì)訓(xùn)練過(guò)...

2023-08-24 標(biāo)簽：模型數(shù)據(jù)集pytorch 1905 0

FPGA和ASIC在大模型推理加速中的應(yīng)用

隨著現(xiàn)在AI的快速發(fā)展，使用FPGA和ASIC進(jìn)行推理加速的研究也越來(lái)越多，從目前的市場(chǎng)來(lái)說(shuō)，有些公司已經(jīng)有了專門做推理的ASIC，像Groq的LPU，...

2024-10-29 標(biāo)簽：FPGAasicAI 1901 0

中科大&字節(jié)提出UniDoc：統(tǒng)一的面向文字場(chǎng)景的多模態(tài)大模型

如上圖所示，UniDoc基于預(yù)訓(xùn)練的視覺(jué)大模型及大語(yǔ)言模型，將文字的檢測(cè)、識(shí)別、spotting(圖中未畫出)、多模態(tài)理解等四個(gè)任務(wù)，通過(guò)多模態(tài)指令微調(diào)...

2023-08-31 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集大模型 1898 0

大模型訓(xùn)練loss突刺原因和解決辦法

PaLM和GLM130b之前的解決辦法是找到loss spike之前最近的checkpoint，更換之后的訓(xùn)練樣本來(lái)避免loss spike的出現(xiàn)。

2024-01-09 標(biāo)簽：Palm人工智能大模型 1876 0

大型語(yǔ)言模型在關(guān)鍵任務(wù)和實(shí)際應(yīng)用中的挑戰(zhàn)

大型語(yǔ)言模型的出現(xiàn)極大地推動(dòng)了自然語(yǔ)言處理領(lǐng)域的進(jìn)步，但同時(shí)也存在一些局限性，比如模型可能會(huì)產(chǎn)生看似合理但實(shí)際上是錯(cuò)誤或虛假的內(nèi)容，這一現(xiàn)象被稱為幻覺(jué)（...

2023-08-15 標(biāo)簽：解碼器數(shù)據(jù)語(yǔ)言模型 1776 0

無(wú)任何數(shù)學(xué)公式理解大模型基本原理

前言 為什么我們使用chatgpt問(wèn)一個(gè)問(wèn)題,回答時(shí),他是一個(gè)字或者一個(gè)詞一個(gè)詞的蹦出來(lái),感覺(jué)是有個(gè)人在輸入,顯得很高級(jí),其實(shí)這這一個(gè)詞一個(gè)詞蹦不是為了...

2024-06-25 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)大模型 1772 0

什么是RAG，RAG學(xué)習(xí)和實(shí)踐經(jīng)驗(yàn)

高級(jí)的RAG能很大程度優(yōu)化原始RAG的問(wèn)題，在索引、檢索和生成上都有更多精細(xì)的優(yōu)化，主要的優(yōu)化點(diǎn)會(huì)集中在索引、向量模型優(yōu)化、檢索后處理等模塊進(jìn)行優(yōu)化

2024-04-24 標(biāo)簽：大模型 1766 0

CPU、GPU與算存互連的復(fù)雜比較與重要性分析

據(jù)科技部新一代人工智能發(fā)展研究中心發(fā)布的報(bào)告顯示，我國(guó)已發(fā)布79個(gè)參數(shù)規(guī)模超過(guò)10億的大模型，幾乎形成了百模大戰(zhàn)的局面。在大模型研發(fā)方面，中國(guó)14個(gè)省區(qū)...

2023-07-06 標(biāo)簽：cpugpu算力 1736 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語(yǔ)言模型針對(duì)語(yǔ)言任務(wù)進(jìn)行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營(yíng)銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過(guò)程...

2024-01-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1722 0

基于AX650N/AX630C部署多模態(tài)大模型InternVL2-1B

InternVL2是由上海人工智能實(shí)驗(yàn)室OpenGVLab發(fā)布的一款多模態(tài)大模型，中文名稱為“書生·萬(wàn)象”。該模型在多學(xué)科問(wèn)答（MMMU）等任務(wù)上表現(xiàn)出...

2024-11-18 標(biāo)簽：人工智能AI芯片愛(ài)芯元智 1701 0

RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

2023-07-17 標(biāo)簽：RISC-V大模型LLM 1701 0