AMD推出MI300X，可運(yùn)行多達(dá)800億參數(shù)模型
6月13日（星期二），AMD舉行新品發(fā)布會(huì)，最重磅的新品當(dāng)屬于具有大模型訓(xùn)練功能的GPU Instinct MI300。
該芯片是針對(duì)LLM的優(yōu)化版，擁有192gb的hbm3內(nèi)存、5.2 tb/s的帶寬和896gb/s的Infinity Fabric帶寬。amd將1530億個(gè)晶體管集成在12個(gè)5納米芯片內(nèi)。使用cdna 3 gpu結(jié)構(gòu)、24個(gè)zen 4 cpu核心、128gb hbm3內(nèi)存。與前作mi250、mi300相比，性能和效率分別提高了8倍和5倍。
mi300x提供的hbm與英偉達(dá)ai芯片h100的密度相比，最大2.4倍，帶寬最大1.6倍。amd的芯片將可以運(yùn)行比英偉達(dá)更大的模型。
amd首席執(zhí)行官蘇姿豐表示，mi300x支持400億個(gè)hugging face ai模型運(yùn)行，并演示llm可以寫關(guān)于舊金山的詩。單一mi300x最多可運(yùn)行一個(gè)參數(shù)800億個(gè)模型，這是世界上第一次在單一gpu上執(zhí)行如此大的模型。
審核編輯：郭婷
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
芯片
+關(guān)注
關(guān)注
459文章
51927瀏覽量
433819 -
amd
+關(guān)注
關(guān)注
25文章
5539瀏覽量
135620 -
cpu
+關(guān)注
關(guān)注
68文章
11011瀏覽量
215238
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
AMD將DeepSeek-V3模型集成至Instinct MI300X GPU
AMD近日宣布了一項(xiàng)重要進(jìn)展，成功將全新的DeepSeek-V3模型集成到其Instinct MI300X GPU上。這一舉措標(biāo)志著AMD在AI推理優(yōu)化方面邁出了重要一步。 據(jù)了解
AMD集成DeepSeek-V3模型至Instinct MI300X GPU
AMD近日宣布了一項(xiàng)重要的技術(shù)進(jìn)展，即將全新的DeepSeek-V3模型成功集成到其旗艦級(jí)GPU產(chǎn)品——Instinct MI300X上。這一舉措標(biāo)志著AMD在人工智能推理領(lǐng)域邁出了堅(jiān)
AMD MI300X AI芯片面臨挑戰(zhàn)
力不從心。 Semianalysis的報(bào)告詳細(xì)闡述了AMD所面臨的問題。報(bào)告指出，由于AMD的軟件存在顯著缺陷，若未經(jīng)過大量的調(diào)試和優(yōu)化，使用MI300X進(jìn)行AI模型的訓(xùn)練幾乎是不可能
IBM與AMD攜手部署MI300X加速器，強(qiáng)化AI與HPC能力
舉措預(yù)計(jì)將于2025年上半年正式推出。 此次合作的核心目標(biāo)是提升通用人工智能(AI)模型的性能與能效，并為企業(yè)客戶提供高性能計(jì)算(HPC)應(yīng)用的強(qiáng)大支持。AMD的Instinct MI300X
IBM將在云平臺(tái)部署AMD加速器
IBM與AMD近期宣布了一項(xiàng)重要合作協(xié)議，根據(jù)協(xié)議，IBM將在其云平臺(tái)上部署AMD Instinct MI300X加速器。這一舉措旨在提升企業(yè)客戶在生成式AI模型方面的性能和能效，進(jìn)一
IBM與AMD攜手將在IBM云上部署AMD Instinct MI300X加速器
近日，全球領(lǐng)先的科技企業(yè)IBM與AMD共同宣布了一項(xiàng)重要合作。雙方計(jì)劃在IBM云上部署AMD的Instinct MI300X加速器服務(wù)，以滿足企業(yè)客戶對(duì)于高性能和高效能AI模型的需求。
AMD發(fā)布10億參數(shù)開源AI模型OLMo
AMD公司近日宣布了一項(xiàng)重大進(jìn)展，推出了首個(gè)完全開放的10億參數(shù)語言模型系列——AMD OLMo
蘋果發(fā)布300億參數(shù)多模態(tài)AI大模型MM1.5
蘋果近日推出了全新的多模態(tài)AI大模型MM1.5，該模型擁有高達(dá)300億的參數(shù)規(guī)模，是在前代MM1
AMD發(fā)布新版Instinct MI325X
今日，芯片行業(yè)的老牌巨頭AMD在AI領(lǐng)域交出了一份令人矚目的答卷。
美國時(shí)間10月10日，AMD在舊金山成功舉辦了Advancing AI發(fā)布會(huì)。會(huì)上，AMD隆重推出了三款核
AMD發(fā)布新一代AI芯片MI325X
在舊金山舉辦的Advancing AI 2024大會(huì)上，AMD正式推出了其新一代AI芯片——GPU AMD Instinct MI325X。這款芯片的發(fā)布標(biāo)志著
三星首度引入AMD MI300X，緩解AI GPU短缺
三星電子近日斥資約270億韓元（約合1.42億元人民幣），購買了AMD Instinct MI300X加速器。這一舉措標(biāo)志著三星電子首次引入非英偉達(dá)品牌的AI GPU，以應(yīng)對(duì)企業(yè)內(nèi)部算
請(qǐng)問InDTU IHDMP協(xié)議使用的CRC校驗(yàn)使用的什么參數(shù)模型？
InDTU IHDMP協(xié)議使用的CRC校驗(yàn)使用的什么參數(shù)模型？
發(fā)表于 07-25 06:39
AMD發(fā)布AI芯片MI325X 預(yù)計(jì)2024年第四季度上市
在COMPUTEX臺(tái)北國際電腦展上，AMD公司的董事會(huì)主席兼首席執(zhí)行官蘇姿豐女士受邀發(fā)表了重要演講，隆重推出了其最新研發(fā)的AI芯片——Instinct MI325X。據(jù)悉，這款產(chǎn)品預(yù)計(jì)將在2024年
微軟將采用AMD AI芯片以替代英偉達(dá)，為云計(jì)算提供更優(yōu)解決方案
微軟將大規(guī)模采用AMD的旗艦產(chǎn)品MI300X，并通過Azure云計(jì)算平臺(tái)向用戶提供計(jì)算集群服務(wù)。鑒于Nvidia的H100和H200芯片供應(yīng)緊張，微軟決定提供備選方案。
工商網(wǎng)監(jiān)
評(píng)論