GTC 2023直播：英偉達推出Hopper GPU，速度比PCIE快7倍
針對ChatGPT等大型語言模型的推理，我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時還可支持商用PCIE服務器輕松擴展
目前在云上唯一可以實際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比，一臺搭載四對H100及雙GPU NVLINK的標準服務器的速度
H100可將大型語言模型的處理成本，降低一個數(shù)量級
Grace Hopper非常適合處理大型數(shù)據(jù)集，例如適用于推薦系統(tǒng)和大型語言模型的AI數(shù)據(jù)庫。
如今，利用大容量內(nèi)存，CPU會存儲和查詢巨型嵌入表，然后將結(jié)果傳輸?shù)紾PU進行推理，借助Grace-Hopper， Grace可以查詢嵌入表，并將結(jié)果直接傳輸?shù)紿opper速度比PCIE快7倍
GTC 2023主題直播地址：https://t.elecfans.com/live/2302.html
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
cpu
+關注
關注
68文章
11077瀏覽量
217025 -
服務器
+關注
關注
13文章
9793瀏覽量
87945 -
gtc
+關注
關注
0文章
73瀏覽量
4600 -
ChatGPT
+關注
關注
29文章
1589瀏覽量
9090
發(fā)布評論請先 登錄
相關推薦
熱點推薦
英偉達獲美批準恢復H20在華銷售，同步推出全新兼容GPU
7月15日上午，央廣財經(jīng)記者從英偉達方面確認，英偉達已經(jīng)獲得美國批準，將恢復 H20 在中國的銷售，并推
英偉達擬再推中國特供GPU，今年6月量產(chǎn)！
電子發(fā)燒友網(wǎng)綜合報道 近年來，美國政府對華半導體出口管制政策不斷收緊，英偉達等半導體企業(yè)面臨嚴峻挑戰(zhàn)。為保持在中國市場的競爭力，英偉達推出了
發(fā)表于 05-27 00:03
?4387次閱讀
立訊技術(shù)亮相英偉達GTC 2025大會
日前，英偉達年度技術(shù)盛會GTC 2025在美國加州圣何塞拉開帷幕。作為全球AI與計算領域的頂級峰會，GTC 2025匯聚了全球數(shù)千名開發(fā)者、企業(yè)領袖及學術(shù)專家，共同探討AI與加速計算的
英偉達GTC25亮點：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
英偉達GTC25亮點：NVIDIA Blackwell Ultra 開啟 AI 推理新時代
英偉達GTC2025大會關鍵信息點總結(jié) Blackwell Ultra 量子計算與機器人
英偉達 GTC 2025 大會關鍵信息點總結(jié)
新思科技攜手英偉達加速芯片設計，提升芯片電子設計自動化效率
解決方案在英偉達 GPU和英偉達 CUDA-X庫上所實現(xiàn)的加速 基于英偉
發(fā)表于 03-19 17:59
?278次閱讀
新思科技亮相英偉達GTC 2025大會
為了實現(xiàn)這一速度提升，新思科技在GTC全球AI大會上宣布，正在使用英偉達 CUDA-X庫優(yōu)化其下一代半導體開發(fā)解決方案。公司還在擴大對英偉
英偉達或3月發(fā)布CPO交換機新品
據(jù)供應鏈最新消息，全球圖形處理器(GPU)巨頭英偉達公司計劃在3月份舉辦的GPU技術(shù)大會(GTC)上，正式
軟銀升級人工智能計算平臺,安裝4000顆英偉達Hopper GPU
軟銀公司宣布，其正在擴展的日本頂級人工智能計算平臺已安裝了約4000顆英偉達Hopper GPU。這一舉措顯著提升了平臺的計算能力。據(jù)悉，該平臺自2
英偉達年度研發(fā)支出超120億美元,為AMD的兩倍之多
的季度里，英偉達的研發(fā)支出達到了30.9億美元。若以此速度持續(xù)，該GPU制造商在前一季度及接下來三個季度的累計研發(fā)預算預計將達到123.6億美元。
英偉達Blackwell GPU量產(chǎn)加速，Q4營收沖刺百億美元大關
近日，全球領先的圖形處理單元（GPU）及人工智能芯片制造商英偉達傳來重大利好消息。據(jù)摩根士丹利最新發(fā)布的行業(yè)分析報告指出，英偉達基于Blac
亞馬遜云科技宣布Amazon EC2 P5e實例正式可用 由英偉達H200 GPU提供支持
北京2024年9月18日?/美通社/ -- 亞馬遜云科技宣布由英偉達H200 GPU提供支持的 Amazon Elastic Compute Cloud P5e（Amazon EC2 P5e）實例
英偉達:Hopper芯片需求強勁 英偉達發(fā)言人談生產(chǎn)增長
據(jù)外媒報道，英偉達發(fā)言人透露Hopper芯片需求強勁，而且Blackwell 芯片的廣泛采樣也已經(jīng)開啟。而對于產(chǎn)量問題；則表示有望在下半年實現(xiàn)增長。
英偉達將全面轉(zhuǎn)向開源GPU內(nèi)核模塊
英偉達公司近期宣布了一項重大決策，即全面轉(zhuǎn)向開源GPU內(nèi)核模塊，并計劃最終以此取代閉源驅(qū)動程序。這一戰(zhàn)略轉(zhuǎn)變標志著英偉達在開源領域邁出了重要
英國公司實現(xiàn)英偉達CUDA軟件在AMD GPU上的無縫運行
7月18日最新資訊，英國創(chuàng)新科技企業(yè)Spectral Compute震撼發(fā)布了其革命性GPGPU編程工具包——“SCALE”，該工具包實現(xiàn)了英偉達CUDA軟件在AMD GPU上的無縫遷
工商網(wǎng)監(jiān)
評論