一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA A100 GPU推理性能237倍碾壓CPU

工程師鄧生 ? 來源:雷鋒網(wǎng) ? 作者:包永剛 ? 2020-10-23 17:40 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

MLPerf組織今天發(fā)布最新的推理基準(zhǔn)測(cè)試(Benchmark)MLPerf Inference v0.7結(jié)果,總共有23個(gè)組織提交了結(jié)果,相比上一個(gè)版本(MLPerf Inference v0.5)的12個(gè)提交者增加了近一倍。

結(jié)果顯示,今年5月NVIDIA(Nvidia)發(fā)布的安培(Ampere)架構(gòu)A100 Tensor Core GPU,在云端推理的基準(zhǔn)測(cè)試性能是最先進(jìn)Intel CPU的237倍。

MLPerf Inference V0.7部分結(jié)果截圖

最新的AI推理測(cè)試結(jié)果意味著,NVIDIA未來可能在AI推理和訓(xùn)練市場都占據(jù)領(lǐng)導(dǎo)地位,給云端AI推理市場擁有優(yōu)勢(shì)的Intel帶來更大壓力的同時(shí),也將讓其他追趕者面臨更大挑戰(zhàn)。

MLPerf推理基準(zhǔn)測(cè)試進(jìn)一步完善的價(jià)值

與2019年的MLPerf Inference v0.5版本相比,最新的0.7版本將測(cè)試從AI研究的核心視覺和語言的5項(xiàng)測(cè)試,擴(kuò)展了到了包括推薦系統(tǒng)、自然語言理解、語音識(shí)別和醫(yī)療影像應(yīng)用的6項(xiàng)測(cè)試,并且有分別針對(duì)云端和終端推理的測(cè)試,還加入了手機(jī)和筆記本電腦的結(jié)果。

擴(kuò)展的測(cè)試項(xiàng)從MLPerf和業(yè)界兩個(gè)角度都有積極意義。

MLPerf Inference v0.5測(cè)試項(xiàng)

MLPerf Inference v0.7數(shù)據(jù)中心測(cè)試項(xiàng)

MLPerf Inference v0.7邊緣端測(cè)試項(xiàng)

任何一個(gè)基準(zhǔn)測(cè)試都需要給業(yè)界具有參考價(jià)值的指標(biāo)。MLPerf基準(zhǔn)測(cè)試是在業(yè)界缺乏對(duì)AI芯片公認(rèn)的評(píng)價(jià)標(biāo)準(zhǔn)的2018年誕生,因此,MLPerf組織既需要給出各方都認(rèn)可的成績,還需要根據(jù)AI行業(yè)的發(fā)展完善評(píng)價(jià)標(biāo)準(zhǔn)。

不過,AI行業(yè)發(fā)展迅速,AI模型的參數(shù)越來越多,應(yīng)用的場景也越來越廣泛。評(píng)價(jià)AI芯片和系統(tǒng)的推理性能需要涵蓋可編程性、延遲、準(zhǔn)確性、模型大小、吞吐量、能效等指標(biāo),也需要選擇更具指導(dǎo)價(jià)值的模型和應(yīng)用。

此次增加的推薦系統(tǒng)測(cè)試對(duì)于互聯(lián)網(wǎng)公司意義重大。在王喆的《深度學(xué)習(xí)推薦系統(tǒng)》一書中提到,2019年天貓“雙11”的成交額是2684億元,假設(shè)推薦系統(tǒng)進(jìn)行了優(yōu)化,整體的轉(zhuǎn)化率提高1%,那么增加的成交額大約為26.84億元。

另外,MLPerf Inference v0.7中增加醫(yī)療影像3D U-Net模型測(cè)試與新冠大流行以及AI在醫(yī)療行業(yè)的重要性與日俱增密切相關(guān),比如一家初創(chuàng)公司使用AI簡化了超聲心電圖的采集工作,在新冠大流行初期發(fā)揮了作用。

基準(zhǔn)測(cè)試從v0.5到v0.7,能夠?yàn)橐x用AI芯片和系統(tǒng)的公司提供更直觀和有價(jià)值的參考是MLPerf基準(zhǔn)測(cè)試的價(jià)值所在,比如,幫助金融結(jié)構(gòu)的會(huì)話式AI更快速回答客戶問題,幫助零售商使用AI保證貨架庫存充足。

與此同時(shí),這也將促進(jìn)MLPerf組織在業(yè)界的受認(rèn)可程度,從接近翻倍的提交成績的組織就能看出來。

GPU云端推理性能最高是CPU的237倍

過去幾年,云端AI訓(xùn)練市場NVIDIA擁有絕對(duì)優(yōu)勢(shì),云端AI推理市場被Intel賺取了大部分利潤是事實(shí)。這讓不少人都產(chǎn)生了GPU更適合訓(xùn)練而CPU更適合推理的認(rèn)知,但MLPerf最新的推理測(cè)試結(jié)果可能會(huì)改變這一觀點(diǎn)。

MLPerf Inference V0.7的測(cè)試結(jié)果顯示,在數(shù)據(jù)中心OFFLINE(離線)測(cè)試模式下,賽靈思U250和IntelCooper Lake在各個(gè)測(cè)試模型下與NVIDIAT4的差距不大,但A100對(duì)比CPU、FPGA和自家的T4就有明顯的性能差距。

在SERVER模式下的推薦系統(tǒng)DLRM模型下,A100 GPU對(duì)比IntelCooper Lake有最高237倍的性能差距,在其他模型下也有比較顯著的差距。值得注意的是,Intel的Cooper Lake系統(tǒng)的狀態(tài)還是預(yù)覽,其余三款芯片的系統(tǒng)都已經(jīng)可用。

A100 GPU的優(yōu)勢(shì)也在邊緣推理中也十分明顯。在單數(shù)據(jù)流(Singel-Stream)測(cè)試中,A100對(duì)比NVIDIAT4和面向邊緣終端的NVIDIAJetson AGX Xavier有幾倍到十幾倍的性能優(yōu)勢(shì)。在多數(shù)據(jù)流(Multi-Stream)測(cè)試中,A100對(duì)比另外兩款自家產(chǎn)品在不同AI模型中有幾倍到二十多倍的性能優(yōu)勢(shì)。

在邊緣OFFLINE模式下,A100對(duì)比T4和Jetson AGX Xavier也有幾倍到二十多倍的性能優(yōu)勢(shì)。

這很好地說明A100的安培架構(gòu)以及其第三代Tensor Core優(yōu)勢(shì)的同時(shí),也表明了NVIDIA能夠覆蓋整個(gè)AI推理市場。

在此次提交結(jié)果的23家公司中,除了NVIDIA外還有11家其合作伙伴提交了基于NVIDIA GPU的1029個(gè)測(cè)試結(jié)果,占數(shù)據(jù)中心和邊緣類別中參評(píng)測(cè)試結(jié)果總數(shù)的85%以上。

從提交結(jié)果的合作伙伴的系統(tǒng)中可以看到,NVIDIAT4仍然是企業(yè)的邊緣服務(wù)器推理平臺(tái)的主要選擇。A100提升到新高度的性能意味著未來企業(yè)邊緣服務(wù)器在選擇AI推理平臺(tái)的時(shí)候,可以從T4升級(jí)到A100,對(duì)于功耗受限的設(shè)備,可以選擇Jeston系列產(chǎn)品。

特別值得注意的是,NVIDIA GPU首次在公有云中實(shí)現(xiàn)了超越CPU的AI推理能力。

臨界點(diǎn)到來?AI推理芯片市場競爭門檻更高

五年前,只有少數(shù)領(lǐng)先的高科技公司使用GPU進(jìn)行推理。如今,NVIDIAGPU首次在公有云市場實(shí)現(xiàn)超越CPU的AI推理能力,或許意味著AI推理市場臨界點(diǎn)的到來。NVIDIA還預(yù)測(cè),基于其GPU的總體云端AI推理計(jì)算能力每兩年增長約10倍,增長速度高于CPU。

另外,NVIDIA還強(qiáng)調(diào)基于A100高性能系統(tǒng)的成本效益。NVIDIA表示,一套DGX A100系統(tǒng)可以提供相當(dāng)于近1000臺(tái)雙插槽CPU服務(wù)器的性能,能為客戶AI推薦系統(tǒng)模型從研發(fā)走向生產(chǎn)的過程,具有極高的成本效益。

同時(shí),NVIDIA也在不斷優(yōu)化推理軟件堆棧,進(jìn)一步提升在推理市場的競爭力。

最先感受到影響的會(huì)是Intel,但在云端AI推理市場體現(xiàn)出顯著變化至少需要幾年時(shí)間,因?yàn)槠髽I(yè)在更換平臺(tái)的時(shí)候會(huì)更加謹(jǐn)慎,生態(tài)的護(hù)城河此時(shí)也更能體現(xiàn)出價(jià)值。

但無論如何,我們都看到NVIDIA在AI市場的強(qiáng)勢(shì)地位。雷鋒網(wǎng)七月底報(bào)道,在MLPerf發(fā)布的MLPerf Training v0.7基準(zhǔn)測(cè)試中,A100 Tensor Core GPU,和HDR InfiniBand實(shí)現(xiàn)多個(gè)DGX A100 系統(tǒng)互聯(lián)的龐大集群DGX SuperPOD系統(tǒng)在性能上開創(chuàng)了八個(gè)全新里程碑,共打破16項(xiàng)紀(jì)錄。

安培架構(gòu)A100在MLPerf最新的訓(xùn)練和推理成績表明NVIDIA不僅給云端AI訓(xùn)練的競爭者更大的壓力,也可能改變AI推理市場的格局。

NVIDIA將其在云端訓(xùn)練市場的優(yōu)勢(shì)進(jìn)一步拓展到云端和邊緣推理市場符合AI未來的發(fā)展趨勢(shì)。有預(yù)測(cè)指出,隨著AI模型的成熟,市場對(duì)云端AI訓(xùn)練需求的增速將會(huì)降低,云端AI推理的市場規(guī)模將會(huì)迅速增加,并有望在2022年超過訓(xùn)練市場。

另據(jù)市場咨詢公司ABI Research的數(shù)據(jù),預(yù)計(jì)到2025年,邊緣AI芯片市場收入將達(dá)到122億美元,云端AI芯片市場收入將達(dá)到119億美元,邊緣AI芯片市場將超過云端AI芯片市場。

憑借強(qiáng)大的軟硬件生態(tài)系統(tǒng),NVIDIA和Intel依舊會(huì)是AI市場的重要玩家,只是隨著他們競爭力的不斷提升,其他參與AI市場競爭的AI芯片公司們面臨的壓力也隨之增加。
責(zé)任編輯:PSY

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5309

    瀏覽量

    106405
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4947

    瀏覽量

    131240
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場景中的性能紀(jì)錄

    本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個(gè) NVIDIA Blackwell GPU 的配置,打破 DeepSeek-R1 在最小延遲場景中的性能紀(jì)錄:在 G
    的頭像 發(fā)表于 07-02 19:31 ?1814次閱讀
    <b class='flag-5'>NVIDIA</b> Blackwell <b class='flag-5'>GPU</b>優(yōu)化DeepSeek-R1<b class='flag-5'>性能</b> 打破DeepSeek-R1在最小延遲場景中的<b class='flag-5'>性能</b>紀(jì)錄

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】+NVlink技術(shù)從應(yīng)用到原理

    。。) 原理學(xué)習(xí) 在「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」書中,作者詳解了從帕斯卡架構(gòu)到40系的Hopper架構(gòu)的技術(shù)演變進(jìn)化,按照出版時(shí)間算是囊括了NVIDIA
    發(fā)表于 06-18 19:31

    如何在Ollama中使用OpenVINO后端

    /GPU/NPU)為模型推理提供了高效的加速能力。這種組合不僅簡化了模型的部署和調(diào)用流程,還顯著提升了推理性能,特別適合需要高性能和易用性的場景。
    的頭像 發(fā)表于 04-14 10:22 ?474次閱讀

    英偉達(dá)GTC25亮點(diǎn):NVIDIA Dynamo開源庫加速并擴(kuò)展AI推理模型

    NVIDIA Dynamo 提高了推理性能,同時(shí)降低了擴(kuò)展測(cè)試時(shí)計(jì)算 (Scaling Test-Time Compute) 的成本;在 NVIDIA Blackwell 上的推理優(yōu)化
    的頭像 發(fā)表于 03-20 15:03 ?648次閱讀

    從零復(fù)現(xiàn),全面開源:360 Light-R1-14B/7B帶來端側(cè)AI平權(quán)時(shí)刻

    14B開源颶風(fēng),360掀起端側(cè)推理性能革命
    的頭像 發(fā)表于 03-16 10:47 ?551次閱讀
    從零復(fù)現(xiàn),全面開源:360 Light-R1-14B/7B帶來端側(cè)AI平權(quán)時(shí)刻

    無法調(diào)用GPU插件推理的遠(yuǎn)程張量API怎么解決?

    運(yùn)行了使用 GPU 插件的遠(yuǎn)程張量 API 的推理。但是,它未能共享 OpenCL* 內(nèi)存,但結(jié)果不正確。
    發(fā)表于 03-06 06:13

    英特爾至強(qiáng)6助力HPE Gen12,AI推理性能提升3!

    在這個(gè)AI人工智能、HPC高性能計(jì)算飛速發(fā)展的時(shí)代,人們對(duì)于算力的渴望是空前的,無論是CPU處理器、GPU/NPU加速器,尤其是生成式AI的火爆,GPU/NPU被抬上了空前的超高地位。
    的頭像 發(fā)表于 02-18 14:18 ?307次閱讀
    英特爾至強(qiáng)6助力HPE Gen12,AI<b class='flag-5'>推理性能</b>提升3<b class='flag-5'>倍</b>!

    英偉達(dá)A100和H100比較

    英偉達(dá)A100和H100都是針對(duì)高性能計(jì)算和人工智能任務(wù)設(shè)計(jì)的GPU,但在性能和特性上存在顯著差異。以下是對(duì)這兩款
    的頭像 發(fā)表于 02-10 17:05 ?4429次閱讀
    英偉達(dá)<b class='flag-5'>A100</b>和H<b class='flag-5'>100</b>比較

    使用NVIDIA推理平臺(tái)提高AI推理性能

    NVIDIA推理平臺(tái)提高了 AI 推理性能,為零售、電信等行業(yè)節(jié)省了數(shù)百萬美元。
    的頭像 發(fā)表于 02-08 09:59 ?718次閱讀
    使用<b class='flag-5'>NVIDIA</b><b class='flag-5'>推理</b>平臺(tái)提高AI<b class='flag-5'>推理性能</b>

    解鎖NVIDIA TensorRT-LLM的卓越性能

    Batching、Paged KV Caching、量化技術(shù) (FP8、INT4 AWQ、INT8 SmoothQuant 等) 以及更多功能,確保您的 NVIDIA GPU 能發(fā)揮出卓越的推理性能
    的頭像 發(fā)表于 12-17 17:47 ?867次閱讀

    AMD與NVIDIA GPU優(yōu)缺點(diǎn)

    在圖形處理單元(GPU)市場,AMD和NVIDIA是兩大主要的競爭者,它們各自推出的產(chǎn)品在性能、功耗、價(jià)格等方面都有著不同的特點(diǎn)和優(yōu)勢(shì)。 一、性能
    的頭像 發(fā)表于 10-27 11:15 ?2526次閱讀

    開箱即用,AISBench測(cè)試展示英特爾至強(qiáng)處理器的卓越推理性能

    近期,第五代英特爾?至強(qiáng)?可擴(kuò)展處理器通過了中國電子技術(shù)標(biāo)準(zhǔn)化研究院組織的人工智能服務(wù)器系統(tǒng)性能測(cè)試(AISBench)。英特爾成為首批通過AISBench大語言模型(LLM)推理性能測(cè)試的企業(yè)
    的頭像 發(fā)表于 09-06 15:33 ?822次閱讀
    開箱即用,AISBench測(cè)試展示英特爾至強(qiáng)處理器的卓越<b class='flag-5'>推理性能</b>

    IB Verbs和NVIDIA DOCA GPUNetIO性能測(cè)試

    NVIDIA DOCA GPUNetIO 是 NVIDIA DOCA SDK 中的一個(gè)庫,專門為實(shí)時(shí)在線 GPU 數(shù)據(jù)包處理而設(shè)計(jì)。它結(jié)合了 GPUDirect RDMA 和 GPUDirect
    的頭像 發(fā)表于 08-23 17:03 ?1359次閱讀
    IB Verbs和<b class='flag-5'>NVIDIA</b> DOCA GPUNetIO<b class='flag-5'>性能</b>測(cè)試

    魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區(qū)是中國最具影響力的模型開源社區(qū),致力給開發(fā)者提供模型即服務(wù)的體驗(yàn)。魔搭社區(qū)利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了模型應(yīng)用部署,提高了大模型產(chǎn)業(yè)應(yīng)用效率,更大規(guī)模地釋放大模型的應(yīng)用價(jià)值?!?/div>
    的頭像 發(fā)表于 08-23 15:48 ?1139次閱讀

    基于 ARM Cortex M0+內(nèi)核BAT32A237芯片

    組合開關(guān)方案性能特點(diǎn): 主芯片BAT32A237可靠性標(biāo)準(zhǔn)參考AEC-Q100 Grade 1級(jí)別 使用LN總線與主機(jī)通信,支持休眠喚醒 燈光開關(guān)輸入檢測(cè) 轉(zhuǎn)向開關(guān)輸入檢測(cè) 雨刮開關(guān)輸入檢測(cè) 洗滌開關(guān)輸入檢
    發(fā)表于 07-31 16:07