一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

刷屏的Groq芯片,速度遠(yuǎn)超英偉達(dá)GPU!成本卻遭質(zhì)疑

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-02-22 09:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)英偉達(dá)遇到勁敵了?近日,Groq芯片計(jì)算速度超過英偉達(dá)GPU的消息刷屏。Groq是一家成立于2016年的AI創(chuàng)企,該公司近日開放了自家產(chǎn)品的免費(fèi)試用,相比其他AI聊天機(jī)器人,Groq閃電般的響應(yīng)速度迅速引爆朋友圈,經(jīng)網(wǎng)友測(cè)試,Groq每秒生成速度接近500 tok/s,碾壓GPT-4的40 tok/s。

而這樣的速度背后,源于Groq自研了一種名為張量流處理器(TSP)的新型處理單元,Groq將其命名為語言處理單元,即LPU,它的工作原理與GPU截然不同。

Groq芯片跑大模型的速度有多快

Groq芯片跑大模型最突出的特點(diǎn),便是快。有網(wǎng)友震驚地說:“它回復(fù)的速度比我眨眼還快?!痹趥鹘y(tǒng)生成AI中,等待是很平常的事,經(jīng)常是字符一個(gè)個(gè)往外蹦,回答完需要挺長(zhǎng)時(shí)間。而有網(wǎng)友稱,在Groq近日開放的云服務(wù)體驗(yàn)平臺(tái)上,你可以看到,當(dāng)模型收到提示后,幾乎能夠立即生成答案。

電子郵件初創(chuàng)企業(yè)OthersideAI的首席執(zhí)行官兼聯(lián)合創(chuàng)始人馬特·舒默在演示中親自體驗(yàn)了Groq的強(qiáng)大功能。他稱贊Groq快如閃電,能夠在不到一秒鐘的時(shí)間內(nèi)生成數(shù)百個(gè)單詞的事實(shí)性、引用性答案。更令人驚訝的是,它超過3/4的時(shí)間用于搜索信息,而生成答案的時(shí)間卻短到只有幾分之一秒。

需要說明的是,Groq并沒有研發(fā)新模型,它只是一個(gè)模型啟動(dòng)器,主頁上運(yùn)行的是開源模型Mixtral 8x7B-32k和Llama 270B-4k。而驅(qū)動(dòng)模型的硬件便是Groq自研的一種名為張量流處理器(TSP)的新型處理單元,Groq將其命名為語言處理單元,即LPU(Language Processing Units),它的工作原理與GPU截然不同。

各種測(cè)試結(jié)果和網(wǎng)友的體驗(yàn),都顯示Groq LPU的計(jì)算速度相當(dāng)快。根據(jù)2024年一月的測(cè)試結(jié)果,由Groq LPU驅(qū)動(dòng)Meta Llama 2模型,推理性能遙遙領(lǐng)先,是頂級(jí)云計(jì)算供應(yīng)商的18倍。有報(bào)道稱,Groq LPU搭配Meta Llama 2 70B能在7分鐘內(nèi)就能生成與莎士比亞《哈姆雷特》相同數(shù)量的單詞,比普通人的打字速度快75倍。

有網(wǎng)友測(cè)試同時(shí)用Gemini、GPT-4和Groq完成一個(gè)代碼調(diào)試問題,結(jié)果,Groq的輸出速度比Gemini快10倍,比GPT-4快18倍。

有從事人工智能開發(fā)的用戶稱贊,Groq是追求低延遲產(chǎn)品的“游戲規(guī)則改變者”。有用戶認(rèn)為,Groq的LPU可能成為英偉達(dá)A100和H100芯片的“高性能硬件”的有力替代品。不過,也有AI行業(yè)的專家表示,Groq的LPU從成本上來看并不具優(yōu)勢(shì),目前并不能代替英偉達(dá)。

Groq 開發(fā)的LPU與GPU有何不同

Groq開發(fā)的LPU到底是個(gè)怎樣的產(chǎn)品?據(jù)其官網(wǎng)介紹,LPU是一種專為AI推理所設(shè)計(jì)的芯片。驅(qū)動(dòng)包括GPT等主流大模型的GPU,是一種為圖形渲染而設(shè)計(jì)的并行處理器,有數(shù)百個(gè)內(nèi)核。而LPU架構(gòu)則與GPU使用的SIMD(單指令,多數(shù)據(jù))不同,這種設(shè)計(jì)可以讓芯片更有效地利用每個(gè)時(shí)鐘周期,確保一致的延遲和吞吐量,也降低了復(fù)雜調(diào)度硬件的需求。

Groq的LPU推理引擎不是普通的處理單元;它是一個(gè)端到端系統(tǒng),專為需要大量計(jì)算和連續(xù)處理的應(yīng)用(如LLM)提供最快的推理而設(shè)計(jì)。通過消除外部?jī)?nèi)存瓶頸,LPU推理引擎的性能比傳統(tǒng)GPU高出幾個(gè)數(shù)量級(jí)。

根據(jù)與Groq關(guān)系密切的投資人k_zeroS分享,LPU的工作原理與GPU截然不同。它采用了時(shí)序指令集計(jì)算機(jī)(TemporalInstructionSetComputer)架構(gòu),這意味著它無需像使用高帶寬存儲(chǔ)器(HBM)的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。這一特點(diǎn)不僅有助于避免HBM短缺的問題,還能有效降低成本。

Groq創(chuàng)始人兼首席執(zhí)行官Jonathan Ross此前在接受采訪的時(shí)候就談到,在大模型推理場(chǎng)景,Groq LPU芯片的速度比英偉達(dá)GPU快10倍,但價(jià)格和耗電量都僅為后者的十分之一。

Ross認(rèn)為,對(duì)于在產(chǎn)品中使用人工智能的公司來說,推理成本正在成為一個(gè)問題,因?yàn)殡S著使用這些產(chǎn)品的客戶數(shù)量增加,運(yùn)行模型的成本也在迅速增加。與英偉達(dá)GPU相比,Groq LPU集群將為大模型推理提供更高的吞吐量、更低的延遲和更低的成本。

他強(qiáng)調(diào),由于技術(shù)路徑不同,Groq的LPU芯片不依賴于三星或SK海力士的HBM,也不依賴于臺(tái)積電將外部HBM焊接到芯片上的CoWoS封裝技術(shù)。它在供應(yīng)方面比英偉達(dá)更充足,不會(huì)被臺(tái)積電或者SK海力士等供應(yīng)商卡脖子。

可以看到,Groq LPU芯片相當(dāng)于是去掉了HBM,而只是依靠SRAM來計(jì)算。雖然這樣計(jì)算速度確實(shí)相當(dāng)驚艷,然而其更低成本的問題卻遭到質(zhì)疑。

有AI專家表示,Groq芯片的實(shí)際成本并不低,如人工智能專家賈揚(yáng)清分析稱,因?yàn)镚roq小的可憐的內(nèi)存容量(230MB),在運(yùn)行Llama-270b模型時(shí),需要305張Groq卡才足夠,而用H100則只需要8張卡。從目前的價(jià)格來看,這意味著在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。

當(dāng)然也有SRAM行業(yè)的專家非??春眠@種架構(gòu)模式,他認(rèn)為,賈揚(yáng)清對(duì)Groq成本的估算不是很對(duì),因?yàn)闆]有考慮到Groq的per token cost明顯低于GPGPU。

可以看到,作為一種新的架構(gòu)模式,Groq LPU當(dāng)前必然還面臨一些潛在問題,然而它的出現(xiàn),也讓人們看到GPU之外的可能路徑。

Groq LPU芯片未來能否肩負(fù)起運(yùn)行大模型的重任,或許再等等,就能看到明確答案。事實(shí)上,在去年年底的采訪中,Ross就表示,考慮到GPU的短缺和高昂的成本,他相信Groq未來的發(fā)展?jié)摿?。他說到:“在未來12個(gè)月內(nèi),我們可以部署10萬個(gè)LPU,在24個(gè)月內(nèi),我們可以部署100萬個(gè)LPU?!?br />
寫在最后

過去一年多時(shí)間,全球眾多科技公司都在研發(fā)大模型,今年將會(huì)是大模型落地部署的重要一年,而如眾多大模型的訓(xùn)練和推理卻依賴英偉達(dá)的GPU。業(yè)界亟需除英偉達(dá)GPU之外的芯片,能夠用于大模型的部署推理,Groq的LPU芯片可以說是帶來了新的探索方向。

雖然Groq公司對(duì)自己的LPU芯片在性能和成本上都自信滿滿,然而業(yè)界對(duì)于其成本問題還是有所質(zhì)疑。如果今年LPU芯片能夠如規(guī)劃那樣進(jìn)行較大規(guī)模的部署,或許就能一定程度證明LPU芯片在成本上也在眾多用戶所能接受的范圍之內(nèi)。












聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4945

    瀏覽量

    131230
  • 英偉達(dá)
    +關(guān)注

    關(guān)注

    22

    文章

    3952

    瀏覽量

    93756
  • Groq
    +關(guān)注

    關(guān)注

    0

    文章

    9

    瀏覽量

    148
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    AI大模型不再依賴英偉達(dá)GPU?蘋果揭秘自研大模型

    ? 電子發(fā)燒友網(wǎng)報(bào)道(文/梁浩斌)過去幾年中爆發(fā)的AI算力需求,英偉達(dá)GPU成為了最大的贏家,無論是自動(dòng)駕駛還是AI大模型,比如特斯拉、小鵬、OpenAI、字節(jié)跳動(dòng)等廠商都在爭(zhēng)相搶購英偉
    的頭像 發(fā)表于 08-05 06:07 ?4644次閱讀
    AI大模型不再依賴<b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b><b class='flag-5'>GPU</b>?蘋果揭秘自研大模型

    英偉達(dá)擬再推中國特供GPU,今年6月量產(chǎn)!

    電子發(fā)燒友網(wǎng)綜合報(bào)道 近年來,美國政府對(duì)華半導(dǎo)體出口管制政策不斷收緊,英偉達(dá)等半導(dǎo)體企業(yè)面臨嚴(yán)峻挑戰(zhàn)。為保持在中國市場(chǎng)的競(jìng)爭(zhēng)力,英偉達(dá)推出了多款特供版
    發(fā)表于 05-27 00:03 ?4391次閱讀

    新思科技攜手英偉達(dá)加速芯片設(shè)計(jì),提升芯片電子設(shè)計(jì)自動(dòng)化效率

    解決方案在英偉達(dá) GPU英偉達(dá) CUDA-X庫上所實(shí)現(xiàn)的加速 基于英偉
    發(fā)表于 03-19 17:59 ?278次閱讀

    微軟大手筆采購英偉達(dá)AI芯片

    ,微軟計(jì)劃購買的英偉達(dá)Hopper架構(gòu)芯片數(shù)量將遠(yuǎn)超英偉達(dá)在美國的第二大客戶——“元”公司。不僅
    的頭像 發(fā)表于 12-20 15:50 ?671次閱讀

    英偉達(dá)新應(yīng)用引發(fā)用戶不滿:游戲幀率受影響

    提供更加出色的游戲優(yōu)化體驗(yàn)。 然而,一些用戶在安裝并使用這款新應(yīng)用后,發(fā)現(xiàn)自己的游戲幀率出現(xiàn)了明顯的下降。這一問題在多個(gè)游戲和硬件配置上都得到了驗(yàn)證,使得不少用戶開始質(zhì)疑這款新應(yīng)用的性能和穩(wěn)定性。 英偉
    的頭像 發(fā)表于 12-17 14:17 ?549次閱讀

    軟銀升級(jí)人工智能計(jì)算平臺(tái),安裝4000顆英偉達(dá)Hopper GPU

    軟銀公司宣布,其正在擴(kuò)展的日本頂級(jí)人工智能計(jì)算平臺(tái)已安裝了約4000顆英偉達(dá)Hopper GPU。這一舉措顯著提升了平臺(tái)的計(jì)算能力。據(jù)悉,該平臺(tái)自2023年9月開始運(yùn)行,最初配備了大約2000顆
    的頭像 發(fā)表于 11-04 16:18 ?876次閱讀

    三星或重獲英偉達(dá)游戲芯片訂單

    據(jù)外媒最新報(bào)道,三星電子有望重新獲得英偉達(dá)的未來新款游戲芯片GPU)制造訂單,這一消息為三星的市場(chǎng)前景注入了新的活力。
    的頭像 發(fā)表于 10-21 18:11 ?849次閱讀

    英偉達(dá)Blackwell GPU未來一年訂單爆滿

    據(jù)摩根士丹利(大摩)透露,人工智能(AI)芯片領(lǐng)域的領(lǐng)軍企業(yè)英偉達(dá)(NVIDIA)的管理層在近期的一系列與投資人的會(huì)議中,分享了關(guān)于其下一代繪圖處理器(GPU)Blackwell的強(qiáng)勁
    的頭像 發(fā)表于 10-17 16:52 ?893次閱讀

    英偉達(dá)Blackwell GPU量產(chǎn)加速,Q4營收沖刺百億美元大關(guān)

    近日,全球領(lǐng)先的圖形處理單元(GPU)及人工智能芯片制造商英偉達(dá)傳來重大利好消息。據(jù)摩根士丹利最新發(fā)布的行業(yè)分析報(bào)告指出,英偉
    的頭像 發(fā)表于 09-26 15:58 ?647次閱讀

    挑戰(zhàn)英偉達(dá):聚焦本土GPU領(lǐng)軍企業(yè)崛起

    達(dá)在全球圖形處理單元(GPU)市場(chǎng)的霸主地位,特別是其關(guān)鍵硬件對(duì)訓(xùn)練大型AI模型(如ChatGPT背后的OpenAI模型)的不可或缺性,中國正積極尋求突破。盡管英偉達(dá)仍向中國出口部分
    的頭像 發(fā)表于 09-18 15:24 ?1101次閱讀

    ARM進(jìn)軍GPU領(lǐng)域,挑戰(zhàn)英偉達(dá)與英特爾

    英國芯片設(shè)計(jì)巨頭ARM正悄然在以色列拉阿納納的研發(fā)中心布局其GPU(圖形處理器)戰(zhàn)略,意圖在全球圖形處理市場(chǎng)與英偉達(dá)和英特爾等業(yè)界巨頭一較高下。據(jù)悉,ARM已在該開發(fā)中心組建了一支由約
    的頭像 發(fā)表于 08-21 10:19 ?836次閱讀

    英偉達(dá)TITAN AI顯卡曝光,性能狂超RTX 4090達(dá)63%!# 英偉達(dá)# 顯卡

    顯卡英偉達(dá)
    jf_02331860
    發(fā)布于 :2024年07月24日 17:18:28

    英偉達(dá)帶領(lǐng)芯片股飆升 英偉達(dá)大漲4.76%

    英偉達(dá)不愧是總龍頭,大漲4.76%。英偉達(dá)帶領(lǐng)芯片股飆升;甚至可以說是帶動(dòng)了美國股市上漲,在當(dāng)?shù)貢r(shí)間22日,科技股反彈,帶動(dòng)整體行情走高。美
    的頭像 發(fā)表于 07-23 16:26 ?630次閱讀

    英偉達(dá)將全面轉(zhuǎn)向開源GPU內(nèi)核模塊

    英偉達(dá)公司近期宣布了一項(xiàng)重大決策,即全面轉(zhuǎn)向開源GPU內(nèi)核模塊,并計(jì)劃最終以此取代閉源驅(qū)動(dòng)程序。這一戰(zhàn)略轉(zhuǎn)變標(biāo)志著英偉達(dá)在開源領(lǐng)域邁出了重要
    的頭像 發(fā)表于 07-19 15:26 ?894次閱讀