一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

探索AI工廠的創(chuàng)收潛力

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來(lái)源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 2025-05-29 14:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

“首次價(jià)值實(shí)現(xiàn)時(shí)間”是 AI 開(kāi)發(fā)領(lǐng)域最重要的指標(biāo)之一。

AI 正在為所有人創(chuàng)造價(jià)值,從藥物發(fā)現(xiàn)領(lǐng)域的研究人員到應(yīng)對(duì)金融市場(chǎng)變化的量化分析師均受益匪淺。

AI 系統(tǒng)生成“token”(用于串聯(lián)輸出結(jié)果的數(shù)據(jù)單元)的速度越快,其影響力就越大。這正是 AI 工廠的關(guān)鍵所在,它提供了從“首 token 時(shí)延”到“首次價(jià)值實(shí)現(xiàn)時(shí)間”的最高效路徑。

AI 工廠正在重新定義現(xiàn)代基礎(chǔ)設(shè)施的經(jīng)濟(jì)學(xué)。它們通過(guò)大規(guī)模地將數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的輸出內(nèi)容(無(wú)論是 token、預(yù)測(cè)、圖像、蛋白質(zhì)還是其他形式的內(nèi)容)來(lái)生產(chǎn)智能。

AI 工廠有助于提升 AI 應(yīng)用流程中的三個(gè)關(guān)鍵環(huán)節(jié):數(shù)據(jù)攝取、模型訓(xùn)練和高吞吐量推理。通過(guò)三大核心技術(shù)棧(AI 模型、加速計(jì)算基礎(chǔ)設(shè)施和企業(yè)級(jí)軟件),AI 工廠能夠更快、更精準(zhǔn)地生成 token。

下面將介紹 AI 工廠是如何幫助全球各地的企業(yè)把最寶貴的數(shù)字商品——數(shù)據(jù)轉(zhuǎn)化為創(chuàng)收潛力的。

從推理經(jīng)濟(jì)學(xué)到價(jià)值創(chuàng)造

在構(gòu)建 AI 工廠之前,理解推理經(jīng)濟(jì)學(xué)至關(guān)重要,推理經(jīng)濟(jì)學(xué)意味著如何平衡成本、能效和日益增長(zhǎng)的 AI 需求。

吞吐量指模型可生成的 token 總量。延遲是模型在特定時(shí)間內(nèi)輸出的 token 數(shù)量,通常以首 token 時(shí)延(用戶輸入提示后,模型生成第一個(gè)輸出 token 所需的時(shí)間)和“首 token 后,每個(gè)輸出 token 的時(shí)延”(生成每個(gè)額外 token 所需的時(shí)間)來(lái)衡量。有效吞吐量(Goodput)是一個(gè)較新的指標(biāo),用于衡量一個(gè)系統(tǒng)在滿足延遲目標(biāo)的同時(shí)可交付的有用輸出量。

用戶體驗(yàn)是所有軟件應(yīng)用的關(guān)鍵所在,AI 工廠也不例外。高吞吐量意味著更智能的 AI,低延遲則確保了及時(shí)的響應(yīng)。當(dāng)這兩項(xiàng)指標(biāo)實(shí)現(xiàn)合理平衡時(shí),AI 工廠就可通過(guò)快速提供有用的輸出,帶來(lái)卓越的用戶體驗(yàn)。

例如,響應(yīng)時(shí)間為 0.5 秒的 AI 客服比 5 秒響應(yīng)的 AI 客服更具吸引力和價(jià)值,即使兩者最終生成的 token 數(shù)量相同。

企業(yè)可借此機(jī)會(huì)為其推理輸出設(shè)定具有競(jìng)爭(zhēng)力的價(jià)格,從而提升每個(gè) token 的創(chuàng)收潛力。

衡量和可視化這種平衡頗具挑戰(zhàn),而這正是“帕累托”前沿概念的用武之地。

AI 工廠輸出:高效 Token 的價(jià)值

在規(guī)?;渴?AI 時(shí),帕累托前沿有助于直觀地表明如何在沖突的目標(biāo)(如快速響應(yīng)與同時(shí)服務(wù)更多用戶)之間達(dá)到最優(yōu)的平衡。

縱軸代表給定能耗下的吞吐效率(單位為 TPS,也就是每秒 token 數(shù))。該數(shù)值越高,AI 工廠可同時(shí)處理的請(qǐng)求就越多。

橫軸表示單個(gè)用戶的 TPS,代表模型響應(yīng)用戶給出首個(gè)提示的用時(shí)。該數(shù)值越高,預(yù)期的用戶體驗(yàn)就越好。對(duì)于聊天機(jī)器人和實(shí)時(shí)分析工具等交互式應(yīng)用,更低的延遲和快速的響應(yīng)尤為重要。

帕累托前沿的最大值(顯示為曲線頂點(diǎn))代表了特定運(yùn)行配置下的最佳輸出。目標(biāo)是為不同的 AI 工作負(fù)載和應(yīng)用找到吞吐量與用戶體驗(yàn)之間的最優(yōu)平衡。

頂尖的 AI 工廠通過(guò)加速計(jì)算來(lái)提升“每瓦 token 數(shù)”,即在優(yōu)化 AI 性能的同時(shí)大幅提高 AI 工廠和應(yīng)用的能效。

以上展示的動(dòng)畫(huà)對(duì)比了在NVIDIA Hopper GPU(配置為每用戶每秒 32 個(gè) token)與NVIDIA Blackwell Ultra GPU(配置為每用戶每秒 344 個(gè) token)上運(yùn)行時(shí)的用戶體驗(yàn)。在上述用戶體驗(yàn)設(shè)置下,Blackwell Ultra 實(shí)現(xiàn)了 10 倍以上的體驗(yàn)提升和近 5 倍的更高吞吐量,實(shí)現(xiàn)了最高達(dá) 50 倍的創(chuàng)收潛力。

AI 工廠的實(shí)際運(yùn)行

AI 工廠是一個(gè)系統(tǒng),它包含了一套將數(shù)據(jù)轉(zhuǎn)化為智能的組件。它不一定是高端的本地?cái)?shù)據(jù)中心,也可能是在加速計(jì)算基礎(chǔ)設(shè)施上運(yùn)行的 AI 專(zhuān)用云或混合模型,甚至可能是同時(shí)優(yōu)化網(wǎng)絡(luò)并執(zhí)行邊緣推理的電信基礎(chǔ)設(shè)施。

任何配備了軟件的加速計(jì)算基礎(chǔ)設(shè)施,只要能通過(guò) AI 將數(shù)據(jù)轉(zhuǎn)化為智能,本質(zhì)上均可視為 AI 工廠。

AI 工廠的組件包括了加速計(jì)算、網(wǎng)絡(luò)、軟件、存儲(chǔ)、系統(tǒng)以及工具和服務(wù)。

當(dāng)用戶向 AI 系統(tǒng)輸入提示時(shí),AI 工廠的全棧系統(tǒng)就開(kāi)始工作。它將提示 token 化,也就是將數(shù)據(jù)轉(zhuǎn)化為圖像、聲音、文字片段等語(yǔ)義單元。

每個(gè) token 被輸入到 GPU 驅(qū)動(dòng)的 AI 模型中,隨之在模型上進(jìn)行計(jì)算密集型推理,以生成最佳響應(yīng)。每個(gè) GPU 通過(guò)高速網(wǎng)絡(luò)和互連技術(shù)執(zhí)行并行處理,從而同時(shí)處理海量數(shù)據(jù)。

對(duì)于來(lái)自全球用戶的各種提示,AI 工廠都會(huì)運(yùn)行上述流程。這種實(shí)時(shí)推理能夠以工業(yè)級(jí)規(guī)模來(lái)生產(chǎn)智能。

由于 AI 工廠整合了整個(gè) AI 生命周期,該系統(tǒng)能夠持續(xù)改進(jìn):記錄推理過(guò)程,標(biāo)記邊緣案例以進(jìn)行再訓(xùn)練,優(yōu)化循環(huán)隨時(shí)間逐漸收斂。這一切均無(wú)需人工干預(yù),這就是“有效吞吐量”的實(shí)際體現(xiàn)。

面向 AI 工廠的 NVIDIA 全棧技術(shù)

AI 工廠將 AI 從一系列零散的實(shí)驗(yàn)轉(zhuǎn)化為可擴(kuò)展、可重復(fù)且可靠的創(chuàng)新與商業(yè)價(jià)值生成引擎。

NVIDIA 提供構(gòu)建 AI 工廠所需的所有組件,包括加速計(jì)算、高性能 GPU、高帶寬網(wǎng)絡(luò)和優(yōu)化的軟件。

例如,NVIDIA Blackwell GPU可以通過(guò)網(wǎng)絡(luò)連接,采用液冷技術(shù)提升能效,并由 AI 軟件統(tǒng)一編排。

開(kāi)源推理平臺(tái)NVIDIA Dynamo為 AI 工廠提供了一種操作系統(tǒng),該系統(tǒng)旨在以最高的效率和最低的成本加速并擴(kuò)展 AI。通過(guò)智能地路由、調(diào)度和優(yōu)化推理請(qǐng)求,Dynamo 確保每個(gè) GPU 周期都能得到充分利用,從而以峰值性能生產(chǎn) token。

NVIDIA Blackwell GB200 NVL72系統(tǒng)和NVIDIA InfiniBand網(wǎng)絡(luò)專(zhuān)為最大化“每瓦 token 吞吐量”而設(shè)計(jì),使 AI 工廠在總吞吐量和低延遲方面均實(shí)現(xiàn)高效運(yùn)行。

通過(guò)驗(yàn)證優(yōu)化后的全棧解決方案,企業(yè)可以高效地構(gòu)建和維護(hù)前沿 AI 系統(tǒng)。全棧 AI 工廠助力企業(yè)實(shí)現(xiàn)卓越運(yùn)營(yíng),使他們能更快、更自信地駕馭 AI 的潛力。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5309

    瀏覽量

    106348
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    5226

    瀏覽量

    73503
  • AI
    AI
    +關(guān)注

    關(guān)注

    88

    文章

    35099

    瀏覽量

    279539

原文標(biāo)題:探索 AI 工廠的創(chuàng)收潛力

文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    AI技術(shù)助力可持續(xù)發(fā)展

    AI潛力,并減輕其潛在缺點(diǎn)的影響,行業(yè)必須在開(kāi)發(fā)、部署和使用中采用可持續(xù)的實(shí)踐方式,同時(shí)探索有效利用 AI 的方法,以減輕對(duì)整個(gè)社會(huì)的環(huán)境影響。
    的頭像 發(fā)表于 06-19 10:43 ?477次閱讀

    NVIDIA擴(kuò)展適用于AI工廠數(shù)字孿生的Omniverse Blueprint

    NVIDIA 宣布大幅擴(kuò)展適用于 AI 工廠數(shù)字孿生的 Omniverse Blueprint,為工程團(tuán)隊(duì)提供更多 AI 工廠構(gòu)建工具,目前已作為預(yù)覽版推出。
    的頭像 發(fā)表于 05-22 09:48 ?334次閱讀

    關(guān)于AI工廠三階段模型

    在今天(2025年5月20日)的Computex大會(huì)上,富士康董事長(zhǎng)劉揚(yáng)偉發(fā)表了以“AI工廠三階段模型”及“Genesis”為核心的Keynote演講,提到鴻海集團(tuán)在AI轉(zhuǎn)型中的戰(zhàn)略布局。這一
    的頭像 發(fā)表于 05-20 23:26 ?482次閱讀
    關(guān)于<b class='flag-5'>AI</b><b class='flag-5'>工廠</b>三階段模型

    工廠園區(qū)AI行為識(shí)別系統(tǒng)作用

    工廠園區(qū)AI行為識(shí)別系統(tǒng)作用 工廠園區(qū)AI行為識(shí)別系統(tǒng)是什么? 工廠園區(qū)AI行為識(shí)別系統(tǒng)是基于人
    的頭像 發(fā)表于 05-06 17:49 ?237次閱讀

    NVIDIA驅(qū)動(dòng)的AI工廠正在重新定義數(shù)據(jù)中心

    NVIDIA 及其生態(tài)系統(tǒng)合作伙伴正在為 AI 推理時(shí)代構(gòu)建大規(guī)模 AI 工廠,而每家企業(yè)都將需要一個(gè)這樣的工廠
    的頭像 發(fā)表于 04-11 11:27 ?472次閱讀
    NVIDIA驅(qū)動(dòng)的<b class='flag-5'>AI</b><b class='flag-5'>工廠</b>正在重新定義數(shù)據(jù)中心

    適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)

    ,成為新一代AI數(shù)據(jù)中心的核心驅(qū)動(dòng)力。 AI時(shí)代的兩大數(shù)據(jù)中心:AI工廠AIAI時(shí)代
    發(fā)表于 03-25 17:35

    東軟載波工廠AI智慧照明方案解析

    東軟載波工廠AI智慧照明方案主要基于PLC電力線載波通信技術(shù)及自研智慧管控平臺(tái),對(duì)工廠各區(qū)域的照明設(shè)備進(jìn)行集中化、自動(dòng)化、智能化管控,滿足現(xiàn)代工廠生產(chǎn)經(jīng)營(yíng)所需的照明要求。
    的頭像 發(fā)表于 11-30 09:09 ?985次閱讀

    麗臺(tái)科技推出WS3008 AI一體機(jī)

    隨著 AI 技術(shù)的不斷進(jìn)步和商業(yè)應(yīng)用的深入探索,AI 一體機(jī)作為企業(yè)智能化轉(zhuǎn)型的重要載體,正逐步展現(xiàn)出其獨(dú)特的價(jià)值和潛力。為適用于更多企業(yè)轉(zhuǎn)型需求以及更靈活的場(chǎng)景化要求,麗臺(tái)科技現(xiàn)推出
    的頭像 發(fā)表于 11-27 11:11 ?859次閱讀

    一文了解AI網(wǎng)絡(luò)互聯(lián)的市場(chǎng)潛力

    AI網(wǎng)絡(luò)多層次的互聯(lián)彰顯市場(chǎng)潛力 NVIDIA作為全球領(lǐng)先的視覺(jué)計(jì)算和人工智能公司,其市值突破萬(wàn)億元的背后,除了強(qiáng)大的GPU產(chǎn)品線,互聯(lián)技術(shù)扮演了不可或缺的支柱角色。NVIDIA于2019年收
    的頭像 發(fā)表于 11-27 10:08 ?1040次閱讀
    一文了解<b class='flag-5'>AI</b>網(wǎng)絡(luò)互聯(lián)的市場(chǎng)<b class='flag-5'>潛力</b>

    AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第一章人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得

    ,無(wú)疑為讀者鋪設(shè)了一條探索人工智能(AI)如何深刻影響并推動(dòng)科學(xué)創(chuàng)新的道路。在閱讀這一章后,我深刻感受到了人工智能技術(shù)在科學(xué)領(lǐng)域的廣泛應(yīng)用潛力以及其帶來(lái)的革命性變化,以下是我個(gè)人的學(xué)習(xí)心得: 1.
    發(fā)表于 10-14 09:12

    萬(wàn)界星空科技AI低代碼MES的具體功能及工廠應(yīng)用效果

    萬(wàn)界星空科技AI低代碼MES的具體功能及工廠應(yīng)用效果,萬(wàn)界星空科技AI低代碼MES的具體功能及工廠應(yīng)用效果
    的頭像 發(fā)表于 09-18 14:56 ?671次閱讀
    萬(wàn)界星空科技<b class='flag-5'>AI</b>低代碼MES的具體功能及<b class='flag-5'>工廠</b>應(yīng)用效果

    NVIDIA和Meta CEO探討AI與仿真模擬技術(shù)的潛力

    NVIDIA 和 Meta 的首席執(zhí)行官將在一次難得的公開(kāi)活動(dòng)中共同探討 AI 與仿真模擬技術(shù)的潛力。
    的頭像 發(fā)表于 09-09 09:14 ?738次閱讀

    新思科技探索AI+EDA的更多可能性

    芯片設(shè)計(jì)復(fù)雜性的快速指數(shù)級(jí)增長(zhǎng)給開(kāi)發(fā)者帶來(lái)了巨大的挑戰(zhàn),整個(gè)行業(yè)不僅要向埃米級(jí)發(fā)展、Muiti-Die系統(tǒng)和工藝節(jié)點(diǎn)遷移所帶來(lái)的挑戰(zhàn),還需要應(yīng)對(duì)愈加緊迫的上市時(shí)間目標(biāo)、不斷增加的制造測(cè)試成本以及人才短缺等問(wèn)題。早在AI大熱之前,芯片設(shè)計(jì)行業(yè)就把目光放到了AI,
    的頭像 發(fā)表于 08-29 11:19 ?872次閱讀

    NVIDIA黃仁勛和Meta馬克·扎克伯格探討開(kāi)源AI的變革潛力

    兩位領(lǐng)導(dǎo)者在 SIGGRAPH 2024 大會(huì)上探討開(kāi)源 AI 的變革潛力,推出 AI Studio,并互換皮夾克。
    的頭像 發(fā)表于 08-13 16:24 ?828次閱讀

    探索新潮流 — AI服務(wù)器引領(lǐng)數(shù)據(jù)中心的發(fā)展

    電子發(fā)燒友網(wǎng)站提供《探索新潮流 — AI服務(wù)器引領(lǐng)數(shù)據(jù)中心的發(fā)展.pdf》資料免費(fèi)下載
    發(fā)表于 07-26 13:35 ?368次下載