“首次價(jià)值實(shí)現(xiàn)時(shí)間”是 AI 開(kāi)發(fā)領(lǐng)域最重要的指標(biāo)之一。
AI 正在為所有人創(chuàng)造價(jià)值,從藥物發(fā)現(xiàn)領(lǐng)域的研究人員到應(yīng)對(duì)金融市場(chǎng)變化的量化分析師均受益匪淺。
AI 系統(tǒng)生成“token”(用于串聯(lián)輸出結(jié)果的數(shù)據(jù)單元)的速度越快,其影響力就越大。這正是 AI 工廠的關(guān)鍵所在,它提供了從“首 token 時(shí)延”到“首次價(jià)值實(shí)現(xiàn)時(shí)間”的最高效路徑。
AI 工廠正在重新定義現(xiàn)代基礎(chǔ)設(shè)施的經(jīng)濟(jì)學(xué)。它們通過(guò)大規(guī)模地將數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的輸出內(nèi)容(無(wú)論是 token、預(yù)測(cè)、圖像、蛋白質(zhì)還是其他形式的內(nèi)容)來(lái)生產(chǎn)智能。
AI 工廠有助于提升 AI 應(yīng)用流程中的三個(gè)關(guān)鍵環(huán)節(jié):數(shù)據(jù)攝取、模型訓(xùn)練和高吞吐量推理。通過(guò)三大核心技術(shù)棧(AI 模型、加速計(jì)算基礎(chǔ)設(shè)施和企業(yè)級(jí)軟件),AI 工廠能夠更快、更精準(zhǔn)地生成 token。
下面將介紹 AI 工廠是如何幫助全球各地的企業(yè)把最寶貴的數(shù)字商品——數(shù)據(jù)轉(zhuǎn)化為創(chuàng)收潛力的。
從推理經(jīng)濟(jì)學(xué)到價(jià)值創(chuàng)造
在構(gòu)建 AI 工廠之前,理解推理經(jīng)濟(jì)學(xué)至關(guān)重要,推理經(jīng)濟(jì)學(xué)意味著如何平衡成本、能效和日益增長(zhǎng)的 AI 需求。
吞吐量指模型可生成的 token 總量。延遲是模型在特定時(shí)間內(nèi)輸出的 token 數(shù)量,通常以首 token 時(shí)延(用戶輸入提示后,模型生成第一個(gè)輸出 token 所需的時(shí)間)和“首 token 后,每個(gè)輸出 token 的時(shí)延”(生成每個(gè)額外 token 所需的時(shí)間)來(lái)衡量。有效吞吐量(Goodput)是一個(gè)較新的指標(biāo),用于衡量一個(gè)系統(tǒng)在滿足延遲目標(biāo)的同時(shí)可交付的有用輸出量。
用戶體驗(yàn)是所有軟件應(yīng)用的關(guān)鍵所在,AI 工廠也不例外。高吞吐量意味著更智能的 AI,低延遲則確保了及時(shí)的響應(yīng)。當(dāng)這兩項(xiàng)指標(biāo)實(shí)現(xiàn)合理平衡時(shí),AI 工廠就可通過(guò)快速提供有用的輸出,帶來(lái)卓越的用戶體驗(yàn)。
例如,響應(yīng)時(shí)間為 0.5 秒的 AI 客服比 5 秒響應(yīng)的 AI 客服更具吸引力和價(jià)值,即使兩者最終生成的 token 數(shù)量相同。
企業(yè)可借此機(jī)會(huì)為其推理輸出設(shè)定具有競(jìng)爭(zhēng)力的價(jià)格,從而提升每個(gè) token 的創(chuàng)收潛力。
衡量和可視化這種平衡頗具挑戰(zhàn),而這正是“帕累托”前沿概念的用武之地。
AI 工廠輸出:高效 Token 的價(jià)值
在規(guī)?;渴?AI 時(shí),帕累托前沿有助于直觀地表明如何在沖突的目標(biāo)(如快速響應(yīng)與同時(shí)服務(wù)更多用戶)之間達(dá)到最優(yōu)的平衡。
縱軸代表給定能耗下的吞吐效率(單位為 TPS,也就是每秒 token 數(shù))。該數(shù)值越高,AI 工廠可同時(shí)處理的請(qǐng)求就越多。
橫軸表示單個(gè)用戶的 TPS,代表模型響應(yīng)用戶給出首個(gè)提示的用時(shí)。該數(shù)值越高,預(yù)期的用戶體驗(yàn)就越好。對(duì)于聊天機(jī)器人和實(shí)時(shí)分析工具等交互式應(yīng)用,更低的延遲和快速的響應(yīng)尤為重要。
帕累托前沿的最大值(顯示為曲線頂點(diǎn))代表了特定運(yùn)行配置下的最佳輸出。目標(biāo)是為不同的 AI 工作負(fù)載和應(yīng)用找到吞吐量與用戶體驗(yàn)之間的最優(yōu)平衡。
頂尖的 AI 工廠通過(guò)加速計(jì)算來(lái)提升“每瓦 token 數(shù)”,即在優(yōu)化 AI 性能的同時(shí)大幅提高 AI 工廠和應(yīng)用的能效。
以上展示的動(dòng)畫(huà)對(duì)比了在NVIDIA Hopper GPU(配置為每用戶每秒 32 個(gè) token)與NVIDIA Blackwell Ultra GPU(配置為每用戶每秒 344 個(gè) token)上運(yùn)行時(shí)的用戶體驗(yàn)。在上述用戶體驗(yàn)設(shè)置下,Blackwell Ultra 實(shí)現(xiàn)了 10 倍以上的體驗(yàn)提升和近 5 倍的更高吞吐量,實(shí)現(xiàn)了最高達(dá) 50 倍的創(chuàng)收潛力。
AI 工廠的實(shí)際運(yùn)行
AI 工廠是一個(gè)系統(tǒng),它包含了一套將數(shù)據(jù)轉(zhuǎn)化為智能的組件。它不一定是高端的本地?cái)?shù)據(jù)中心,也可能是在加速計(jì)算基礎(chǔ)設(shè)施上運(yùn)行的 AI 專(zhuān)用云或混合模型,甚至可能是同時(shí)優(yōu)化網(wǎng)絡(luò)并執(zhí)行邊緣推理的電信基礎(chǔ)設(shè)施。
任何配備了軟件的加速計(jì)算基礎(chǔ)設(shè)施,只要能通過(guò) AI 將數(shù)據(jù)轉(zhuǎn)化為智能,本質(zhì)上均可視為 AI 工廠。
AI 工廠的組件包括了加速計(jì)算、網(wǎng)絡(luò)、軟件、存儲(chǔ)、系統(tǒng)以及工具和服務(wù)。
當(dāng)用戶向 AI 系統(tǒng)輸入提示時(shí),AI 工廠的全棧系統(tǒng)就開(kāi)始工作。它將提示 token 化,也就是將數(shù)據(jù)轉(zhuǎn)化為圖像、聲音、文字片段等語(yǔ)義單元。
每個(gè) token 被輸入到 GPU 驅(qū)動(dòng)的 AI 模型中,隨之在模型上進(jìn)行計(jì)算密集型推理,以生成最佳響應(yīng)。每個(gè) GPU 通過(guò)高速網(wǎng)絡(luò)和互連技術(shù)執(zhí)行并行處理,從而同時(shí)處理海量數(shù)據(jù)。
對(duì)于來(lái)自全球用戶的各種提示,AI 工廠都會(huì)運(yùn)行上述流程。這種實(shí)時(shí)推理能夠以工業(yè)級(jí)規(guī)模來(lái)生產(chǎn)智能。
由于 AI 工廠整合了整個(gè) AI 生命周期,該系統(tǒng)能夠持續(xù)改進(jìn):記錄推理過(guò)程,標(biāo)記邊緣案例以進(jìn)行再訓(xùn)練,優(yōu)化循環(huán)隨時(shí)間逐漸收斂。這一切均無(wú)需人工干預(yù),這就是“有效吞吐量”的實(shí)際體現(xiàn)。
面向 AI 工廠的 NVIDIA 全棧技術(shù)
AI 工廠將 AI 從一系列零散的實(shí)驗(yàn)轉(zhuǎn)化為可擴(kuò)展、可重復(fù)且可靠的創(chuàng)新與商業(yè)價(jià)值生成引擎。
NVIDIA 提供構(gòu)建 AI 工廠所需的所有組件,包括加速計(jì)算、高性能 GPU、高帶寬網(wǎng)絡(luò)和優(yōu)化的軟件。
例如,NVIDIA Blackwell GPU可以通過(guò)網(wǎng)絡(luò)連接,采用液冷技術(shù)提升能效,并由 AI 軟件統(tǒng)一編排。
開(kāi)源推理平臺(tái)NVIDIA Dynamo為 AI 工廠提供了一種操作系統(tǒng),該系統(tǒng)旨在以最高的效率和最低的成本加速并擴(kuò)展 AI。通過(guò)智能地路由、調(diào)度和優(yōu)化推理請(qǐng)求,Dynamo 確保每個(gè) GPU 周期都能得到充分利用,從而以峰值性能生產(chǎn) token。
NVIDIA Blackwell GB200 NVL72系統(tǒng)和NVIDIA InfiniBand網(wǎng)絡(luò)專(zhuān)為最大化“每瓦 token 吞吐量”而設(shè)計(jì),使 AI 工廠在總吞吐量和低延遲方面均實(shí)現(xiàn)高效運(yùn)行。
通過(guò)驗(yàn)證優(yōu)化后的全棧解決方案,企業(yè)可以高效地構(gòu)建和維護(hù)前沿 AI 系統(tǒng)。全棧 AI 工廠助力企業(yè)實(shí)現(xiàn)卓越運(yùn)營(yíng),使他們能更快、更自信地駕馭 AI 的潛力。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5309瀏覽量
106348 -
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
5226瀏覽量
73503 -
AI
+關(guān)注
關(guān)注
88文章
35099瀏覽量
279539
原文標(biāo)題:探索 AI 工廠的創(chuàng)收潛力
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
AI技術(shù)助力可持續(xù)發(fā)展
NVIDIA擴(kuò)展適用于AI工廠數(shù)字孿生的Omniverse Blueprint
關(guān)于AI工廠三階段模型

工廠園區(qū)AI行為識(shí)別系統(tǒng)作用
NVIDIA驅(qū)動(dòng)的AI工廠正在重新定義數(shù)據(jù)中心

適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)
東軟載波工廠AI智慧照明方案解析
麗臺(tái)科技推出WS3008 AI一體機(jī)
一文了解AI網(wǎng)絡(luò)互聯(lián)的市場(chǎng)潛力

《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第一章人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得
萬(wàn)界星空科技AI低代碼MES的具體功能及工廠應(yīng)用效果

評(píng)論