Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等全球行業(yè)領(lǐng)導(dǎo)者都在使用該平臺

NVIDIA宣布其AI推理平臺的重大更新，目前Capital One、Microsoft、Samsung Medison、Siemens Energy、Snap等25000多家客戶都在使用該平臺。

這些更新包括開源NVIDIA Triton推理服務(wù)器軟件的新功能，該軟件為所有AI模型和框架提供跨平臺推理；同時也包含對NVIDIA TensorRT的更新，該軟件優(yōu)化AI模型并為NVIDIA GPU上的高性能推理提供運(yùn)行時優(yōu)化。

NVIDIA還推出了NVIDIA A2 Tensor Core GPU，這是一款用于邊緣AI推理的低功耗、小尺寸的加速器，其推理性能比CPU高出20倍。

NVIDIA副總裁兼加速計(jì)算總經(jīng)理Ian Buck表示：“NVIDIA AI推理平臺正在推動各行各業(yè)的突破，包括醫(yī)療健康、金融服務(wù)、零售、制造和超級計(jì)算。無論是提供更智能的建議，發(fā)揮對話式AI的力量，還是推進(jìn)科學(xué)發(fā)現(xiàn)，NVIDIA推理平臺都能以簡單易用的方式提供低延遲、高吞吐及多種性能組合的服務(wù)，為全球關(guān)鍵的AI新應(yīng)用賦能?！?/p>

關(guān)鍵的軟件優(yōu)化

Triton 推理服務(wù)器的主要更新包括：

Triton 模型分析器 ：這款新工具可以自動化地從數(shù)百種組合中為 AI 模型選擇最佳配置，以實(shí)現(xiàn)最優(yōu)性能，同時確保應(yīng)用程序所需的服務(wù)質(zhì)量。

多 GPU 多節(jié)點(diǎn)功能：這一新功能支持基于Transformer的大規(guī)模語言模型，例如Megatron 530B，在多個GPU和服務(wù)器節(jié)點(diǎn)上運(yùn)行并提供實(shí)時推理性能，而不是在單個GPU上運(yùn)行。

RAPIDS FIL ： 這一針對隨機(jī)森林和梯度提升決策樹模型 GPU 或 CPU 推理的新后端為開發(fā)者使用Triton進(jìn)行深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)提供了一個統(tǒng)一的部署引擎。

Amazon SageMaker 集成：這種無縫集成讓客戶能夠在SageMaker（AWS 完全托管的AI 服務(wù)）中使用 Triton 輕松部署多框架的模型，并實(shí)現(xiàn)高推理性能。

支持 Arm CPU：除了NVIDIA GPU 和 x86 CPU 外，Triton后端現(xiàn)在還支持在 Arm CPU 上優(yōu)化AI 推理工作負(fù)載。

Triton 支持在云、數(shù)據(jù)中心、企業(yè)邊緣和嵌入式設(shè)備等環(huán)境中對 GPU 和CPU 進(jìn)行 AI 推理，并與AWS、Google Cloud、MicrosoftAzure、阿里云PAI-EAS 等平臺集成。此外，NVIDIA AI Enterprise也集成了Triton。 NVIDIA AI Enterprise 是一款經(jīng)NVIDIA 優(yōu)化、認(rèn)證和支持的用于開發(fā)和部署 AI 的端到端軟件套件，客戶可利用它在本地?cái)?shù)據(jù)中心和私有云的主流服務(wù)器上運(yùn)行AI 工作負(fù)載。

除了Triton外，TensorRT 現(xiàn)在還與TensorFlow和PyTorch集成，只需一行代碼就能提供比框架內(nèi)推理快3倍的性能。這使得開發(fā)人員采用極為簡化的工作流程就可以體會TensorRT的強(qiáng)大功能。 NVIDIA TensorRT 8.2 是SDK的最新版本，可加速高性能的深度學(xué)習(xí)推理，在云端、本地或邊緣提供高吞吐和低延遲。有了最新的性能優(yōu)化，數(shù)十億個參數(shù)的語言模型可實(shí)現(xiàn)實(shí)時運(yùn)行。

領(lǐng)導(dǎo)者支持NVIDIA AI 平臺推理

全球眾多行業(yè)領(lǐng)導(dǎo)者都正在使用 NVIDIA AI 推理平臺改進(jìn)業(yè)務(wù)運(yùn)營并為客戶提供新的AI賦能服務(wù)。 Microsoft Azure 認(rèn)知服務(wù)為高品質(zhì)AI 模型提供基于云的 API，以創(chuàng)建智能應(yīng)用程序。他們正在使用Triton 運(yùn)行語音轉(zhuǎn)文本模型，為 Microsoft Teams 用戶提供準(zhǔn)確的實(shí)時字幕和轉(zhuǎn)錄。

“Microsoft Teams 是全球溝通和協(xié)作的重要工具，每月有近 2.5 億活躍用戶，”Microsoft 團(tuán)隊(duì)呼叫、會議和設(shè)備部首席PM 經(jīng)理 Shalendra Chhabra 表示?！斑@樣的AI 模型極其復(fù)雜，需要數(shù)千萬個神經(jīng)網(wǎng)絡(luò)參數(shù)才能在幾十種不同的語言中提供準(zhǔn)確的結(jié)果。模型越大，就越難以經(jīng)濟(jì)高效地實(shí)時運(yùn)行。

Microsoft Azure 認(rèn)知服務(wù)上的NVIDIA GPU 和 Triton 推理服務(wù)器使用28 種語言和方言，通過 AI 近乎實(shí)時地幫助改進(jìn)實(shí)時字幕和轉(zhuǎn)錄功能?！盡icrosoft Azure 認(rèn)知服務(wù)上的NVIDIA GPU 和 Triton 推理服務(wù)器，結(jié)合AI模型，幫助提升了涉及28 種語言和方言的實(shí)時字幕和轉(zhuǎn)錄功能的成本效益。

Samsung Medison 是三星電子旗下一家全球醫(yī)療設(shè)備公司。該公司正利用 NVIDIA TensorRT 通過智能輔助功能來為其超聲波系統(tǒng)提供增強(qiáng)的更優(yōu)質(zhì)的醫(yī)療影像。Samsung Medison 致力于通過提高患者的舒適度、減少掃描時間、簡化工作流程并最終提高系統(tǒng)吞吐量來改善患者和醫(yī)療健康領(lǐng)域?qū)I(yè)人員的生活。

“在新款 V8 高端超聲波系統(tǒng)中應(yīng)用NVIDIA TensorRT 后，我們能夠在查看和診斷圖像時更好地為醫(yī)學(xué)專家提供支持，”Samsung Medison 副總裁、客戶體驗(yàn)團(tuán)隊(duì)主管Won-Chul Bang 表示。

“我們正在積極地將基于AI 的技術(shù)引入我們的超聲波系統(tǒng)，以便為醫(yī)療專業(yè)人員提供更好的支持，使他們能夠?qū)Ｗ⒂诨颊咴\斷和治療等更重要的領(lǐng)域。” Siemens Energy是一家擁有領(lǐng)先能源技術(shù)解決方案的能源專營公司，該公司正利用 Triton 通過AI 來幫助其發(fā)電廠客戶管理相關(guān)設(shè)施。

“高度復(fù)雜的發(fā)電廠通常會配備攝像頭和傳感器，但采用的卻是傳統(tǒng)軟件系統(tǒng)，NVIDIA Triton 推理服務(wù)器出色的靈活性能夠讓這些發(fā)電廠加入自主工業(yè)革命，”

SiemensEnergy自主運(yùn)營部投資組合經(jīng)理 Arik Ott 表示。 Snap是一家全球性攝影軟件和社交媒體公司，其主要產(chǎn)品和服務(wù)包括Snapchat、Spectacles和Bitmoji等。Snap正在使用NVIDIA技術(shù)來提高商業(yè)變現(xiàn)能力和降低成本。

“Snap使用NVIDIA GPU和TensorRT將機(jī)器學(xué)習(xí)推理的成本效率提高了50%，并將服務(wù)延遲降低了2倍，“Snap公司策劃與商業(yè)變現(xiàn)部門工程副總裁Nima Khajehnouri表示?！边@為我們提供了計(jì)算資源，以實(shí)踐和部署更大型、更準(zhǔn)確的廣告和內(nèi)容排名模型。“

NVIDIA面向推理的AI平臺包括

新的 NVIDIA 認(rèn)證系統(tǒng)、全新A2 GPU

NVIDIA 認(rèn)證系統(tǒng)可以幫助客戶在高性能、經(jīng)濟(jì)高效且可擴(kuò)展的基礎(chǔ)設(shè)施上為各種現(xiàn)代 AI 應(yīng)用識別、獲取和部署系統(tǒng)，該認(rèn)證系統(tǒng)現(xiàn)在包含兩個新的邊緣AI類別。 擴(kuò)展的類別允許NVIDIA 系統(tǒng)的合作伙伴為客戶提供完整系列的由基于 NVIDIA Ampere 架構(gòu)的GPU 支持的 NVIDIA 認(rèn)證系統(tǒng)，來處理各種實(shí)際工作負(fù)載。

新的NVIDIA A2 GPU也包含在內(nèi)，它是一個入門級、低功耗的緊湊型加速器，適用于邊緣服務(wù)器中的推理和邊緣 AI。NVIDIA A2與適用于主流企業(yè)服務(wù)器的NVIDIA A30、適用高性能AI 服務(wù)器的NVIDIA A100一起，為邊緣、數(shù)據(jù)中心和云端的 AI 推理提供了完整的方案。

Atos、戴爾科技、技嘉、慧與、浪潮、聯(lián)想和Supermicro等全球領(lǐng)先的企業(yè)系統(tǒng)供應(yīng)商，其AI系統(tǒng)產(chǎn)品線均支持在NVIDIA 認(rèn)證系統(tǒng)上使用NVIDIA AI Enterprise。 其他系統(tǒng)提供商，如研華科技、ASRock Rack、華碩、新華三、寧暢和QCT也為各種工作負(fù)載提供了NVIDIA 認(rèn)證系統(tǒng)。包括研華科技、技嘉和聯(lián)想在內(nèi)的領(lǐng)先供應(yīng)商將很快推出首款通過新邊緣類別認(rèn)證的 NVIDIA 認(rèn)證系統(tǒng)。

供貨情況

Triton 通過NVIDIA NGC 目錄提供。NVIDIA NGC是針對 GPU 優(yōu)化的AI 軟件中心，包括框架、工具包、預(yù)訓(xùn)練模型和 Jupyter Notebooks。Triton源代碼可從Triton GitHub 資源庫獲取。 NVIDIA 開發(fā)者計(jì)劃成員可通過TensorRT頁面獲取 TensorRT。最新版本的插件、解析器和示例也以開源形式提供，可從TensorRT GitHub 資源庫獲取。 客戶可以通過今日獨(dú)家發(fā)布的NVIDIA LaunchPad中的全球精選實(shí)驗(yàn)室，在 NVIDIA AI Enterprise 軟件套件中體驗(yàn)NVIDIA Triton。

NVIDIA AI Enterprise 軟件套件可通過全球 NVIDIA 渠道合作伙伴獲取，包括Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVASystem Vertrieb Alexander GmbH、TD SYNNEX、Trace3和 WWT。

責(zé)任編輯：haq