在首次參加行業(yè) MLPerf 基準(zhǔn)測(cè)試時(shí)，基于 NVIDIA Ampere 架構(gòu)的低功耗系統(tǒng)級(jí)芯片 NVIDIA Orin 就創(chuàng)造了新的AI推理性能紀(jì)錄，并在邊緣提升每個(gè)加速器的性能。

在此次第五輪生產(chǎn)級(jí)AI行業(yè)基準(zhǔn)測(cè)試中，NVIDIA 及其合作伙伴繼續(xù)在所有機(jī)器學(xué)習(xí)的工作負(fù)載和場(chǎng)景中展現(xiàn)出了高性能和廣泛的生態(tài)系統(tǒng)。

在邊緣AI領(lǐng)域，NVIDIA Orin 預(yù)生產(chǎn)版本在六項(xiàng)性能測(cè)試中的五項(xiàng)處于領(lǐng)先地位，其運(yùn)行速度比上一代 Jetson AGX Xavier 快了 5 倍，能效平均提高了 2 倍。

NVIDIA Orin 現(xiàn)已加入到用于機(jī)器人和自動(dòng)化系統(tǒng)的 NVIDIA Jetson AGX Orin 開(kāi)發(fā)者套件。包括亞馬遜網(wǎng)絡(luò)服務(wù)、約翰迪爾、小松、美敦力和微軟 Azure 在內(nèi)的 6000 多家客戶使用 NVIDIA Jetson 平臺(tái)進(jìn)行AI推理或其他任務(wù)。

這款系統(tǒng)級(jí)芯片也是 NVIDIA Hyperion 自動(dòng)駕駛汽車平臺(tái)的關(guān)鍵組成部分。中國(guó)最大的電動(dòng)汽車制造商比亞迪近期宣布，他們將在其新一代自動(dòng)駕駛電動(dòng)汽車中使用內(nèi)置 Orin的DRIVE Hyperion 架構(gòu)。

Orin 同樣也是 NVIDIA Clara Holoscan 醫(yī)療設(shè)備平臺(tái)的關(guān)鍵組成部分，且該平臺(tái)可供系統(tǒng)制造商和研究人員用來(lái)開(kāi)發(fā)新一代 AI 儀器。

小模塊合體成為大堆棧

包括 Jetson AGX Orin 在內(nèi)的 NVIDIA GPU 是唯一能夠運(yùn)行所有六項(xiàng) MLPerf 基準(zhǔn)測(cè)試的邊緣加速器。

憑借 JetPack SDK，Orin 可以運(yùn)行整個(gè) NVIDIA AI 平臺(tái)，這個(gè)軟件堆棧已經(jīng)在數(shù)據(jù)中心和云端得到了驗(yàn)證，并且獲得了 NVIDIA Jetson 平臺(tái) 100 萬(wàn)名開(kāi)發(fā)者的支持。

在最新一輪 MLPerf 推理測(cè)試中，NVIDIA 及合作伙伴繼續(xù)在所有測(cè)試和場(chǎng)景中展現(xiàn)出領(lǐng)先的性能。

MLPerf 基準(zhǔn)得到了亞馬遜、ARM 、百度、戴爾科技、Facebook 、谷歌、哈佛大學(xué)、英特爾、聯(lián)想、微軟、斯坦福大學(xué)和多倫多大學(xué)等機(jī)構(gòu)的廣泛支持。

更多的合作伙伴與結(jié)果提交數(shù)量

NVIDIA AI 平臺(tái)再次吸引了來(lái)自最廣泛合作伙伴生態(tài)系統(tǒng)的最多 MLPerf 提交。

Azure 在 12 月份的 MLPerf 訓(xùn)練測(cè)試中表現(xiàn)出色，在本輪 AI 推理測(cè)試中也取得了優(yōu)異的成績(jī)，這兩場(chǎng)測(cè)試都使用了 NVIDIA A100 Tensor CoreGPU。Azure 的 ND96amsr_A100_v4 實(shí)例在幾乎所有推理測(cè)試中都與我們提交的性能最高的 8 個(gè) GPU 相媲美，展現(xiàn)了公共云隨時(shí)可以提供的能力。

系統(tǒng)制造商華碩和新華三在本輪測(cè)試中首次使用 NVIDIA AI 平臺(tái)提交 MLPerf 結(jié)果。他們加入了戴爾科技、富士通、技嘉、浪潮、聯(lián)想、寧暢和美超微等已經(jīng)提交了二十多個(gè) NVIDIA 認(rèn)證系統(tǒng)結(jié)果的系統(tǒng)制造商的行列。

MLPerf 的重要性

我們的合作伙伴深知 MLPerf 是一個(gè)客戶用來(lái)評(píng)估 AI 平臺(tái)和供應(yīng)商的寶貴工具，因此紛紛參與這項(xiàng)測(cè)試。

MLPerf 的各項(xiàng)測(cè)試涵蓋了當(dāng)下最流行的 AI 工作負(fù)載和場(chǎng)景，用戶可以依據(jù)該基準(zhǔn)了解 AI 平臺(tái)在各類工作中的預(yù)期性能。

憑借軟件大放異彩

我們?cè)跍y(cè)試中使用的所有軟件都可以從 MLPerf 軟件庫(kù)中獲得。

我們的推理結(jié)果來(lái)自兩個(gè)關(guān)鍵組件——用于優(yōu)化 AI 模型的 NVIDIA TensorRT 和用于高效部署模型的 NVIDIA Triton 推理服務(wù)器。您可以在我們的 GPU 優(yōu)化軟件目錄 NGC 上免費(fèi)獲得它們。

全球各地的企業(yè)機(jī)構(gòu)正在采用 Triton，包括 Amazon 和微軟等云服務(wù)提供商。

我們不斷將優(yōu)化成果加入到 NGC 上的容器中，讓每一位用戶都能使用具有領(lǐng)先性能的 AI 進(jìn)行生產(chǎn)。