北美時(shí)間4月5日，全球權(quán)威 AI 基準(zhǔn)測(cè)試 MLPerf 3.0 最新結(jié)果正式公布，戴爾新一代AI與邊緣計(jì)算服務(wù)器取得有史以來最好成績(jī)：

數(shù)據(jù)中心賽道，戴爾新一代GPU服務(wù)器PowerEdge XE9680斬獲3項(xiàng)第一、9項(xiàng)第二；

邊緣計(jì)算賽道，戴爾PowerEdge XR系列邊緣計(jì)算服務(wù)器拿下10項(xiàng)第一。

恭喜戴爾！

MLPerf由ML Commons聯(lián)盟組織，是全球最知名、參與度最高的AI計(jì)算基準(zhǔn)測(cè)試，包含Training（訓(xùn)練）和Inference（推理）兩大領(lǐng)域。MLPerf選擇AI各個(gè)熱門領(lǐng)域的經(jīng)典模型，在滿足技術(shù)規(guī)范前提下（如訓(xùn)練精度、延遲等），對(duì)各大廠商的硬件、軟件和服務(wù)的訓(xùn)練和推理性能提供公平的評(píng)估。

最新公布的AI推理基準(zhǔn)測(cè)試MLPerf Inference v3.0，包含圖像分類ResNet-50、目標(biāo)檢測(cè)RetinaNet、醫(yī)療圖像3D U-Net、語(yǔ)音識(shí)別RNN-T、自然語(yǔ)言處理BERT-Large、推薦系統(tǒng)DLRM等6個(gè)模型賽道，匯集了來自全球25個(gè)廠商超過6700條性能數(shù)據(jù)，以及2400條性能功耗數(shù)據(jù)。

MLPerf Inference v3.0的AI業(yè)務(wù)場(chǎng)景

在此次MLPerf Inference v3.0測(cè)試中，戴爾提交了27種不同的服務(wù)器配置，共計(jì)255項(xiàng)測(cè)試數(shù)據(jù)。產(chǎn)品涵蓋PowerEdge XE9680、R750xa、XR7620、XR5610等型號(hào)，參測(cè)的GPU型號(hào)包括NVIDIA H100、A100、A30、L4、T4、A2以及高通AI加速卡等，具有廣泛的選型參考性。

數(shù)據(jù)中心賽道表現(xiàn)

在MLPerf Inference最受關(guān)注的數(shù)據(jù)中心基準(zhǔn)測(cè)試（Datacenter closed）中，戴爾16G PowerEdge服務(wù)器XE9680首次亮相便斬獲優(yōu)異成績(jī)。

8卡H100配置的PowerEdge XE9680參加了12項(xiàng)測(cè)試，所有測(cè)試成績(jī)均位居前2，其中在RetinaNet Server(目標(biāo)檢測(cè))、RetinaNet Offine(目標(biāo)檢測(cè))和RNN-T Server（語(yǔ)音識(shí)別）三個(gè)項(xiàng)目賽道皆拿下第1名的最優(yōu)成績(jī)。

Datacenter RetinaNet Server測(cè)試數(shù)據(jù)

Datacenter RetinaNet Offline測(cè)試數(shù)據(jù)

Datacenter R-NNT Server測(cè)試數(shù)據(jù)

同上一期的MLPerf Inference v2.1相比，PowerEdge XE9680將Dell在各個(gè)項(xiàng)目的最好成績(jī)分別提升了3倍-8.4倍。

戴爾的MLPerf Inference v3.0

與Inference v2.1成績(jī)對(duì)比

MLPerf Inference v3.0 Datacenter

全部Dell機(jī)型測(cè)試數(shù)據(jù)

邊緣計(jì)算賽道表現(xiàn)

邊緣計(jì)算是MLPerf關(guān)注的另一類AI推理的應(yīng)用場(chǎng)景，有別于數(shù)據(jù)中心對(duì)極致算力的最求，邊緣計(jì)算場(chǎng)景對(duì)于計(jì)算設(shè)備部署的環(huán)境要求更加多元化，也更加看重計(jì)算設(shè)備的功耗與成本。因此，在滿足AI計(jì)算吞吐和延遲性能要求的前提下，提供更高性價(jià)比以及性能功耗比的AI計(jì)算解決方案，是戴爾在邊緣AI計(jì)算重點(diǎn)關(guān)注的內(nèi)容。

在此次MLPerf Inference v3.0 Edge closed power測(cè)試中（主要衡量邊緣AI計(jì)算的性能功耗比），戴爾XR系列邊緣計(jì)算優(yōu)化服務(wù)器在全部14項(xiàng)測(cè)試中取得了10個(gè)項(xiàng)目的最佳成績(jī)。其中， PowerEdge XR5610邊緣計(jì)算優(yōu)化服務(wù)器搭配NVIDIA最新發(fā)布的L4 GPU，取得9個(gè)項(xiàng)目第一，PowerEdge XR4000搭配NVIDIA A2 GPU，在BERT 99 Offline項(xiàng)目中取得了最佳成績(jī)。

* Dell XR5610參加的9個(gè)項(xiàng)目分別是ResNet Single Stream、Resnet Multi Stream、RetinaNet Single Stream,、RetinaNet Offline、3D-UNet 99 Single Stream、3D-UNet 99 Offline、3D-UNet 99.9 Offline、RNN-T Single Stream、BERT-99 Single Stream。

PowerEdge XR5610

PowerEdge XR4000

NVIDIA L4是一款單寬GPU加速卡，專為AI視頻和生成式AI用例而設(shè)計(jì)，較上一代GPU實(shí)現(xiàn)了2.7倍的生成式AI性能提升。Dell PowerEdge服務(wù)器在今年一季度開始提供對(duì)L4的選型支持。

以此次AI Inference v3.0 Edge的測(cè)試項(xiàng)目中的圖像分類ResNet-50與自然語(yǔ)言處理BERT-99為例，L4的推理計(jì)算性能分別達(dá)到T4的2.1倍和2.13倍。而同A10相比，L4絕大多數(shù)的規(guī)格指標(biāo)與A10非常接近，功耗卻不到其一半，同時(shí)實(shí)現(xiàn)了大量成本節(jié)約。L4的發(fā)布，將成為未來AI推理計(jì)算具備高競(jìng)爭(zhēng)力的GPU選型。

L4與T4 AI推理性能對(duì)比

當(dāng)下，ChatGPT帶動(dòng)了全球?qū)I大模型以及基于AI大模型的AIGC(人工智能內(nèi)容生成)的關(guān)注與投資熱潮。與之前的AI小模型相比，以ChatGPT為代表的大規(guī)模預(yù)訓(xùn)練模型，參數(shù)規(guī)模增加了100倍-1000倍。訓(xùn)練如此龐大的AI大模型需要更大的AI計(jì)算集群，以及更多的訓(xùn)練數(shù)據(jù)集。

以O(shè)penAI的GPT為例，GPT-3擁有1750億參數(shù)，2020年GPT-3發(fā)布時(shí)訓(xùn)練該模型使用了超過10000張NVIDIA GPU卡。而根據(jù)第三方測(cè)算，如果使用1024張A100/A800 GPU訓(xùn)練GPT-3，仍然需要超過一個(gè)月的時(shí)間。

隨著AIGC時(shí)代的帶來，人工智能產(chǎn)業(yè)化對(duì)于AI算力的需求將被帶到一個(gè)新的高度。在本次MLPerf Inference v3.0測(cè)試中取得優(yōu)異成績(jī)的PowerEdge XE9680戴爾專為復(fù)雜計(jì)算和 AI/ML/DL 以及 HPC 密集型工作負(fù)載而構(gòu)建，可以快速開發(fā)、訓(xùn)練及部署像ChatGPT這樣的大型機(jī)器學(xué)習(xí)模型，助推更多AIGC場(chǎng)景快速落地。

PowerEdge XE9680

此外，AI與邊緣的融合是未來AI計(jì)算的趨勢(shì)之一，越來越多的AI計(jì)算負(fù)載特別是AI推理計(jì)算將會(huì)出現(xiàn)在邊緣側(cè)。邊緣端IT設(shè)備的部署環(huán)境千差萬(wàn)別，有的時(shí)候很難像核心數(shù)據(jù)中心擁有同樣完備的機(jī)房環(huán)境，可能會(huì)面臨更加復(fù)雜、惡劣的設(shè)備運(yùn)行環(huán)境。

戴爾XR系列服務(wù)器對(duì)于高溫、低溫、海拔、防塵、抗震的運(yùn)行環(huán)境有更強(qiáng)的適應(yīng)能力，通過了電信和海事行業(yè)標(biāo)準(zhǔn)。機(jī)箱深度通常只有通用機(jī)架服務(wù)器的一半左右，機(jī)器外形更加精巧緊湊。

此次參加AI Inference v3.0 Edge項(xiàng)目測(cè)試的XR系列服務(wù)器，是戴爾科技專為面向邊緣計(jì)算場(chǎng)景設(shè)計(jì)與優(yōu)化的服務(wù)器，此前已發(fā)布了XE2420、XR12、XR11、XR4000等產(chǎn)品，今年陸續(xù)會(huì)有更多新品發(fā)布，請(qǐng)大家拭目以待！