物聯(lián)網(wǎng)傳感器的日益普及推動著各個行業(yè)的巨大變革，包括用來“看”的攝像頭、用來“聽”的麥克風(fēng)，還有其他幫助企業(yè)感知、了解現(xiàn)實世界中所發(fā)生事情的智能設(shè)備。

在邊緣生成的數(shù)據(jù)量呈指數(shù)級增長，而實時處理海量數(shù)據(jù)的唯一方法，就是將服務(wù)器放置在行動點附近，并利用GPU的強大算力。

未來的企業(yè)數(shù)據(jù)中心不會在一個地點放置一萬臺服務(wù)器，而是會在一萬個不同地點放置一臺或多臺服務(wù)器。這些服務(wù)器將被放置于辦公樓、工廠、倉庫、手機信號塔、學(xué)校、商店和銀行中，用于探測交通堵塞和森林大火、安全引導(dǎo)交通并預(yù)防犯罪。

企業(yè)可通過部署一個分布式服務(wù)器網(wǎng)絡(luò)，從數(shù)百個傳感器中流式傳輸數(shù)據(jù)，在邊緣使用數(shù)據(jù)中心網(wǎng)絡(luò)，并通過AI立即采取行動。此外，在邊緣處理數(shù)據(jù)可以緩解對于隱私的擔(dān)憂，并解決數(shù)據(jù)主權(quán)問題。

邊緣服務(wù)器缺乏企業(yè)IT認(rèn)為理所當(dāng)然的物理安全基礎(chǔ)架構(gòu)，而且公司沒有讓空閑IT人員去管理這些遠程系統(tǒng)的預(yù)算。因此，邊緣服務(wù)器的設(shè)計必須具備自我安全功能，并且方便從遠處進行更新、管理和部署。

此外，AI系統(tǒng)需要能夠永久保持運行，不能出現(xiàn)停機。

我們構(gòu)建的NVIDIA EGX邊緣AI平臺用來確保全球范圍內(nèi)的安全性。通過簡化部署和管理，NVIDIA EGX幫助始終在線的AI應(yīng)用程序?qū)崿F(xiàn)了未來關(guān)鍵基礎(chǔ)架構(gòu)的自動化。該平臺是Kubernetes和容器原生軟件平臺，它能將GPU加速AI帶入到從雙路x86服務(wù)器到基于ARM的NVIDIA Jetson SoCs等一切應(yīng)用。

目前，已有20多家服務(wù)器供應(yīng)商正在構(gòu)建基于EGX的邊緣和微邊緣服務(wù)器，包括ADLINK、研華、Atos、AVerMedia、思科、Connect Tech、戴爾科技、Diamond Systems、富士通、Gigabyte、惠普、浪潮、聯(lián)想、廣達和超微。除此之外，NVIDIA邊緣生態(tài)系統(tǒng)還有數(shù)十家混合云和網(wǎng)絡(luò)安全合作伙伴，包括Canonical、Check Point、Excelero、Guardicore、IBM、Nuage Networks、Nutanix、Palo Alto Networks、Rancher、Red Hat、VMware、Weka和Wind River。

NVIDIA EGX上還有數(shù)百家AI應(yīng)用程序和集成解決方案供應(yīng)商，它們?yōu)槿蚱髽I(yè)提供行業(yè)特定產(chǎn)品。

運行AI的企業(yè)不僅需要保護客戶數(shù)據(jù)，還需要保護將數(shù)據(jù)轉(zhuǎn)化為行動的AI模型。我們通過將安全、高性能網(wǎng)絡(luò)的行業(yè)標(biāo)準(zhǔn)NVIDIA Mellanox SmartNIC與我們的AI處理器，集成到組合式聚合加速器NVIDIA EGX A100中，為邊緣AI引入基礎(chǔ)創(chuàng)新技術(shù)。

NVIDIA EGX A100

更高的安全系數(shù)和性能

從Hardware Root-of-Trust通過安全認(rèn)證啟動GPU和SmartNIC，可保證對設(shè)備固件和生命周期的安全管理。NVIDIA Ampere架構(gòu)中的第三代Tensor核心技術(shù)帶來了業(yè)內(nèi)領(lǐng)先的AI性能。專為EGX A100開發(fā)的保密AI安全區(qū)使用全新GPU安全引擎加載加密AI模型，并對所有AI輸出進行加密，進一步防止寶貴的IP遭到盜用。

隨著加密高分辨率傳感器在邊緣的日益普及，SmartNIC開始支持線速的線內(nèi)密碼編譯加速。這使得加密數(shù)據(jù)推送被解密后，直接發(fā)送至GPU內(nèi)存，從而繞過CPU和系統(tǒng)內(nèi)存。

邊緣還需要更高級別的安全性，以防范來自網(wǎng)絡(luò)上其他設(shè)備的威脅。通過在硬件中動態(tài)配置防火墻卸載，SmartNIC可以有效地為混合云、安全服務(wù)網(wǎng)格通信構(gòu)建起第一道防線。

NVIDIA Mellanox專為電信公司提供精準(zhǔn)時鐘調(diào)度5G無線報文的傳輸技術(shù)（5T for 5G），使商用現(xiàn)成解決方案能夠通過我們的NVIDIA Aerial SDK，滿足5G vRAN最具時間敏感性的用例，引領(lǐng)CloudRAN在電信行業(yè)的新一輪應(yīng)用浪潮。

通過將NVIDIA Ampere GPU和Mellanox ConnectX-6 D部署在一個聚合產(chǎn)品上，EGX A100可為安全和虛擬網(wǎng)絡(luò)功能提供低延遲、高吞吐量的數(shù)據(jù)包處理。

簡化大規(guī)模部署、管理和安全

通過NVIDIA GPU優(yōu)化容器目錄NGC，我們提供了行業(yè)應(yīng)用框架和特定領(lǐng)域的AI工具包，簡化AI的入門并根據(jù)新邊緣環(huán)境調(diào)節(jié)AI應(yīng)用程序。它們可以一起使用或單獨使用，為各種邊緣用例開辟新的可能性。

借助NGC專用注冊表，可以在發(fā)布前對應(yīng)用程序進行簽名，從而確保它們在傳輸過程中未被篡改。然后，可以在邊緣運行這些應(yīng)用程序之前，對其進行驗證。NGC專用注冊表還支持模型版本控制和加密，因此可以快速、安全地進行輕量級模型更新。

未來的邊緣計算需要在網(wǎng)絡(luò)邊緣運行安全、可擴展、有彈性、易于管理的AI驅(qū)動系統(tǒng)群。我們正在將NVIDIA GPU、NVIDIA Mellanox SmartNIC的復(fù)合加速與NVIDIA EGX的加速度結(jié)合起來，構(gòu)建組成全球各行業(yè)AI神經(jīng)系統(tǒng)的平臺和生態(tài)系統(tǒng)。

想要了解關(guān)于NVIDIA EGX的更多信息，請點擊“閱讀原文”。另外，您也可以通過掃描文末海報二維碼觀看GTC 2020主題演講，了解更多相關(guān)信息。