人工智能驅(qū)動的機器人和其他自主機器的開發(fā)和部署速度繼續(xù)快速增長。下一代應(yīng)用程序需要大幅提高 AI 計算性能，以處理實時并發(fā)運行的多模態(tài) AI 應(yīng)用程序。

在零售空間、食品配送、醫(yī)院、倉庫、工廠車間和其他商業(yè)應(yīng)用中，人機交互正在增加。這些自主機器人必須同時執(zhí)行 3D 感知、自然語言理解、路徑規(guī)劃、避障、姿勢估計以及更多需要顯著計算性能和針對每個應(yīng)用程序的高度準(zhǔn)確訓(xùn)練的神經(jīng)模型的動作。

NVIDIA Jetson AGX Orin 模塊是 NVIDIA Jetson 系列中性能最高的最新成員。這些模塊提供卓越的性能和一流的能效。它們運行全面的 NVIDIA AI 軟件堆棧，為下一代要求嚴(yán)苛的邊緣 AI 應(yīng)用程序提供動力。

Jetson AGX Orin 和 Jetson Orin NX 系列

在GTC 2022 春季大會上，我們宣布將在 2022 年第四季度推出四個 Jetson Orin 模塊。憑借高達 275 tera 每秒操作 （TOPS） 的性能，Jetson Orin 模塊可以在邊緣運行服務(wù)器級 AI 模型，并提供端到端的服務(wù)。 -end 應(yīng)用程序管道加速。與 Jetson Xavier 模塊相比，Jetson Orin 為現(xiàn)代 AI 應(yīng)用程序帶來了更高的性能、能效和推理能力。

圖 2. Jetson Xavier 和 Jetson Orin 模塊 AI TOPS 性能比較

Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模塊。

Jetson AGX Orin 64GB 提供高達 275 TOPS 的功率，可配置在 15W 和 60W 之間。

Jetson AGX Orin 32GB 可提供多達 200 個 TOP，功率可配置在 15W 和 40W 之間。

這些模塊具有相同的緊湊外形，并且與 Jetson AGX Xavier 系列模塊的引腳兼容，為您提供 8 倍的性能升級，或以相同的價格提升高達 6 倍的性能。

邊緣和嵌入式系統(tǒng)繼續(xù)受到越來越多的傳感器數(shù)量、性能和帶寬的驅(qū)動。Jetson AGX Orin 系列不僅帶來了用于處理這些傳感器的額外計算，還帶來了額外的 I/O：

多達 22 個 PCIe Gen4 通道

四個 10Gb 以太網(wǎng)

高速 CSI 車道

64GB eMMC 5.1 使存儲空間翻倍

1.5X 內(nèi)存帶寬

有關(guān)詳細信息，請參閱Jetson Orin產(chǎn)品頁面和Jetson AGX Orin 系列數(shù)據(jù)表。

圖 3. Jetson AGX Orin 系列模塊

USB 3.2、UFS、MGBE 和 PCIe 共享 UPHY 通道。有關(guān)支持的 UPHY 配置，請參閱設(shè)計指南。

NVIDIA Orin NX 系列包括具有高達 100 TOPS 的 AI 性能的 Jetson Orin NX 16GB 和高達 70 TOPS 的 Jetson Orin NX 8GB。在這個系列中，我們遵循了與 Jetson Xavier NX 類似的設(shè)計理念。我們帶來了 NVIDIA Orin 架構(gòu)，并將其帶到了最小的 Jetson 外形尺寸，260 針 SODIMM，功耗更低。

您可以將這種更高級別的性能帶入您的下一代小型產(chǎn)品，如無人機和手持設(shè)備。Jetson Orin NX 16GB 的功率可配置在 10W 和 25W 之間，Jetson Orin NX 8GB 的功率可配置在 10W 和 20W 之間。

Orin NX 系列的外形尺寸與 Jetson Xavier NX 系列兼容，可提供高達 5 倍的性能，或以相同的價格提供高達 3 倍的性能。Orin NX 系列還帶來了額外的高速 I/O 功能，多達 7 個 PCIe 通道和三個 10Gbps USB 3.2 接口。對于存儲，您可以利用額外的 PCIe 通道連接到外部 NVMe。有關(guān)詳細信息，請參閱Jetson Orin產(chǎn)品頁面。

圖 4. Jetson Orin NX 系列模塊

Jetson AGX Xavier 是圍繞 NVIDIA Xavier SoC 設(shè)計的，這是我們?yōu)樽灾鳈C器從頭開始開發(fā)的第一個架構(gòu)。NVIDIA Orin 架構(gòu)將此類產(chǎn)品提升到一個新的水平。它繼續(xù)展示多種不同的片上處理器，但帶來了更強大的功能、更高的性能和更高的能效。

Jetson Orin 模塊包含以下內(nèi)容：

具有多達 2048 個 CUDA 內(nèi)核和多達 64 個張量內(nèi)核的 NVIDIA Ampere 架構(gòu) GPU

多達 12 個 Arm A78AE CPU 內(nèi)核

兩個下一代深度學(xué)習(xí)加速器 （DLA）

計算機視覺加速器

用于卸載 GPU 和 CPU 的各種其他處理器：

視頻編碼器

視頻解碼器

視頻圖像合成器

圖像信號處理器

傳感器處理引擎

音頻處理引擎

與其他 Jetson 模塊一樣，Jetson Orin 是使用模塊上系統(tǒng) （SOM） 設(shè)計構(gòu)建的。所有處理、內(nèi)存和電源軌都包含在模塊上。所有高速 I/O 均可通過 699 針連接器（Jetson AGX Orin 系列）或 260 針 SODIMM 連接器（Jetson Orin NX 系列）獲得。這種 SOM 設(shè)計使您可以輕松地將模塊集成到您的系統(tǒng)設(shè)計中。

Jetson AGX Orin 開發(fā)者套件

在GTC 2022上，NVIDIA 還宣布推出Jetson AGX Orin 開發(fā)者套件。開發(fā)人員工具包包含您快速啟動和運行所需的一切。它包括具有最高性能的 Jetson AGX Orin 模塊，并運行世界上最先進的深度學(xué)習(xí)軟件堆棧。該套件提供了在現(xiàn)在和未來創(chuàng)建復(fù)雜 AI 解決方案的靈活性。

緊湊的尺寸、高速接口和大量連接器使這款開發(fā)工具包非常適合為制造、物流、零售、服務(wù)、農(nóng)業(yè)、智慧城市、醫(yī)療保健、生命科學(xué)等領(lǐng)域的先進人工智能機器人和邊緣應(yīng)用進行原型設(shè)計。

圖 5. Jetson AGX Orin 開發(fā)者套件

Jetson AGX Orin 開發(fā)者套件特點：

NVIDIA Ampere 架構(gòu) GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU，以及下一代深度學(xué)習(xí)和視覺加速器

高速 I/O、204.8 GB/s 的內(nèi)存帶寬和 32 GB 的 DRAM，能夠支持多個并發(fā) AI 應(yīng)用程序管道

強大的 NVIDIA AI 軟件堆棧，支持 SDK 和軟件平臺，包括：

英偉達噴氣背包

英偉達里瓦

英偉達 DeepStream

英偉達艾薩克

英偉達陶

Jetson AGX Orin 開發(fā)套件運行最新的 NVIDIA JetPack 5.0 軟件。NVIDIA JetPack 5.0 支持使用 Jetson AGX Orin 開發(fā)工具包模擬 Jetson Orin NX 和 Jetson AGX Orin 系列模塊的性能和時鐘頻率。您可以立即開始開發(fā)這些模塊中的任何一個。

Jetson AGX Orin 開發(fā)人員套件可通過全球 NVIDIA 授權(quán)經(jīng)銷商購買。按照入門指南立即開始。

開發(fā)者工具包AGX 奧林 64GBAGX 奧林 32GB

人工智能性能275 個 INT8 稀疏 TOP200 個 INT8 稀疏 TOP

圖形處理器

具有 64 個張量核心 的 2048 核 NVIDIA 安培架構(gòu) GPU具有 56 個張量核心的 1792 核 NVIDIA Ampere 架構(gòu) GPU

中央處理器12 核 Arm Cortex-A78AE v8.2

64 位 CPU 3MB L2 + 6MB L38 核 Arm Cortex-A78AE v8.2

64 位 CPU 2MB L2 + 4MB L3

力量15W-60W15W-40W

記憶32 GB64 GB32GB

建議零售價1，999 美元1，599 美元899 美元

表 2. Jetson AGX Orin 系列模塊和 Developer Kit 的總結(jié)比較

一流的性能

Jetson Orin 為您的下一代應(yīng)用程序提供了巨大的飛躍。使用 Jetson AGX Orin 開發(fā)人員套件，我們?yōu)槲覀兊母叨葴?zhǔn)確、生產(chǎn)就緒、預(yù)訓(xùn)練的計算機視覺和會話 AI 模型獲取了測量性能的幾何平均值。測試包括以下基準(zhǔn)：

用于人員檢測的NVIDIA PeopleNet

NVIDIA ActionRecognitionNet 2D 和 3D 模型

用于車牌識別的NVIDIA LPRNet

NVIDIA DashcamNet ， BodyPoseNet用于多人人體姿態(tài)估計

Citrinet-1024用于語音識別

BERT-base用于自然語言處理

用于文本到語音的FastPitchHifiGanE2E

借助 NVIDIA JetPack 5.0 開發(fā)者預(yù)覽版，Jetson AGX Orin 與 Jetson AGX Xavier 相比，性能提升了 3.3 倍。隨著未來軟件的改進，我們預(yù)計這將接近 5 倍的性能提升。自從 NVIDIA JetPack 4.1.1 開發(fā)者預(yù)覽版（第一個支持它的軟件版本）以來，Jetson AGX Xavier 的性能提高了 1.5 倍。

圖 6. 預(yù)訓(xùn)練模型性能基準(zhǔn)圖表

基準(zhǔn)測試已在我們的 Jetson AGX Orin 開發(fā)工具包上運行。PeopleNet 和 DashcamNet 提供了可以在 GPU 和兩個 DLA 上同時運行的密集模型的示例。DLA 可用于從 GPU 卸載一些 AI 應(yīng)用程序，這種并發(fā)能力使它們能夠并行運行。

PeopleNet、LPRNet、DashcamNet 和 BodyPoseNet 提供了在 Jetson 上運行的密集 INT8 基準(zhǔn)測試的示例。ActionRecognitionNet 2D 和 3D 以及對話式 AI 基準(zhǔn)提供了密集 FP16 性能的示例。所有這些模型都可以在NVIDIA NGC上找到。

此外，Jetson Orin 繼續(xù)提高邊緣 AI 的標(biāo)準(zhǔn)，在最新的 MLPerf 行業(yè)推理基準(zhǔn)測試中進一步提升了 NVIDIA 的整體排名。與之前在 Jetson AGX Xavier 上的結(jié)果相比，Jetson AGX Orin 在這些 MLPerf 基準(zhǔn)測試中的性能提升高達 5 倍，同時平均能效提高 2 倍。

圖 7. Jetson AGX Orin 性能

使用 Jetson 軟件加快上市時間

Jetson Orin 一流的性能和能效得到了同樣強大的 NVIDIA AI 軟件的支持，該軟件部署在 GPU 加速的數(shù)據(jù)中心、超大規(guī)模服務(wù)器和強大的 AI 工作站中。

圖 8. Jetson 軟件概覽

NVIDIA JetPack是 Jetson 平臺的基礎(chǔ) SDK。NVIDIA JetPack 為硬件加速的邊緣 AI 開發(fā)提供了完整的開發(fā)環(huán)境。Jetson Orin 受 NVIDIA JetPack 5.0 支持，其中包括：

LTS 內(nèi)核 5.10

基于 Ubuntu 20.04 的根文件系統(tǒng)

基于 UEFI 的引導(dǎo)加載程序

具有 CUDA 11.4、TensorRT 8.4 和 cuDNN 8.3 的最新計算堆棧

NVIDIA JetPack 5.0 還支持 Jetson Xavier 模塊。

為了您在 Jetson 平臺上快速開發(fā)完全加速的應(yīng)用程序，NVIDIA 提供了適用于各種用例的應(yīng)用程序框架：

借助DeepStream，快速開發(fā)和部署視覺 AI 應(yīng)用程序和服務(wù)。DeepStream 提供了超越推理的硬件加速，因為它提供了用于端到端 AI 管道加速的硬件加速插件。

NVIDIA Isaac提供硬件加速的 ROS 軟件包，使 ROS 開發(fā)人員能夠更輕松地構(gòu)建高性能機器人解決方案。

由 Omniverse 提供支持的NVIDIA Isaac Sim是一種工具，它支持照片般逼真、物理上精確的虛擬環(huán)境，以開發(fā)、測試和管理基于 AI 的機器人。

NVIDIA Riva為自動語音識別 （ASR） 和文本轉(zhuǎn)語音 （TTS） 提供最先進的預(yù)訓(xùn)練模型，這些模型可以輕松定制。這些模型使您能夠快速開發(fā) GPU 加速的對話式 AI 應(yīng)用程序。

為了加快開發(fā)可用于生產(chǎn)且高度準(zhǔn)確的 AI 模型的時間，NVIDIA 提供了各種工具來生成訓(xùn)練數(shù)據(jù)、訓(xùn)練和優(yōu)化模型，并快速創(chuàng)建可部署的 AI 模型。

用于合成數(shù)據(jù)生成的NVIDIA Omniverse Replicator有助于創(chuàng)建高質(zhì)量數(shù)據(jù)集以促進模型訓(xùn)練。使用 Omniverse Replicator，您可以創(chuàng)建大型且多樣化的合成數(shù)據(jù)集，這不僅很難，而且有時在現(xiàn)實世界中是不可能創(chuàng)建的。使用合成數(shù)據(jù)和真實數(shù)據(jù)來訓(xùn)練模型，可以顯著提高模型的準(zhǔn)確性。

NGC 的NVIDIA 預(yù)訓(xùn)練模型為您提供適用于各種用例的高度準(zhǔn)確和優(yōu)化的模型和模型架構(gòu)。預(yù)訓(xùn)練模型可用于生產(chǎn)。您可以通過使用您自己的真實或合成數(shù)據(jù)進行訓(xùn)練來進一步自定義這些模型，使用NVIDIA TAO（訓(xùn)練-適應(yīng)-優(yōu)化）工作流程快速構(gòu)建準(zhǔn)確且可立即部署的模型。

關(guān)于作者

Leela Karumbunathan 是 NVIDIA 的硬件產(chǎn)品經(jīng)理，專注于 Jetson 和自主機器。她曾在半導(dǎo)體行業(yè)擔(dān)任過工程和產(chǎn)品相關(guān)職位。她在約翰霍普金斯大學(xué)獲得電氣工程學(xué)士學(xué)位。

Suhas Sheshadri 是 NVIDIA 的產(chǎn)品經(jīng)理，專注于 Jetson 軟件。他之前曾在 NVIDIA 的自動駕駛團隊工作，為 NVIDIA Drive 平臺優(yōu)化系統(tǒng)軟件。在空閑時間，Suhas 喜歡閱讀有關(guān)量子物理學(xué)和博弈論的書籍。

審核編輯：郭婷