基于 NVIDIA Jetson 平臺進行開發(fā)的 1 萬多家公司現(xiàn)在可以利用全新的生成式 AI、API 和微服務來加快推進行業(yè)數(shù)字化。

強大的生成式 AI 模型、云原生應用程序接口（API）和微服務已應用于邊緣。

生成式 AI 正在將 Transformer 模型和大語言模型的強大力量帶到各行各業(yè)，應用范圍現(xiàn)已擴展到邊緣、機器人和物流系統(tǒng)相關領域，如缺陷檢測、實時資產(chǎn)追蹤、自主規(guī)劃和導航以及人機交互等。

NVIDIA 近日宣布，對適用于邊緣 AI 和機器人的NVIDIA Jetson平臺上的兩個框架進行大規(guī)模擴展。NVIDIA Isaac ROS機器人框架已全面上市，NVIDIA Metropolis在 Jetson 平臺上的擴展也即將推出。

為加速邊緣 AI 應用的開發(fā)和部署，NVIDIA 還創(chuàng)建了一個 Jetson 生成式 AI 實驗室，以供開發(fā)者利用開源生成式 AI 模型進行開發(fā)。

目前，已有超過 120 萬名開發(fā)者和 1 萬多家客戶選擇了 NVIDIA AI 和 Jetson 平臺，包括亞馬遜云科技（AWS）、思科、約翰迪爾、美敦力、百事、西門子等。

隨著 AI 領域的快速發(fā)展，其應用場景日益變得復雜，開發(fā)者在構(gòu)建邊緣 AI 應用時也面臨著開發(fā)周期延長的挑戰(zhàn)。為了實時滿足客戶不斷變化的環(huán)境、生產(chǎn)線和自動化需求，需要反復對機器人和 AI 系統(tǒng)進行編程，這不僅非常耗時，還要求開發(fā)者具備足夠的專業(yè)技能。

生成式 AI 所具有的“零樣本學習”能力（即模型能夠識別訓練中從未見過的特定事物）和自然語言界面能夠簡化邊緣 AI 的開發(fā)、部署與管理。

1

推動 AI 領域的變革

生成式 AI 通過理解人類的語言提示，對模型進行更改，從而提高了易用性。這些 AI 模型在檢測、分割、追蹤、搜索甚至重新編程方面都更加靈活，并借此超越了基于卷積神經(jīng)網(wǎng)絡（CNN）的傳統(tǒng)模型。

據(jù) ABI Research 預測，到 2033 年，生成式 AI 將為全球制造業(yè)務增收 105 億美元。

NVIDIA 嵌入式和邊緣計算副總裁 Deepu Talla 表示：“生成式 AI 具有泛用性、易用性和精確性，這將顯著加快邊緣 AI 的部署。我們在 Jetson 平臺上對 Metropolis 和 Isaac 框架進行了大規(guī)模的軟件擴展，并結(jié)合 Transformer 模型與生成式 AI 的強大功能來滿足這一需求?！?/p>

2

利用邊緣生成式 AI 進行開發(fā)

NVIDIA Jetson 生成式 AI 實驗室為 Jetson 開發(fā)者提供經(jīng)過優(yōu)化的工具和教程，用以部署開源大語言模型（LLM）、以交互方式生成驚艷圖像的擴散模型、視覺語言模型（VLM）以及視覺 Transformer（ViT）。其中，ViT 結(jié)合了視覺 AI 和自然語言處理，可提供對場景的全面理解。

開發(fā)者還可以使用NVIDIA TAO Toolkit，為邊緣應用創(chuàng)建高效而精確的 AI 模型。TAO 提供了一個用于微調(diào)和優(yōu)化 ViT、視覺基礎模型等視覺 AI 模型的低代碼接口。此外，還可以定制并微調(diào) NVIDIA NV-DINOv2 等基礎模型或 OpenCLIP 等公共模型，用很少的數(shù)據(jù)創(chuàng)建高度精確的視覺 AI 模型?，F(xiàn)在，TAO 還推出了一個基于 Transformer 的新型缺陷檢測模型——VisualChangeNet。

3

充分運用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis能夠幫助企業(yè)更輕松、更經(jīng)濟高效地使用優(yōu)質(zhì)的視覺 AI 解決方案，以改善至關重要的運營效率和安全問題。該平臺提供了一系列功能強大的應用編程接口和微服務，供開發(fā)人員快速開發(fā)基于視覺的復雜應用。

包括寶馬集團、百事、克羅格、泰森食品、印孚瑟斯和西門子在內(nèi)的 1,000 多家公司正在使用 NVIDIA Metropolis 開發(fā)者工具，通過視覺 AI 來解決物聯(lián)網(wǎng)（IoT）、傳感器處理和運營方面的難題。NVIDIA Metropolis 開發(fā)者工具的采用速度日益加快，目前已被希望構(gòu)建視覺 AI 應用的用戶下載了 100 多萬次。

為了幫助開發(fā)者快速構(gòu)建和部署可擴展的視覺 AI 應用程序，NVIDIA Jetson 平臺上的 Metropolis API 和微服務擴展集將在年底前推出。

數(shù)百家客戶使用NVIDIA Isaac平臺，在農(nóng)業(yè)、倉儲自動化、最后一公里配送、服務機器人等多個領域開發(fā)了高性能機器人解決方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 軟件的全新版本，對感知和模擬功能進行了重大改進?；诔Ｓ玫拈_源機器人操作系統(tǒng)（ROS）的 Isaac ROS，為自動化帶來了感知能力，讓移動的物體有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所擁有的強大功能（包括視覺里程測量、深度知覺、3D 場景重建、定位和規(guī)劃等），機器人開發(fā)者就擁有了為不同應用快速定制機器人解決方案所需要各種的工具。

隨著 Isaac ROS 2.0 新版本的發(fā)布，Isaac ROS 已達到生產(chǎn)就緒狀態(tài)，能夠幫助開發(fā)者使用 Jetson 平臺創(chuàng)建并推出高性能機器人解決方案。

開源機器人基金會首席技術(shù)官 Geoff Biggs 表示：“ROS 在不斷發(fā)展進化，并為整個機器人社區(qū)提供開源軟件。NVIDIA 此次版本中全新預構(gòu)建的 ROS 2 軟件包將助力廣大 NVIDIA Jetson 開發(fā)者社區(qū)隨時使用 ROS 2，從而加速這一發(fā)展?！?/p>

4

提供新的 AI 工作流參考

為開發(fā)生產(chǎn)級 AI 解決方案，需要開發(fā)和訓練針對特定用例定制的 AI 模型，在平臺上實現(xiàn)強大的安全功能，編排應用，管理機隊，建立邊緣到云的無縫通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精選 AI 工作流參考，幫助開發(fā)者快速采用整個工作流或有選擇性地集成獨立的部分，從而大幅減少開發(fā)時間和成本。三個 AI 工作流包括：網(wǎng)絡視頻錄制、自動光學檢測和自主移動機器人。

Tirias Research 首席分析師 Jim McGregor 表示：“NVIDIA Jetson 憑借其廣泛而多樣化的用戶群與合作伙伴生態(tài)，助推了邊緣機器人和 AI 革命。隨著應用需求的日益復雜化，我們需要從根本上轉(zhuǎn)向能夠簡化和加速邊緣部署創(chuàng)建的平臺。NVIDIA 的這一重要軟件擴展為開發(fā)者帶來了全新的多傳感器模型和生成式 AI 功能。”

5

更多精彩即將呈現(xiàn)

NVIDIA 推出了一系列系統(tǒng)服務，為每個開發(fā)者提供在構(gòu)建邊緣 AI 解決方案時必不可少的基本功能，簡化與工作流的集成，使他們不必再費時費力地從頭開始構(gòu)建這些服務。

全新NVIDIA JetPack 6將于今年年底推出，AI 開發(fā)者將無需全面升級 Jetson Linux 就能保持在計算領域的前沿，從而大幅加快開發(fā)進度，不再依賴 Jetson Linux。JetPack 6 還將通過與 Linux 發(fā)行版合作伙伴的合作，擴大基于 Linux 的發(fā)行版的選擇范圍，包括 Canonical 的優(yōu)化及經(jīng)過驗證的 Ubuntu、Wind River Linux、并行實時 Redhawk Linux 以及各種基于 Yocto 的發(fā)行版。

6

合作伙伴生態(tài)系統(tǒng)受益于平臺擴展

Jetson 合作伙伴生態(tài)系統(tǒng)提供了從硬件、AI 軟件和應用設計服務到傳感器、連接和開發(fā)者工具的廣泛支持。這些創(chuàng)新的合作伙伴作為 NVIDIA 合作伙伴網(wǎng)絡（NPN）中的一部分，是為市場上在售的眾多產(chǎn)品提供構(gòu)件和子系統(tǒng)的中堅力量。

新版本通過采用更多具有更強性能與功能的 AI 技術(shù)，將助力 Jetson 合作伙伴加快產(chǎn)品上市并擴大客戶群。

獨立軟件供應商合作伙伴也將能夠為 Jetson 提供更多產(chǎn)品。

訪問鏈接，注冊獲得 NVIDIA Metropolis 早期訪問權(quán)限：（復制鏈接至瀏覽器打開）

https://developer.nvidia.com/login

7

NVIDIA Jetson：邊緣計算的人工智能平臺

在邊緣計算領域，麗臺科技提供一系列基于 NVIDIA Jetson 平臺的嵌入式系統(tǒng)和相關產(chǎn)品，包括 Jetson AGX Orin、Jetson Orin NX、Jetson Orin Nano、Jetson AGX Xavier、Jetson Xavier NX、Jetson TX2、Jetson Nano 和自主研發(fā)的載板、計算機套件，以及 Jetson 軟件用以加速 AI 應用。