NVIDIA JetPack SDK 支持 NVIDIA Jetson 模塊，為構(gòu)建端到端加速 AI 應(yīng)用提供全面的解決方案。JetPack 6 通過微服務(wù)和一系列新功能，擴展了 Jetson 平臺的靈活性和可擴展性，是 2024 年截至目前下載量最高的 JetPack 版本。

隨著 JetPack 6.0 生產(chǎn)版本的全面發(fā)布，開發(fā)者可以放心地將這些新功能加入到最先進的嵌入式 AI 和機器人應(yīng)用中。本文將重點介紹其關(guān)鍵功能和全新的 AI 工作流。

JetPack 6 的關(guān)鍵功能

JetPack 6 支持在 Jetson 上擴展一系列基于 Linux 的發(fā)行版，例如 Canonical 的 Ubuntu 服務(wù)器、紅帽的 RHEL 9.4、SUSE、風河 Linux、Redhawk Real Time OS 和各種基于 Yocto 的發(fā)行版。這些基于 Linux 的發(fā)行產(chǎn)品在 Jetson 上提供商業(yè)化的企業(yè)級產(chǎn)品和解決方案，使用戶可以放心地部署和管理基于 Jetson 的產(chǎn)品。

由于能夠運行各種 Linux 內(nèi)核，Jetson 用戶可以使用他們選擇的內(nèi)核版本，而且無須花費資源將驅(qū)動程序反向移植到特定的 Jetson Linux 內(nèi)核。Jetson 用戶可以獨立于 JetPack 路線圖維護自己的內(nèi)核。

借助 JetPack 6，您可以在不升級 Jetson Linux BSP 的情況下，自由升級計算堆棧，這項功能在社群中特別受歡迎。

此外，JetPack 6 還為 Jetson Linux BSP 和 Jetson AI Stack 添加了 Jetson 平臺服務(wù)。Jetson 平臺服務(wù)是一套預(yù)構(gòu)建的定制化服務(wù)，旨在加速 Jetson 設(shè)備上的 AI 應(yīng)用開發(fā)。這些模塊化服務(wù)集合支持由 API 驅(qū)動和分解的真正云原生應(yīng)用。

Jetson 平臺服務(wù)提供

模塊化、分解式、可替換架構(gòu)

現(xiàn)作為 JetPack 6 一部分提供的 Jetson 平臺服務(wù)提供了一個模塊化架構(gòu)，其中包含大量可定制的軟件和可重復(fù)使用的微服務(wù)，用于構(gòu)建視覺 AI 應(yīng)用。它提供具有基礎(chǔ)設(shè)施功能的基礎(chǔ)服務(wù)、可生成洞察的 AI 服務(wù)以及保障邊緣到云連接安全的參考云。

這些多樣化的微服務(wù)包括視頻存儲套件（VST）、基于 NVIDIA DeepStream 的 AI 感知服務(wù)、生成式 AI 推理服務(wù)、分析服務(wù)等。每個服務(wù)都提供了用于配置和訪問微服務(wù)功能的 API。

這些 API 通過物聯(lián)網(wǎng)網(wǎng)關(guān)基礎(chǔ)服務(wù)呈現(xiàn)在系統(tǒng)外部。該服務(wù)基于云原生架構(gòu)使用的標準模式，使用單一網(wǎng)關(guān)在系統(tǒng)內(nèi)公開 API?？蛻舳藨?yīng)用通過該 API 網(wǎng)關(guān)服務(wù)，調(diào)用相應(yīng)的 API，從而實現(xiàn)微服務(wù)功能。

圖 1. NVIDIA JetPack 6.0 堆棧

Jetson 平臺服務(wù)還提供了一個物聯(lián)網(wǎng)云模塊，使客戶端在遠程訪問這些 API 時，能夠通過身份驗證和授權(quán)。該物聯(lián)網(wǎng)云模塊與云無關(guān)，可在任何公有云或私有云上運行。

圖 2. NVIDIA Jetson 上的云原生工作流

AI 服務(wù)

一系列 AI 服務(wù)集合利用 AI 模型、多目標跟蹤與流式分析技術(shù)的組合，提供優(yōu)化的視頻處理和 AI 推理功能。如參考工作流所示，這些具有標準化 API 的容器化軟件可以集成到終端應(yīng)用中。

適用于 VLM 的 AI 推理服務(wù)

視覺語言模型（VLM）通過將視覺模式與 LLM 相結(jié)合，實現(xiàn)了對圖像和視頻的語義理解。適用于 VLM 的 AI 推理服務(wù)允許通過標準化 API 訪問 VLM 功能。該服務(wù)可使用兩種受支持的模型（VILA 或 LLaVA）中的一種進行實例化，并提供兩種主要功能：

設(shè)置在流媒體視頻中通過自然語言提示創(chuàng)建警報的條件

使用自然語言查詢（提示）視頻并獲得回復(fù)

VLM 通常需要大量 GPU 和內(nèi)存，其大小視參數(shù)數(shù)量而定。VILA 有 13B、7B 和 2.7B 三種規(guī)模。隨著參數(shù)數(shù)量的增加，模型在把握圖像語義方面的準確性會隨之提高，但代價是 GPU 使用率和內(nèi)存利用率也會“水漲船高”。用戶需要根據(jù)自己選擇的 Jetson 平臺來選擇正確的模型，并根據(jù)自己的工作負載來選擇可用的系統(tǒng)資源。

該服務(wù)可以集成到生成式 AI 工作流中，詳見下一部分。

AI 分析服務(wù)

視頻分析應(yīng)用通常需要分析人或物體在攝像頭視野內(nèi)的移動。AI 分析服務(wù)將推理服務(wù)（如檢測或跟蹤）生成的元數(shù)據(jù)作為運行依據(jù)。這項服務(wù)采用流媒體元數(shù)據(jù)，并從空間和時間上洞察物體的移動。該服務(wù)的核心功能包括：

線條交叉（絆線）：在攝像頭視野中定義虛擬多段線，并在一段時間內(nèi)對越線物體進行計數(shù)。

感興趣區(qū)域：定義封閉的多邊形，并對區(qū)域內(nèi)的物體進行時間序列計數(shù)。例如，這項功能可用于檢測在收銀臺排隊等候的人數(shù)是否達到一定限值。

行為分析：幫助檢索物體在攝像頭視野中移動的軌跡。這項功能可通過創(chuàng)建熱圖可視化（圖 3）來了解物體移動的趨勢。

圖 3. 熱圖可視化可通過 AI 分析服務(wù)獲得

這里重點介紹的所有分析功能都可以使用 API 生成和提取。有關(guān) AI 分析服務(wù)的更多信息，請參閱 Jetson 平臺服務(wù)發(fā)布文檔。

基礎(chǔ)服務(wù)

基礎(chǔ)服務(wù)為生產(chǎn)級 AI 系統(tǒng)的組裝提供了與域無關(guān)的功能，包括攝像頭管理、存儲管理、物聯(lián)網(wǎng)、API 網(wǎng)關(guān)、消息總線等。相關(guān)服務(wù)可通過 SDK 管理器方便地安裝（從 Jetpack 6.0 發(fā)布版本開始），然后作為 Linux 服務(wù)部署?；A(chǔ)服務(wù)包括：

視頻存儲套件（VST）服務(wù)：支持自動發(fā)現(xiàn)符合 ONVIF 標準的攝像頭，以及攝像頭視頻流的攝取、存儲和流式傳輸。下游 AI 服務(wù)或任何應(yīng)用都可以通過 RTSP 或 webRTC 等標準流式傳輸協(xié)議從 VST 獲取這些流。VST 專門針對大量聯(lián)網(wǎng)攝像頭進行了優(yōu)化，并利用 Jetson 中的底層硬件加速支持，進行視頻解碼和編碼、縮放和預(yù)處理以及疊加生成。

存儲服務(wù)：存儲配置和管理支持對連接 Jetson 設(shè)備的 SATA 和 NVMe 存儲進行自動配置，以補充板載存儲和各種微服務(wù)之間的存儲分配。存儲服務(wù)通過 Jetson Linux 提供的標準 LUKS 功能，支持跨多個驅(qū)動器（包括隨時間增加的驅(qū)動器）的邏輯卷和磁盤加密（用于靜態(tài)數(shù)據(jù)保護）。

網(wǎng)絡(luò)服務(wù)：支持配置通過板載或外置 POE 交換機來連接 IP 攝像頭的以太網(wǎng)接口，并在攝像頭啟動期間設(shè)置 DHCP 以分配 IP 地址。

Redis 服務(wù)：Jetson 上的統(tǒng)一系統(tǒng)消息總線，支持各種微服務(wù)之間的消息傳遞和同步，并作為用于分析的時間序列數(shù)據(jù)庫。

API 網(wǎng)關(guān)（Ingress）：大多數(shù)微服務(wù)都會發(fā)布 API 供其他服務(wù)和應(yīng)用調(diào)用。Ingress 服務(wù)提供了一種呈現(xiàn)這些 API 端點的標準機制。傳入的請求會根據(jù)配置的路徑，被導(dǎo)引至相應(yīng)的微服務(wù)，從而使底層微服務(wù)架構(gòu)遠離 API 使用者。

監(jiān)控：為了監(jiān)控應(yīng)用以及在設(shè)備上運行的服務(wù)，監(jiān)控服務(wù)提供了使用 prometheus 采集這些數(shù)據(jù)的掛鉤。它還包含一個用于可視化的 grafana 儀表盤，可使用 Ingress 或 API 網(wǎng)關(guān)服務(wù)遠程訪問，所包含的系統(tǒng)監(jiān)控服務(wù)用于跟蹤系統(tǒng)利用率，如 CPU 和 GPU、內(nèi)存、磁盤（使用節(jié)點導(dǎo)出器采集）等。

物聯(lián)網(wǎng)網(wǎng)關(guān)：物聯(lián)網(wǎng)網(wǎng)關(guān)服務(wù)為使用任何云服務(wù)的應(yīng)用提供了一個配置代理，用于驗證設(shè)備身份和與云建立安全的連接。它與云建立雙向 TCP 連接，使設(shè)備（可能位于防火墻后）能夠與云進行通信。傳入流量通過 Ingress 服務(wù)轉(zhuǎn)發(fā)到已注冊的內(nèi)部端點。它還支持通過云，將來自各種微服務(wù)的事件通知推送到外部客戶端，并且可以擴展，以支持用戶創(chuàng)建的微服務(wù)的自定義事件。

防火墻：如果您需要防火墻來保護您的設(shè)備，特別是在生產(chǎn)情況下，該服務(wù)會設(shè)置 UFW（不復(fù)雜的防火墻）和一些默認規(guī)則。您可以根據(jù)需要修改這些規(guī)則，以控制系統(tǒng)入口和出口的網(wǎng)絡(luò)流量。

支持生成式 AI 工作流

借助 Jetson 平臺服務(wù)，您可以快速構(gòu)建邊緣 AI 應(yīng)用。為了進一步加速這一進程，有多個參考工作流可供您使用，其中包括生成式 AI 工作流。這些工作流說明了配置和實例化各種 Jetson 服務(wù)的最佳實踐。它提供了使用 API 和上文所述的服務(wù)來構(gòu)建復(fù)雜視覺 AI 應(yīng)用的方法。您可以使用 API 定制或構(gòu)建這些工作流。這些工作流被打包成一個 Docker compose 文件，并附有一個參考移動應(yīng)用，以展示如何利用這些 API。

AI-NVR

AI-NVR（網(wǎng)絡(luò)視頻錄像機）是一款端到端參考應(yīng)用，用于構(gòu)建基于 AI 的 NVR 解決方案。它具有視頻管理和存儲、人員占用和熱圖指標、用戶身份驗證和授權(quán)、設(shè)備安全和加密存儲以及參考移動應(yīng)用等諸多驚人的功能。該工作流利用 Jetson 平臺上的所有不同加速器，針對通道吞吐量和性能進行了優(yōu)化。該參考工作流使用 DeepStream AI 的感知服務(wù)，并且具有高精度的 NVIDIA PeopleNet 模型和多目標跟蹤器。您可以靈活地使用自己的 AI 模型自定義感知服務(wù)或使用自己的感知服務(wù)。

由生成式 AI 賦能的邊緣警報

借助由生成式 AI 賦能的警報，您可以使用 VLM 從視頻中提取洞察，并使用自然語言來生成警報。這些模型結(jié)合了視覺和語言模式，在由文本、圖像和視頻組成的大型數(shù)據(jù)集上訓(xùn)練而成，能夠理解自然語言提示并執(zhí)行視覺問題解答。

VLM 不僅能夠進行基本的物體檢測和分類，還能提供更加深入的場景上下文理解。借助該工作流，您可以通過 API 在輸入視頻流上使用自然語言設(shè)置警報。例如“發(fā)生火災(zāi)時發(fā)出警報”等。其次，您可以在視頻上執(zhí)行問答。

視頻 1. 由生成式 AI 賦能的警報

利用 VLM 在視頻上實現(xiàn)實時問答

使用生成式 AI 實現(xiàn)零樣本檢測

零樣本檢測工作流使用的是 NanoOwl 模型，這是一種可以檢測任意數(shù)量物體的開放式詞匯模型。與在固定數(shù)量的類別上訓(xùn)練的傳統(tǒng)物體檢測模型不同，開放詞匯模型是在互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)上訓(xùn)練的，這使它能夠檢測大多數(shù)常見物體，而且不需要專門為了這些類別而對模型進行訓(xùn)練。有了這個工作流，用戶可以通過使用 API 提示模型待檢測的類別來實現(xiàn)任何物體的動態(tài)檢測。如要了解有關(guān)此工作流的更多信息，請參見“通過適用于 Jetson 的 NVIDIA Metropolis 微服務(wù)將生成式 AI 引入邊緣”。

擴大 Jetson 的支持范圍

Jetson 服務(wù)平臺兼容從 Orin Nano 到 AGX 的所有 Orin 系列設(shè)備。基礎(chǔ)服務(wù)在所有設(shè)備上均受支持，并且可使用 SDK 管理器進行安裝。同樣，所有設(shè)備也都支持 AI-NVR 工作流，但流的數(shù)量會因硬件配置而異。

在為 VLM 參考工作流選擇模型時需要考慮 Jetson 平臺。有關(guān) Jetson Orin AGX 和 Nano 的流預(yù)計數(shù)量信息，請參見 Jetson AI Lab 上的 VLM 參考頁面。在決定模型時，還要考慮到可能需要 GPU 和內(nèi)存資源的其他特定工作負載。

支持生產(chǎn)部署

生產(chǎn)系統(tǒng)需要穩(wěn)健、可靠的硬件。NVIDIA 與許多原設(shè)備制造商建立了深入的合作關(guān)系，他們能夠提供生產(chǎn)級質(zhì)量的載板和封裝。我們的一些合作伙伴也已集成并驗證了上述工作流與 Jetson 服務(wù)平臺，保證了所有服務(wù)都能在其平臺上開箱即用。已集成 JetPack 6 和 Jetson 服務(wù)平臺的合作伙伴包括：

Yuan

安提國際

研揚科技

研華科技

圓剛科技

矽遞科技

CRG

在構(gòu)建系統(tǒng)并創(chuàng)建應(yīng)用后，產(chǎn)品化的最后一步就是部署和管理應(yīng)用?？赡苓€需要在現(xiàn)場經(jīng)常更新應(yīng)用，這就需要用到遠程無線下載（OTA）更新。我們很高興能與幾家領(lǐng)先的集群管理公司合作，這些公司已經(jīng)集成了 Jetson 服務(wù)平臺，并且可以提供部署和更新邊緣應(yīng)用的一站式解決方案。這些合作伙伴包括：

Namla

Allxon

Mender

總結(jié)

NVIDIA JetPack 6.0 提供了一系列新功能，從 Linux BSP 層和 AI 堆棧的增強功能一直到構(gòu)建邊緣應(yīng)用的新方法。它引入了 Jetson 平臺服務(wù)，這個云原生模塊化服務(wù)集合帶有可以快速集成到工作流中的標準化 API。

利用這些服務(wù)和工作流的優(yōu)勢，來加速邊緣生成式 AI 應(yīng)用的開發(fā)。如要開始開發(fā)下一個生成式 AI 應(yīng)用，請下載 JetPack 6.0。