NVIDIA JetPack SDK 支持 NVIDIA Jetson 模塊，為構(gòu)建端到端加速 AI 應(yīng)用提供全面的解決方案。JetPack 6 通過微服務(wù)和一系列新功能，擴(kuò)展了 Jetson 平臺(tái)的靈活性和可擴(kuò)展性，是 2024 年截至目前下載量最高的 JetPack 版本。

隨著 JetPack 6.0 生產(chǎn)版本的全面發(fā)布，開發(fā)者可以放心地將這些新功能加入到最先進(jìn)的嵌入式 AI 和機(jī)器人應(yīng)用中。本文將重點(diǎn)介紹其關(guān)鍵功能和全新的 AI 工作流。

JetPack 6 的關(guān)鍵功能

JetPack 6 支持在 Jetson 上擴(kuò)展一系列基于 Linux 的發(fā)行版，例如 Canonical 的 Ubuntu 服務(wù)器、紅帽的 RHEL 9.4、SUSE、風(fēng)河 Linux、Redhawk Real Time OS 和各種基于 Yocto 的發(fā)行版。這些基于 Linux 的發(fā)行產(chǎn)品在 Jetson 上提供商業(yè)化的企業(yè)級(jí)產(chǎn)品和解決方案，使用戶可以放心地部署和管理基于 Jetson 的產(chǎn)品。

由于能夠運(yùn)行各種 Linux 內(nèi)核，Jetson 用戶可以使用他們選擇的內(nèi)核版本，而且無須花費(fèi)資源將驅(qū)動(dòng)程序反向移植到特定的 Jetson Linux 內(nèi)核。Jetson 用戶可以獨(dú)立于 JetPack 路線圖維護(hù)自己的內(nèi)核。

借助 JetPack 6，您可以在不升級(jí) Jetson Linux BSP 的情況下，自由升級(jí)計(jì)算堆棧，這項(xiàng)功能在社群中特別受歡迎。

此外，JetPack 6 還為 Jetson Linux BSP 和 Jetson AI Stack 添加了 Jetson 平臺(tái)服務(wù)。Jetson 平臺(tái)服務(wù)是一套預(yù)構(gòu)建的定制化服務(wù)，旨在加速 Jetson 設(shè)備上的 AI 應(yīng)用開發(fā)。這些模塊化服務(wù)集合支持由 API 驅(qū)動(dòng)和分解的真正云原生應(yīng)用。

Jetson 平臺(tái)服務(wù)提供

模塊化、分解式、可替換架構(gòu)

現(xiàn)作為 JetPack 6 一部分提供的 Jetson 平臺(tái)服務(wù)提供了一個(gè)模塊化架構(gòu)，其中包含大量可定制的軟件和可重復(fù)使用的微服務(wù)，用于構(gòu)建視覺 AI 應(yīng)用。它提供具有基礎(chǔ)設(shè)施功能的基礎(chǔ)服務(wù)、可生成洞察的 AI 服務(wù)以及保障邊緣到云連接安全的參考云。

這些多樣化的微服務(wù)包括視頻存儲(chǔ)套件（VST）、基于 NVIDIA DeepStream 的 AI 感知服務(wù)、生成式 AI 推理服務(wù)、分析服務(wù)等。每個(gè)服務(wù)都提供了用于配置和訪問微服務(wù)功能的 API。

這些 API 通過物聯(lián)網(wǎng)網(wǎng)關(guān)基礎(chǔ)服務(wù)呈現(xiàn)在系統(tǒng)外部。該服務(wù)基于云原生架構(gòu)使用的標(biāo)準(zhǔn)模式，使用單一網(wǎng)關(guān)在系統(tǒng)內(nèi)公開 API。客戶端應(yīng)用通過該 API 網(wǎng)關(guān)服務(wù)，調(diào)用相應(yīng)的 API，從而實(shí)現(xiàn)微服務(wù)功能。

圖 1. NVIDIA JetPack 6.0 堆棧

Jetson 平臺(tái)服務(wù)還提供了一個(gè)物聯(lián)網(wǎng)云模塊，使客戶端在遠(yuǎn)程訪問這些 API 時(shí)，能夠通過身份驗(yàn)證和授權(quán)。該物聯(lián)網(wǎng)云模塊與云無關(guān)，可在任何公有云或私有云上運(yùn)行。

圖 2. NVIDIA Jetson 上的云原生工作流

AI 服務(wù)

一系列 AI 服務(wù)集合利用 AI 模型、多目標(biāo)跟蹤與流式分析技術(shù)的組合，提供優(yōu)化的視頻處理和 AI 推理功能。如參考工作流所示，這些具有標(biāo)準(zhǔn)化 API 的容器化軟件可以集成到終端應(yīng)用中。

適用于 VLM 的 AI 推理服務(wù)

視覺語言模型（VLM）通過將視覺模式與 LLM 相結(jié)合，實(shí)現(xiàn)了對(duì)圖像和視頻的語義理解。適用于 VLM 的 AI 推理服務(wù)允許通過標(biāo)準(zhǔn)化 API 訪問 VLM 功能。該服務(wù)可使用兩種受支持的模型（VILA 或 LLaVA）中的一種進(jìn)行實(shí)例化，并提供兩種主要功能：

設(shè)置在流媒體視頻中通過自然語言提示創(chuàng)建警報(bào)的條件

使用自然語言查詢（提示）視頻并獲得回復(fù)

VLM 通常需要大量 GPU 和內(nèi)存，其大小視參數(shù)數(shù)量而定。VILA 有 13B、7B 和 2.7B 三種規(guī)模。隨著參數(shù)數(shù)量的增加，模型在把握?qǐng)D像語義方面的準(zhǔn)確性會(huì)隨之提高，但代價(jià)是 GPU 使用率和內(nèi)存利用率也會(huì)“水漲船高”。用戶需要根據(jù)自己選擇的 Jetson 平臺(tái)來選擇正確的模型，并根據(jù)自己的工作負(fù)載來選擇可用的系統(tǒng)資源。

該服務(wù)可以集成到生成式 AI 工作流中，詳見下一部分。

AI 分析服務(wù)

視頻分析應(yīng)用通常需要分析人或物體在攝像頭視野內(nèi)的移動(dòng)。AI 分析服務(wù)將推理服務(wù)（如檢測(cè)或跟蹤）生成的元數(shù)據(jù)作為運(yùn)行依據(jù)。這項(xiàng)服務(wù)采用流媒體元數(shù)據(jù)，并從空間和時(shí)間上洞察物體的移動(dòng)。該服務(wù)的核心功能包括：

線條交叉（絆線）：在攝像頭視野中定義虛擬多段線，并在一段時(shí)間內(nèi)對(duì)越線物體進(jìn)行計(jì)數(shù)。

感興趣區(qū)域：定義封閉的多邊形，并對(duì)區(qū)域內(nèi)的物體進(jìn)行時(shí)間序列計(jì)數(shù)。例如，這項(xiàng)功能可用于檢測(cè)在收銀臺(tái)排隊(duì)等候的人數(shù)是否達(dá)到一定限值。

行為分析：幫助檢索物體在攝像頭視野中移動(dòng)的軌跡。這項(xiàng)功能可通過創(chuàng)建熱圖可視化（圖 3）來了解物體移動(dòng)的趨勢(shì)。

圖 3. 熱圖可視化可通過 AI 分析服務(wù)獲得

這里重點(diǎn)介紹的所有分析功能都可以使用 API 生成和提取。有關(guān) AI 分析服務(wù)的更多信息，請(qǐng)參閱 Jetson 平臺(tái)服務(wù)發(fā)布文檔。

基礎(chǔ)服務(wù)

基礎(chǔ)服務(wù)為生產(chǎn)級(jí) AI 系統(tǒng)的組裝提供了與域無關(guān)的功能，包括攝像頭管理、存儲(chǔ)管理、物聯(lián)網(wǎng)、API 網(wǎng)關(guān)、消息總線等。相關(guān)服務(wù)可通過 SDK 管理器方便地安裝（從 Jetpack 6.0 發(fā)布版本開始），然后作為 Linux 服務(wù)部署?；A(chǔ)服務(wù)包括：

視頻存儲(chǔ)套件（VST）服務(wù)：支持自動(dòng)發(fā)現(xiàn)符合 ONVIF 標(biāo)準(zhǔn)的攝像頭，以及攝像頭視頻流的攝取、存儲(chǔ)和流式傳輸。下游 AI 服務(wù)或任何應(yīng)用都可以通過 RTSP 或 webRTC 等標(biāo)準(zhǔn)流式傳輸協(xié)議從 VST 獲取這些流。VST 專門針對(duì)大量聯(lián)網(wǎng)攝像頭進(jìn)行了優(yōu)化，并利用 Jetson 中的底層硬件加速支持，進(jìn)行視頻解碼和編碼、縮放和預(yù)處理以及疊加生成。

存儲(chǔ)服務(wù)：存儲(chǔ)配置和管理支持對(duì)連接 Jetson 設(shè)備的 SATA 和 NVMe 存儲(chǔ)進(jìn)行自動(dòng)配置，以補(bǔ)充板載存儲(chǔ)和各種微服務(wù)之間的存儲(chǔ)分配。存儲(chǔ)服務(wù)通過 Jetson Linux 提供的標(biāo)準(zhǔn) LUKS 功能，支持跨多個(gè)驅(qū)動(dòng)器（包括隨時(shí)間增加的驅(qū)動(dòng)器）的邏輯卷和磁盤加密（用于靜態(tài)數(shù)據(jù)保護(hù)）。

網(wǎng)絡(luò)服務(wù)：支持配置通過板載或外置 POE 交換機(jī)來連接 IP 攝像頭的以太網(wǎng)接口，并在攝像頭啟動(dòng)期間設(shè)置 DHCP 以分配 IP 地址。

Redis 服務(wù)：Jetson 上的統(tǒng)一系統(tǒng)消息總線，支持各種微服務(wù)之間的消息傳遞和同步，并作為用于分析的時(shí)間序列數(shù)據(jù)庫。

API 網(wǎng)關(guān)（Ingress）：大多數(shù)微服務(wù)都會(huì)發(fā)布 API 供其他服務(wù)和應(yīng)用調(diào)用。Ingress 服務(wù)提供了一種呈現(xiàn)這些 API 端點(diǎn)的標(biāo)準(zhǔn)機(jī)制。傳入的請(qǐng)求會(huì)根據(jù)配置的路徑，被導(dǎo)引至相應(yīng)的微服務(wù)，從而使底層微服務(wù)架構(gòu)遠(yuǎn)離 API 使用者。

監(jiān)控：為了監(jiān)控應(yīng)用以及在設(shè)備上運(yùn)行的服務(wù)，監(jiān)控服務(wù)提供了使用 prometheus 采集這些數(shù)據(jù)的掛鉤。它還包含一個(gè)用于可視化的 grafana 儀表盤，可使用 Ingress 或 API 網(wǎng)關(guān)服務(wù)遠(yuǎn)程訪問，所包含的系統(tǒng)監(jiān)控服務(wù)用于跟蹤系統(tǒng)利用率，如 CPU 和 GPU、內(nèi)存、磁盤（使用節(jié)點(diǎn)導(dǎo)出器采集）等。

物聯(lián)網(wǎng)網(wǎng)關(guān)：物聯(lián)網(wǎng)網(wǎng)關(guān)服務(wù)為使用任何云服務(wù)的應(yīng)用提供了一個(gè)配置代理，用于驗(yàn)證設(shè)備身份和與云建立安全的連接。它與云建立雙向 TCP 連接，使設(shè)備（可能位于防火墻后）能夠與云進(jìn)行通信。傳入流量通過 Ingress 服務(wù)轉(zhuǎn)發(fā)到已注冊(cè)的內(nèi)部端點(diǎn)。它還支持通過云，將來自各種微服務(wù)的事件通知推送到外部客戶端，并且可以擴(kuò)展，以支持用戶創(chuàng)建的微服務(wù)的自定義事件。

防火墻：如果您需要防火墻來保護(hù)您的設(shè)備，特別是在生產(chǎn)情況下，該服務(wù)會(huì)設(shè)置 UFW（不復(fù)雜的防火墻）和一些默認(rèn)規(guī)則。您可以根據(jù)需要修改這些規(guī)則，以控制系統(tǒng)入口和出口的網(wǎng)絡(luò)流量。

支持生成式 AI 工作流

借助 Jetson 平臺(tái)服務(wù)，您可以快速構(gòu)建邊緣 AI 應(yīng)用。為了進(jìn)一步加速這一進(jìn)程，有多個(gè)參考工作流可供您使用，其中包括生成式 AI 工作流。這些工作流說明了配置和實(shí)例化各種 Jetson 服務(wù)的最佳實(shí)踐。它提供了使用 API 和上文所述的服務(wù)來構(gòu)建復(fù)雜視覺 AI 應(yīng)用的方法。您可以使用 API 定制或構(gòu)建這些工作流。這些工作流被打包成一個(gè) Docker compose 文件，并附有一個(gè)參考移動(dòng)應(yīng)用，以展示如何利用這些 API。

AI-NVR

AI-NVR（網(wǎng)絡(luò)視頻錄像機(jī)）是一款端到端參考應(yīng)用，用于構(gòu)建基于 AI 的 NVR 解決方案。它具有視頻管理和存儲(chǔ)、人員占用和熱圖指標(biāo)、用戶身份驗(yàn)證和授權(quán)、設(shè)備安全和加密存儲(chǔ)以及參考移動(dòng)應(yīng)用等諸多驚人的功能。該工作流利用 Jetson 平臺(tái)上的所有不同加速器，針對(duì)通道吞吐量和性能進(jìn)行了優(yōu)化。該參考工作流使用 DeepStream AI 的感知服務(wù)，并且具有高精度的 NVIDIA PeopleNet 模型和多目標(biāo)跟蹤器。您可以靈活地使用自己的 AI 模型自定義感知服務(wù)或使用自己的感知服務(wù)。

由生成式 AI 賦能的邊緣警報(bào)

借助由生成式 AI 賦能的警報(bào)，您可以使用 VLM 從視頻中提取洞察，并使用自然語言來生成警報(bào)。這些模型結(jié)合了視覺和語言模式，在由文本、圖像和視頻組成的大型數(shù)據(jù)集上訓(xùn)練而成，能夠理解自然語言提示并執(zhí)行視覺問題解答。

VLM 不僅能夠進(jìn)行基本的物體檢測(cè)和分類，還能提供更加深入的場(chǎng)景上下文理解。借助該工作流，您可以通過 API 在輸入視頻流上使用自然語言設(shè)置警報(bào)。例如“發(fā)生火災(zāi)時(shí)發(fā)出警報(bào)”等。其次，您可以在視頻上執(zhí)行問答。

視頻 1. 由生成式 AI 賦能的警報(bào)

利用 VLM 在視頻上實(shí)現(xiàn)實(shí)時(shí)問答

使用生成式 AI 實(shí)現(xiàn)零樣本檢測(cè)

零樣本檢測(cè)工作流使用的是 NanoOwl 模型，這是一種可以檢測(cè)任意數(shù)量物體的開放式詞匯模型。與在固定數(shù)量的類別上訓(xùn)練的傳統(tǒng)物體檢測(cè)模型不同，開放詞匯模型是在互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)上訓(xùn)練的，這使它能夠檢測(cè)大多數(shù)常見物體，而且不需要專門為了這些類別而對(duì)模型進(jìn)行訓(xùn)練。有了這個(gè)工作流，用戶可以通過使用 API 提示模型待檢測(cè)的類別來實(shí)現(xiàn)任何物體的動(dòng)態(tài)檢測(cè)。如要了解有關(guān)此工作流的更多信息，請(qǐng)參見“通過適用于 Jetson 的 NVIDIA Metropolis 微服務(wù)將生成式 AI 引入邊緣”。

擴(kuò)大 Jetson 的支持范圍

Jetson 服務(wù)平臺(tái)兼容從 Orin Nano 到 AGX 的所有 Orin 系列設(shè)備。基礎(chǔ)服務(wù)在所有設(shè)備上均受支持，并且可使用 SDK 管理器進(jìn)行安裝。同樣，所有設(shè)備也都支持 AI-NVR 工作流，但流的數(shù)量會(huì)因硬件配置而異。

在為 VLM 參考工作流選擇模型時(shí)需要考慮 Jetson 平臺(tái)。有關(guān) Jetson Orin AGX 和 Nano 的流預(yù)計(jì)數(shù)量信息，請(qǐng)參見 Jetson AI Lab 上的 VLM 參考頁面。在決定模型時(shí)，還要考慮到可能需要 GPU 和內(nèi)存資源的其他特定工作負(fù)載。

支持生產(chǎn)部署

生產(chǎn)系統(tǒng)需要穩(wěn)健、可靠的硬件。NVIDIA 與許多原設(shè)備制造商建立了深入的合作關(guān)系，他們能夠提供生產(chǎn)級(jí)質(zhì)量的載板和封裝。我們的一些合作伙伴也已集成并驗(yàn)證了上述工作流與 Jetson 服務(wù)平臺(tái)，保證了所有服務(wù)都能在其平臺(tái)上開箱即用。已集成 JetPack 6 和 Jetson 服務(wù)平臺(tái)的合作伙伴包括：

Yuan

安提國際

研揚(yáng)科技

研華科技

圓剛科技

矽遞科技

CRG

在構(gòu)建系統(tǒng)并創(chuàng)建應(yīng)用后，產(chǎn)品化的最后一步就是部署和管理應(yīng)用。可能還需要在現(xiàn)場(chǎng)經(jīng)常更新應(yīng)用，這就需要用到遠(yuǎn)程無線下載（OTA）更新。我們很高興能與幾家領(lǐng)先的集群管理公司合作，這些公司已經(jīng)集成了 Jetson 服務(wù)平臺(tái)，并且可以提供部署和更新邊緣應(yīng)用的一站式解決方案。這些合作伙伴包括：

Namla

Allxon

Mender

總結(jié)

NVIDIA JetPack 6.0 提供了一系列新功能，從 Linux BSP 層和 AI 堆棧的增強(qiáng)功能一直到構(gòu)建邊緣應(yīng)用的新方法。它引入了 Jetson 平臺(tái)服務(wù)，這個(gè)云原生模塊化服務(wù)集合帶有可以快速集成到工作流中的標(biāo)準(zhǔn)化 API。

利用這些服務(wù)和工作流的優(yōu)勢(shì)，來加速邊緣生成式 AI 應(yīng)用的開發(fā)。如要開始開發(fā)下一個(gè)生成式 AI 應(yīng)用，請(qǐng)下載 JetPack 6.0。