NVIDIA TAO 工具套件提供了一個(gè)低代碼 AI 框架，讓無(wú)論是新手還是數(shù)據(jù)科學(xué)專家都可以使用這個(gè)平臺(tái)加速視覺(jué) AI 模型開(kāi)發(fā)。通過(guò) NVIDIA TAO 工具套件，開(kāi)發(fā)人員可以進(jìn)行遷移學(xué)習(xí)，通過(guò)適應(yīng)和優(yōu)化，在短時(shí)間內(nèi)達(dá)到最先進(jìn)的精度和生產(chǎn)級(jí)吞吐量。

在 NVIDIA GTC23 上，NVIDIA 發(fā)布了 NVIDIA TAO 套件 5.0 ，帶來(lái)了 AI 模型開(kāi)發(fā)方面的突破性功能提升。新功能包括開(kāi)源架構(gòu)、基于 Transformer 的預(yù)訓(xùn)練模型、AI 輔助的數(shù)據(jù)標(biāo)注，以及在任何平臺(tái)上部署模型的能力。

圖 1：NVIDIA TAO 工具套件工作流程圖

在任何平臺(tái)、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導(dǎo)出。無(wú)論是 GPU 、CPU 、MCU 、DLA 還是 FPGA 的邊緣或云上的任何計(jì)算平臺(tái)，都可以部署使用 NVIDIA TAO 工具套件訓(xùn)練的模型。NVIDIA TAO 工具套件簡(jiǎn)化了模型訓(xùn)練過(guò)程，優(yōu)化了模型的推理吞吐量，為數(shù)千億臺(tái)設(shè)備的 AI 提供了動(dòng)力。

圖 2：NVIDIA TAO 工具套件體系

全球領(lǐng)先的嵌入式微控制器制造商意法半導(dǎo)體，將 TAO 集成到其 STM32Cube AI 開(kāi)發(fā)者工作流程中。借助 TAO，該公司能夠在 STM32 微控制器驅(qū)動(dòng)的各種物聯(lián)網(wǎng)和邊緣用例中，根據(jù)它們的最大算力和內(nèi)存運(yùn)行各種復(fù)雜 AI 功能。

現(xiàn)在有了 NVIDIA TAO 工具套件，即使是 AI 新手也可以在微控制器的計(jì)算和內(nèi)存預(yù)算內(nèi)優(yōu)化和量化 AI 模型，使其在 STM32 MCU 上運(yùn)行。開(kāi)發(fā)人員還可以導(dǎo)入自己的模型，并使用 TAO 工具套件進(jìn)行微調(diào)。更多關(guān)于意法半導(dǎo)體用例信息，請(qǐng)看以下視頻。

雖然 TAO 工具套件模型可以在任何平臺(tái)上運(yùn)行，但這些模型在使用 TensorRT 進(jìn)行推理的 NVIDIA GPU 上才能實(shí)現(xiàn)最高吞吐量。在 CPU 上，這些模型使用 ONNX-RT 進(jìn)行推理。一旦軟件可用，將提供運(yùn)行的腳本和配方。

表 1：幾種 NVIDIA TAO 工具套件視覺(jué)模型的性能比較（以 FPS 為單位），包括 NVIDIA GPU 上的新視覺(jué) Transformer 模型

AI 輔助的數(shù)據(jù)標(biāo)注和管理

對(duì)于所有 AI 項(xiàng)目來(lái)說(shuō)，數(shù)據(jù)標(biāo)注仍然是一個(gè)昂貴且耗時(shí)的過(guò)程。對(duì)于 CV 任務(wù)尤其如此，比如需要在標(biāo)注對(duì)象周圍生成像素級(jí)別分割掩碼的分割任務(wù)。通常，分割掩碼的成本是對(duì)象檢測(cè)或分類的 10 倍。

通過(guò) TAO 工具套件 5.0 ，用最新的 AI 輔助標(biāo)注功能對(duì)分割掩碼進(jìn)行標(biāo)注，速度更快，成本更低?，F(xiàn)在，您可以使用弱監(jiān)督分割架構(gòu) Mask Auto Labeler （ MAL ）來(lái)幫助進(jìn)行分割注釋，以及固定和收緊用于對(duì)象檢測(cè)的邊界框。實(shí)況數(shù)據(jù)中對(duì)象周圍的松散邊界框可能會(huì)導(dǎo)致非最佳檢測(cè)結(jié)果，但通過(guò) AI 輔助標(biāo)注，您可以將邊界框收緊到對(duì)象上，從而獲得更準(zhǔn)確的模型。

MAL 是一個(gè)基于 Transformer 的掩碼自動(dòng)標(biāo)注框架，用于僅使用方框標(biāo)注的實(shí)例分割。MAL 將方框裁剪圖像作為輸入內(nèi)容，并有條件地生成掩碼偽標(biāo)簽。它對(duì)輸入和輸出標(biāo)簽都使用了 COCO 注釋格式。

MAL 顯著縮小了自動(dòng)標(biāo)注和人工標(biāo)注在掩碼質(zhì)量方面的差距。使用 MAL 生成的掩碼訓(xùn)練的實(shí)例分割模型幾乎可以匹配全監(jiān)督對(duì)應(yīng)模型的性能，保留了高達(dá) 97.4% 的全監(jiān)督模型的性能。

圖 4：Mask Auto Labeler （ MAL ）網(wǎng)絡(luò)架構(gòu)

訓(xùn)練 MAL 網(wǎng)絡(luò)時(shí)，任務(wù)網(wǎng)絡(luò)和教師網(wǎng)絡(luò)（共享相同的轉(zhuǎn)換器結(jié)構(gòu)）協(xié)同工作以實(shí)現(xiàn)與類無(wú)關(guān)的自我訓(xùn)練。這樣就可以優(yōu)化具有條件隨機(jī)場(chǎng) （CRF） 損失和多實(shí)例學(xué)習(xí) （MIL） 損失的預(yù)測(cè)掩碼。

TAO 工具套件在自動(dòng)標(biāo)注流程和數(shù)據(jù)擴(kuò)充流程中都使用了 MAL 。具體而言，用戶可以在空間增強(qiáng)的圖像上生成偽掩碼（例如，剪切或旋轉(zhuǎn)），并使用生成的掩碼細(xì)化和收緊相應(yīng)的邊界框。

最先進(jìn)的視覺(jué) Transformer

Transformer 已經(jīng)成為 NLP 中的標(biāo)準(zhǔn)架構(gòu)，這主要是因?yàn)樽宰⒁饬軜?gòu)，同時(shí)它們還因一系列視覺(jué) AI 任務(wù)而廣受歡迎。一般來(lái)說(shuō)，基于 Transformer 的模型因?yàn)榫哂恤敯粜浴⒖赏茝V性和對(duì)大規(guī)模輸入執(zhí)行并行處理的能力，會(huì)優(yōu)于傳統(tǒng)的基于 CNN 的模型。所有這些優(yōu)點(diǎn)都提高了訓(xùn)練效率，對(duì)圖像損壞和噪聲提供了更好的魯棒性，并對(duì)不可視的對(duì)象更好地進(jìn)行泛化。

TAO 工具套件 5.0 為流行的 CV 任務(wù)提供了幾種最先進(jìn)的（ SOTA ）視覺(jué) Transformer ，具體如下。

全注意力網(wǎng)絡(luò)

全注意力網(wǎng)絡(luò)（ FAN ）是 NVIDIA Research 的一個(gè)基于 Transformer 的主干，它在抵御各種破壞方面實(shí)現(xiàn)了最優(yōu)的魯棒性。這類主干可以很容易地推廣到新的領(lǐng)域，并且對(duì)噪聲、模糊等更具魯棒性。

FAN 模塊背后的一個(gè)關(guān)鍵設(shè)計(jì)是注意力通道處理模塊，它可以實(shí)現(xiàn)穩(wěn)健的表征學(xué)習(xí)。FAN 可以用于圖像分類任務(wù)以及諸如對(duì)象檢測(cè)和分割之類的下游任務(wù)。

圖 5 ：與 FAN Small （右）相比， ResNet50 （中）損壞圖像的激活熱圖

FAN 系列支持四個(gè)主干，如表 2 所示。

表 2：具有尺寸和精度的風(fēng)扇背板

全局視野視覺(jué) Transformer

全局上下文視覺(jué) Transformer（ GC-ViT ）是 NVIDIA Research 的一種新架構(gòu)，可實(shí)現(xiàn)非常高的準(zhǔn)確性和計(jì)算效率。GC-ViT 解決了視覺(jué) Transformer 中缺乏誘導(dǎo)性偏差的問(wèn)題 。通過(guò)使用局部自注意，它在 ImageNet 上使用較少的參數(shù)獲得了更好的結(jié)果。

局部自我注意與全局視野自我注意相結(jié)合，可以有效地模擬長(zhǎng)距離和短距離的空間交互。圖 6 顯示了 GC-ViT 模型體系結(jié)構(gòu)。有關(guān)更多詳細(xì)信息，請(qǐng)參見(jiàn) Global Context Vision Transformers （https://arxiv.org/pdf/2206.09959.pdf)）。

圖 6：GC-ViT 模型架構(gòu)

如表 3 所示， GC-ViT 家族包含六個(gè)主干，從 GC-ViT-xxTiny （計(jì)算效率高）到 GC-ViT-Large （非常準(zhǔn)確）。GC-ViT 大型模型在 ImageNet-1K 數(shù)據(jù)集上可以實(shí)現(xiàn) 85.6 的 Top-1 精度，用于圖像分類任務(wù)。該體系結(jié)構(gòu)還可以用作其他 CV 任務(wù)的主干，如對(duì)象檢測(cè)、語(yǔ)義和實(shí)例分割。

表 3：具有尺寸和精度的 GC-ViT 骨干

DINO

DINO （具有改進(jìn)去噪錨框的檢測(cè) Transformer）是最新一代檢測(cè) Transformer（DETR ），達(dá)到了比上一代更快的訓(xùn)練收斂時(shí)間。Deformable DETR （ D-DETR ）至少需要 50 個(gè) epochs 才能收斂，而 DINO 可以在 COCO 數(shù)據(jù)集上在12個(gè) epochs 內(nèi)收斂。而且，與 D-DETR 相比，它還實(shí)現(xiàn)了更高的精度。

DINO 通過(guò)在訓(xùn)練期間去噪實(shí)現(xiàn)更快的收斂，這有助于提案生成階段的二分匹配過(guò)程。由于二分匹配的不穩(wěn)定性，類 DETR 模型的訓(xùn)練收斂速度較慢。二分匹配減少了對(duì)人工和計(jì)算繁重的 NMS 操作的需求。但是，它通常需要更多的訓(xùn)練，因?yàn)樵诙制ヅ淦陂g，不正確的基本事實(shí)也可以與預(yù)測(cè)相匹配。

為了解決這個(gè)問(wèn)題， DINO 引入了有噪聲的正負(fù)真實(shí)框來(lái)處理“無(wú)對(duì)象”場(chǎng)景。因此， DINO 的訓(xùn)練收斂得非常快。更多信息，請(qǐng)參閱 DINO: 帶有改進(jìn)的去噪錨框的DETR，可用于端到端對(duì)象檢測(cè)（https://arxiv.org/pdf/2203.03605.pdf)）。

圖 7：DINO 架構(gòu)

TAO 工具套件中的 DINO 是靈活的，可以與傳統(tǒng)的 CNNs 主干（如 ResNets ）和基于 Transformer 的主干（如 FAN 和 GC-ViT ）相結(jié)合。表 4 顯示了在常用的 YOLOv7 各種版本的 DINO 上的 COCO 數(shù)據(jù)集的準(zhǔn)確性。有關(guān)更多詳細(xì)信息，請(qǐng)參見(jiàn) YOLOv7: 為實(shí)時(shí)物體檢測(cè)器設(shè)置了新的先進(jìn)技術(shù)的可訓(xùn)練的免費(fèi)套件（https://arxiv.org/pdf/2207.02696.pdf）。

表 4：COCO 數(shù)據(jù)集上的 DINO 和 D-DETR 準(zhǔn)確性

SegFormer

SegFormer 是一種基于 Transformer 的輕量級(jí)語(yǔ)義分割方法。它的編碼器由輕量級(jí) MLP 層制成，避免了使用位置編碼（主要由 Transformers 使用），這使得推理在不同分辨率下有效。

將 FAN 主干網(wǎng)添加到 SegFormer MLP 解碼器中會(huì)產(chǎn)生一個(gè)高度魯棒性和高效的語(yǔ)義分割模型?；旌鲜?FAN-基站 + SegFormer 是 2022 年魯棒視覺(jué)挑戰(zhàn)大賽中語(yǔ)義分割項(xiàng)目的獲勝架構(gòu)。

圖 8：具有 FAN 預(yù)測(cè)功能的 SegFormer （右）

其在噪音輸入時(shí)的圖像情況（左）

表5：SegPreer 與 PSPNet 的魯棒性對(duì)比

目標(biāo)檢測(cè)和分割之外的 CV 任務(wù)

除了傳統(tǒng)對(duì)象檢測(cè)和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務(wù)。TAO 工具套件 5.0 中新增的字符檢測(cè)和識(shí)別模型使開(kāi)發(fā)人員能夠從圖像和文檔中提取文本。文檔轉(zhuǎn)換實(shí)現(xiàn)了自動(dòng)化，并加速了在保險(xiǎn)和金融等行業(yè)的用例。

當(dāng)被分類的對(duì)象變化很大時(shí)，檢測(cè)圖像中的異常是有用的，但不可能用所有的變化進(jìn)行訓(xùn)練。例如，在工業(yè)檢測(cè)中，缺陷可以是任何形式的。如果訓(xùn)練數(shù)據(jù)之前沒(méi)有發(fā)現(xiàn)缺陷，那么使用簡(jiǎn)單的分類器可能會(huì)導(dǎo)致許多遺漏的缺陷。

對(duì)于這樣的用例，將測(cè)試對(duì)象直接與黃金參考進(jìn)行比較將獲得更好的準(zhǔn)確性。TAO 工具套件 5.0 的特點(diǎn)是暹羅神經(jīng)網(wǎng)絡(luò)，在該網(wǎng)絡(luò)中，模型計(jì)算出被測(cè)對(duì)象和黃金參考之間的差異，以便在對(duì)象有缺陷時(shí)進(jìn)行分類。

使用 AutoML 實(shí)現(xiàn)超參數(shù)優(yōu)化的自動(dòng)化培訓(xùn)

自動(dòng)化機(jī)器學(xué)習(xí) （AutoML） 自動(dòng)執(zhí)行手動(dòng)任務(wù)，即在給定數(shù)據(jù)集上查找所需 KPI 的最佳模型和超參數(shù)。它可以通過(guò)算法推導(dǎo)出最佳模型，并抽象出 AI模型創(chuàng)建和優(yōu)化的大部分復(fù)雜性。

TAO 工具套件中的 AutoML 完全配置了用于自動(dòng)優(yōu)化模型的超參數(shù)。無(wú)論是 AI 專家還是新手，都可以輕松使用。對(duì)于新手，Jupyter 使用指南提供了一種簡(jiǎn)單且有效的創(chuàng)建準(zhǔn)確的 AI 模型的方法。

對(duì)于專家來(lái)說(shuō)，TAO 工具套件可讓您自由掌控要調(diào)整的超參數(shù)以及用于掃描的算法。TAO 工具套件目前支持兩種優(yōu)化算法：貝葉斯優(yōu)化和超參數(shù)優(yōu)化。這些算法可以掃描一系列超參數(shù)，以找到給定數(shù)據(jù)集的最佳組合。

AutoML 支持多種 CV 任務(wù)，包括一些新的視覺(jué) Transformer ，如 DINO 、D-DETR 、SegFormer 等。表 6 顯示了支持網(wǎng)絡(luò)的完整列表（標(biāo)粗的項(xiàng)目是 TAO 工具套件 5.0 的新增項(xiàng)目）。

表 6 ：TAO 工具套件中 AutoML 支持的模型，包括幾個(gè)新的視覺(jué)轉(zhuǎn)換器模型

（標(biāo)粗的項(xiàng)目是 TAO 工具套件 5.0 的新項(xiàng)目）

用于工作流程集成的 REST API

TAO 工具套件是模塊化的、云原生的，這意味著它可以作為容器使用，并且可以使用 Kubernetes 進(jìn)行部署和管理。TAO 工具套件可以作為自管理服務(wù)部署在任何公共或私有云、 DGX 或工作站上。此外 TAO 工具套件提供定義完善的 REST API，使其易于集成到您的開(kāi)發(fā)工作流程中。開(kāi)發(fā)人員可以調(diào)用 API 端點(diǎn)來(lái)執(zhí)行所有訓(xùn)練和優(yōu)化任務(wù)。這些 API 端點(diǎn)可以從任何應(yīng)用程序或用戶界面調(diào)用，然后通過(guò)遠(yuǎn)程觸發(fā)進(jìn)行訓(xùn)練作業(yè)。

圖 9：用于云原生部署的 TAO 工具套件架構(gòu)

更好的推理優(yōu)化方案

為了簡(jiǎn)化產(chǎn)品化并提高推理吞吐量，TAO 工具套件提供了多種交鑰匙性能優(yōu)化技術(shù)。其中包括模型修剪、低精度量化和 TensorRT 優(yōu)化，與公共模型庫(kù)的同類模型相比，這些技術(shù)加起來(lái)可以提供 4 到 8 倍的性能提升。

圖 10：在各種 GPU 上優(yōu)化的 TAO 工具套件和公共模型之間的性能比較

開(kāi)放靈活，具有更好的支撐

因?yàn)?AI 模型是基于復(fù)雜的算法預(yù)測(cè)輸出的，這可能會(huì)使人們很難理解系統(tǒng)是如何做出決定的，并且很難調(diào)試、診斷和修復(fù)錯(cuò)誤?？山忉?a href="http://www.www27dydycom.cn/v/tag/150/" target="_blank">人工智能（ XAI ）通過(guò)解釋 AI 模型如何做出決策來(lái)應(yīng)對(duì)這些調(diào)整。這不僅有助于人類理解 AI 輸出背后的推理過(guò)程，也使診斷和修復(fù)錯(cuò)誤變得更容易。這種透明度有助于建立對(duì) AI 系統(tǒng)的信任。

為了提高透明度和可解釋性， TAO 工具套件將以開(kāi)源形式提供。開(kāi)發(fā)人員將能夠從內(nèi)部層查看特征圖，并繪制激活熱圖，以更好地理解人工智能預(yù)測(cè)背后的推理過(guò)程。此外，訪問(wèn)源代碼將使開(kāi)發(fā)人員能夠靈活地創(chuàng)建定制的 AI，提高調(diào)試能力，并增加對(duì)其模型的信任。

NVIDIA TAO 工具套件現(xiàn)已推出，可通過(guò)NVIDIA AI Enterprise（ NVAIE ） 購(gòu)買。NVAIE 為公司提供關(guān)鍵業(yè)務(wù)支持、 NVIDIA AI 專家答疑以及優(yōu)先安全修復(fù)。了解 NVAIE (https://www.nvidia.com/en-us/data-center/products/ai-enterprise/)并獲得 AI 專家的指導(dǎo)。

與云服務(wù)集成

NVIDIA TAO 工具套件可以集成到您使用的各種 AI 服務(wù)中，如 Google Vertex AI 、AzureML 、Azure Kubernetes 服務(wù)和 Amazon EKS 。

圖 11：TAO 工具套件 5.0 與各種 AI 服務(wù)集成

總結(jié)

TAO 工具套件提供了一個(gè)平臺(tái)，任何開(kāi)發(fā)者在任何服務(wù)任何設(shè)備上都可以使用，可以輕松地轉(zhuǎn)移學(xué)習(xí)他們的自定義模型，執(zhí)行量化和修剪，管理復(fù)雜的訓(xùn)練工作流程，并在無(wú)需編碼情況下執(zhí)行人工智能輔助注釋。在 GTC23 上，NVIDIA 發(fā)布了 TAO 工具套件5.0。點(diǎn)擊鏈接進(jìn)行注冊(cè)（https://developer.nvidia.com/login）了解 TAO 工具套件的最新更新。

下載 NVIDIA TAO 工具套件（https://developer.nvidia.com/tao-toolkit-get-started）并開(kāi)始創(chuàng)建自定義人工智能模型。您也可以在 LaunchPad （https://www.nvidia.com/en-us/launchpad/ai/develop-fine-tune-computer-vision-models-with-tao-automl/）上體驗(yàn) NVIDIA TAO 工具套件。

?

掃描海報(bào)二維碼，或點(diǎn)擊“閱讀原文”，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！