NVIDIA Isaac ROS GEM 是一款基于硬件加速的軟件包，可以讓 ROS 開發(fā)者更輕松地基于 NVIDIA 硬件構(gòu)建高性能解決方案。

NVIDIA Isaac ROS GEM功能特性

高吞吐量感知

Isaac ROS GEM 提供的軟件包中包括圖像、計算機視覺，以及針對 NVIDIA GPU 和 Jetson 高度優(yōu)化的 DNN 處理功能。

靈活的模組化軟件包

借助模組化軟件包，ROS 開發(fā)者可以準確地選擇需要集成到其應(yīng)用中的內(nèi)容。這意味著他們可以替換整個工作流，也可以僅更換一種算法。

縮短開發(fā)時間

Isaac ROS GEM 經(jīng)過精心設(shè)計和測試，與現(xiàn)有的常見 ROS 節(jié)點相似，更易于集成到現(xiàn)有應(yīng)用中。

適用于ROS開發(fā)者

且豐富多樣的感知AI軟件包

ROS 2 節(jié)點可應(yīng)對常用的圖像、計算機和 DNN 處理功能，這些功能是為 AI ROS 機器人應(yīng)用提供高性能感知的關(guān)鍵要素。

基于Visual SLAM的定位

當(dāng)自主機器在相應(yīng)環(huán)境中移動時，它們必須持續(xù)追蹤自己的位置。視覺測距通過估算攝像頭相對于其起始位置的距離來解決這一問題。支持立體視覺測距的 Isaac ROS GEM 為 ROS 開發(fā)者提供了這一強大功能。

此 GEM 使實時立體攝像頭視覺測距解決方案具備高準確度?？稍诖颂巺⒖蓟趶V泛使用的 KITTI 數(shù)據(jù)庫的公開可用結(jié)果。此 GPU 加速軟件包不僅具備高準確度，運行速度也非?？?。事實上，SLAM 現(xiàn)在可在 Jetson Xavier AGX 上以高清分辨率（1280 x 720）實時（60 fps 以上）運行。

3D場景重建– nvblox（預(yù)覽）

僅僅明確機器人的位置還不足以在復(fù)雜的環(huán)境中實現(xiàn)安全導(dǎo)航。機器人還必須能夠自己發(fā)現(xiàn)障礙物。nvblox（預(yù)覽）使用 RGB-D 數(shù)據(jù)來創(chuàng)建機器人所在環(huán)境的密集 3D 顯示。其中包括不可預(yù)見的障礙物，如果不進行實時觀察，可能會對機器人造成危險。而此數(shù)據(jù)有助于為導(dǎo)航堆棧生成時間成本圖。

DNN 推理過程

DNN 推理 GEM 是一組 ROS2 軟件包，允許開發(fā)人員使用 NGC 上可用的 NVIDIA 眾多推理模型中的任何一種，甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件，開發(fā)者可以進一步調(diào)整預(yù)訓(xùn)練模型或優(yōu)化自己的模型。

優(yōu)化后，這些軟件包將通過 NVIDIA 的推理服務(wù)器 TensorRT 或 Triton 進行部署。借助利用 TensorRT（NVIDIA 的高性能推理 SDK）的節(jié)點實現(xiàn)出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型，則可以使用 Triton 來部署模型。

整合模型支持的其他 GEM 現(xiàn)已推出，并支持 U-Net 和 DOPE ?；?TensorRT 的 U-Net 軟件包可用來從圖像中生成語義分割遮罩。DOPE 軟件包可用于對所有檢測到的目標進行 3D 姿態(tài)估計。

該工具是在 ROS 應(yīng)用程序中加入高性能 AI 推理的最快方法。下圖為預(yù)訓(xùn)練模型 PeopleSemSegNet，運行速度為 25fps @544p。

攝像頭/ 圖像處理

在典型的機器人圖像處理流程中，須先處理通過攝像頭傳感器獲得的原始數(shù)據(jù)，然后再將其傳遞給 DNN 或用于感知處理的經(jīng)典計算機視覺模組。此圖像處理過程包括鏡頭失真校正（LDC）、圖像調(diào)整和圖像格式轉(zhuǎn)換等。如果需要用到立體攝像頭，則還需要估計差異。圖像處理 GEM 旨在利用 Jetson 上的專用計算機視覺硬件，例如 GPU、VIC（視頻和圖像合成器）和 PVA（可編程的視覺加速器）。

針對使用 CSI 接口連接攝像頭的機器人，NVIDIA 提供硬件加速的 Argus 軟件包。

審核編輯：湯梓紅