機(jī)器人技術(shù)在智能制造設(shè)施、商用廚房、醫(yī)院、倉儲物流和農(nóng)業(yè)領(lǐng)域等各種環(huán)境中的應(yīng)用正在迅速擴(kuò)大。該行業(yè)正在向智能自動化轉(zhuǎn)型，因此要求機(jī)器人具備更強(qiáng)的能力來執(zhí)行感知、測繪、導(dǎo)航、負(fù)載處理、物體抓取、復(fù)雜裝配任務(wù)等功能。

AI 由于能夠增強(qiáng)機(jī)器人的性能，因此在這一發(fā)展演進(jìn)過程中起到了舉足輕重的作用。通過集成 NVIDIA AI 加速功能，機(jī)器人能夠以更高的精度和效率處理復(fù)雜的任務(wù)，充分發(fā)揮出它們在各種應(yīng)用中的潛能。

NVIDIA 在 COMPUTEX 上發(fā)布了幾項新功能來幫助機(jī)器人專家和工程師打造智能機(jī)器人，包括：

NVIDIA Isaac Perceptor：一款適用于自主移動機(jī)器人（AMR）和自動導(dǎo)引車（AGV）的全新參考工作流。

NVIDIA Isaac Manipulator：為工業(yè)機(jī)械臂提供全新的基礎(chǔ)模型和參考工作流。

NVIDIA Jetson for Robotics：在 NVIDIA JetPack 6.0 中進(jìn)行了最新更新。

NVIDIA Isaac Sim 4.0：帶來適用于機(jī)器人學(xué)習(xí)的輕量級應(yīng)用 NVIDIA Isaac Lab。

視頻 1. 全球機(jī)器人開發(fā)領(lǐng)域的領(lǐng)先者正在采用 NVIDIA Isaac 來研究、開發(fā)和生產(chǎn)新一代 AI 機(jī)器人

NVIDIA Isaac Perceptor

AMR 和 AGV 對裝配線效率、材料搬運和醫(yī)療物流至關(guān)重要。由于這些機(jī)器人需要在復(fù)雜的非結(jié)構(gòu)化環(huán)境中穿梭，因此必須具備對周圍環(huán)境的感知和反應(yīng)能力。

Isaac Perceptor 建立在 NVIDIA Isaac 機(jī)器人操作系統(tǒng)（ROS）上，能夠幫助原始設(shè)備制造商（OEM）、貨運服務(wù)供應(yīng)商、軟件廠商和 AMR 生態(tài)系統(tǒng)加速機(jī)器人技術(shù)的開發(fā)。開發(fā)團(tuán)隊可以為移動機(jī)器人加入感知能力，使其能夠在非結(jié)構(gòu)化環(huán)境中成功導(dǎo)航和避障。

Isaac Perceptor 的早期合作伙伴中既有倉儲/內(nèi)部物流行業(yè)的領(lǐng)先企業(yè)，也有汽車制造商、工業(yè)機(jī)器人制造公司和機(jī)器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、凱傲、Kudan、idealworks、RGo 和泰瑞達(dá)機(jī)器人。

Isaac Perceptor 的關(guān)鍵功能

Isaac Perceptor 為基于 AI 的自主移動機(jī)器人提供多攝像頭 3D 環(huán)視功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 能夠以 30 赫茲的頻率，每秒處理每個攝像頭的 1650 萬個深度點。立體視差是根據(jù)來自立體攝像頭的同步圖像對計算得出的，并將其用于生成深度圖像或場景點云。高效半監(jiān)督深度神經(jīng)網(wǎng)絡(luò)（ESS DNN）為基于 DNN 的立體視差提供了 GPU 加速軟件包。

多攝像頭視覺慣性測距

Isaac ROS Visual SLAM 提供用于視覺同步定位與映射（VSLAM）和視覺里程測量（VO）的 ROS 2 軟件包。該功能基于NVIDIA CUDA Visual SLAM（cuVSLAM）庫，在無特征環(huán)境中導(dǎo)航時，可提供平移誤差小于 1% 的穩(wěn)健導(dǎo)航。

眾所周知，VSLAM 解決方案所面臨的挑戰(zhàn)之一是在視覺特征稀疏或模式重復(fù)的環(huán)境中導(dǎo)航。通過融合來自多個視角的輸入，可以緩解這一問題。在最新的更新中，cuVSLAM 融合了來自多個立體攝像頭的并發(fā)視覺里程測量估算值。

我們的測試結(jié)果顯示出明顯的改進(jìn)。使用多個攝像頭時，機(jī)器人始終能夠?qū)崿F(xiàn)導(dǎo)航目標(biāo)；而使用單個攝像頭時，這一比例不到 25%。

表 1. cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2

的性能比較。cuVSLAM 在使用多攝像頭的

機(jī)器人導(dǎo)航中展現(xiàn)出更強(qiáng)大的性能

在GitHub 頁面了解更多信息：

https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_visual_slam/isaac_ros_visual_slam/index.html

與使用兩個攝像頭和四個攝像頭的比較

實時多攝像頭體素網(wǎng)格映射

Isaac Perceptor 的核心是 nvblox，它是一個由 CUDA 加速的 3D 重構(gòu)庫，可以識別五米以外的障礙物，從而提供 2D 成本圖并在 300 毫秒內(nèi)完成更新。

Isaac ROS nvblox 提供了用于重建 3D 場景和生成進(jìn)行導(dǎo)航的本地障礙物成本圖的 ROS 2 軟件包。該軟件包可用于靜態(tài)環(huán)境以及有人員和移動物體的場景。

該版本新增了多攝像頭支持，最多可使用三個 HAWK 攝像頭擴(kuò)大覆蓋范圍，提供約 270° 的視野。

體素 3D 重建，包括懸置障礙物的重建

NVIDIA Nova Orin 開發(fā)者套件

該開發(fā)者套件采用NVIDIA Jetson AGX Orin，可支持多達(dá)六個攝像頭，包括三個立體攝像頭和三個魚眼攝像頭，攝像頭內(nèi)的延遲低于 100 微秒。

立體攝像頭的分辨率為每臺 200 萬像素，視野為 110X70，適用于 3D 占用網(wǎng)格映射、深度感知、視覺里程測量和人員檢測。通過 Segway 或 Leopard Imaging 購買Nova Orin開發(fā)者套件后，即可使用 Isaac Perceptor。

Isaac Perceptor 的參考圖最多可支持三個立體攝像頭。該版本通過 ROS 2 軟件包加強(qiáng)了模塊化，并提供與 Nova Carter 參考機(jī)器人上的Nav2的參考集成：

https://nav2.org/

增強(qiáng)與攝像頭和傳感器的兼容性

Isaac Perceptor 為攝像頭和傳感器合作伙伴提供更加強(qiáng)大的集成支持。Orbbec 成功地將其 Gemini 335L 攝像頭與 NVDIA Isaac Perceptor 組件集成在一起，并在 NVIDIA Jetson AGX Orin 上使用 Isaac ROS Visual SLAM 和 Nvblox 進(jìn)行了演示。

LIPS 也成功地將其 AE450 攝像頭與 Isaac Perceptor 組件 nvblox 進(jìn)行了集成。

NVIDIA Isaac Manipulator

Isaac Manipulator 是 NVIDIA 加速庫和 AI 模型的一個工作流。開發(fā)者能夠使用它為機(jī)械臂或機(jī)械手帶來 AI 加速功能，使其能夠無縫感知、理解環(huán)境并與環(huán)境互動。

其基礎(chǔ)模型和加速庫可以作為獨立模塊，也可以集成為解決方案開發(fā)中的整個工作流。除了獨立的模塊化組件外，開發(fā)者還能獲得工作流示例（ROS 2 啟動腳本），這些示例結(jié)合了 Isaac Manipulator 組件，能夠?qū)崿F(xiàn)完整的端到端參考集成。

圖 . 利用 NVIDIA 組件（綠色）的

Isaac Manipulator 工作流示例

Isaac Manipulator 的早期合作伙伴包括機(jī)器人開發(fā)平臺公司、原始設(shè)備制造商和 ISV/SI，例如 Intrinsic（Alphabet 旗下公司）、西門子、所羅門、達(dá)明機(jī)器人、泰瑞達(dá)機(jī)器人、Vention 和安川電機(jī)。

Isaac Manipulator 的主要特點

Isaac Manipulator 帶來了可加速機(jī)械臂開發(fā)的 AI 功能。

cuMotion 加速路徑規(guī)劃

這款 GPU 加速運動規(guī)劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 運動規(guī)劃框架的一個插件使用，該框架是由一個國際社區(qū)開發(fā)的開源項目，并由 PickNik Robotics 領(lǐng)導(dǎo)。

cuMotion 可在多個種子上并行運行軌跡優(yōu)化，并返回最佳解決方案。

NVIDIA cuMotion 插件

所羅門是先進(jìn)視覺和機(jī)器人解決方案領(lǐng)域的領(lǐng)先企業(yè)，同時也是 Isaac Manipulator 的早期合作伙伴。與傳統(tǒng)算法相比，其拾取系統(tǒng)通過 Isaac Manipulator cuMotion 的增強(qiáng)，路徑規(guī)劃速度提高了 8 倍，路徑奇異性的發(fā)生率降低了 50%。

表 2. 使用 Isaac Manipulator 的所羅門拾取系統(tǒng)的性能提升情況。

所羅門在成功率、移動時間、軌跡長度和規(guī)劃時間方面都有明顯改善，路徑奇異性現(xiàn)象也有所減少。

該數(shù)據(jù)由所羅門公司提供。

FoundationPose

FoundationPose 是一種新的統(tǒng)一基礎(chǔ)模型，適用于單樣本 6D 姿態(tài)估計和新物體追蹤。該模型在遇到以前未見過的物體時，無需進(jìn)行微調(diào)即可在應(yīng)用中高精度地工作。

目前，F(xiàn)oundationPose 在 2023 BOP 未見物體 6D 定位排行榜上名列前茅。它在遮擋、快速運動以及紋理和比例等各種物體屬性下都具有很強(qiáng)的魯棒性，在各種場景中都能發(fā)揮可靠的性能。開發(fā)者可以從任何角度生成逼真的物體視圖。從 GitHub 獲取 FoundationPose 模型：

進(jìn)行姿態(tài)估計和追蹤

SyntheticaDETR

SyntheticaDETR 是一套基于實時檢測轉(zhuǎn)換器（DETR）的模型，用于在使用NVIDIA Omniverse生成的合成數(shù)據(jù)上進(jìn)行單樣本圖像空間物體檢測訓(xùn)練。與傳統(tǒng)的物體檢測器相比，它采用轉(zhuǎn)換器編碼器-解碼器架構(gòu)一次性預(yù)測所有物體，從而實現(xiàn)了一種更加高效的方法。

進(jìn)行物體檢測和追蹤

SyntheticaDETR 使用合成數(shù)據(jù)和真實數(shù)據(jù)進(jìn)行訓(xùn)練而成。它在使用 YCB-Video 數(shù)據(jù)集對可見物體進(jìn)行 2D 檢測的 BOP 排行榜上名列前茅（平均精確度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態(tài)估計器的 2D 邊界框感興趣區(qū)域。下載SyntheticaDETR 模型：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/isaac/models/synthetica_detr

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0，并支持所有 NVIDIA Jetson Orin 模塊和開發(fā)者套件。

NVIDIA Jetson 平臺服務(wù)即將推出 API 驅(qū)動的模塊化服務(wù)，使用戶能夠更加快速、輕松地構(gòu)建生成式 AI 和機(jī)器人應(yīng)用，這些預(yù)構(gòu)建和可定制的服務(wù)將加速 NVIDIA Jetson Orin 系統(tǒng)模塊上的 AI 應(yīng)用開發(fā)。

NVIDIA Isaac Sim 4.0

使用 Isaac Sim，開發(fā)者可以通過業(yè)界領(lǐng)先的傳感器和機(jī)器人類型測試生成合成數(shù)據(jù)和各種虛擬復(fù)雜測試環(huán)境，從而進(jìn)行高度逼真的仿真，同時對數(shù)千個機(jī)器人進(jìn)行實時測試。

NVIDIA Isaac Lab

Isaac Lab 是一款基于 Isaac Sim 平臺構(gòu)建的輕量級參考應(yīng)用，它在機(jī)器人基礎(chǔ)模型訓(xùn)練中發(fā)揮著舉足輕重的作用。Isaac Lab 支持強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)和遷移學(xué)習(xí)，它可以訓(xùn)練各種機(jī)器人模型以供開發(fā)者研究設(shè)計和功能。

新版本還通過兼容性檢查器實現(xiàn)與 VSCode 的輕松集成、為強(qiáng)化學(xué)習(xí)提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能，并提供優(yōu)化的緩存和著色器管理。

Isaac Sim 的其他新特點包括：

便于使用 PIP 安裝以及機(jī)器人導(dǎo)入等功能的向?qū)?/p>

合成數(shù)據(jù)生成（SDG）速度提高了 80%，從而提高了性能

新的 SDG 格式，支持 COCO 格式和用于姿態(tài)估計的自定義寫入器

ROS 2 啟動支持，提供端到端工作流并為基于圖像的發(fā)布器提供更好的性能

支持更多內(nèi)置機(jī)器人：包括優(yōu)傲機(jī)器人 UR20 和 UR30 以及波士頓動力 Spot。還有許多人形機(jī)器人，包括 1X Neo、宇樹 H1、Agility Digit、傅利葉智能 GR1、Sanctuary A1 Phoenix 和小鵬 PX5。

審核編輯：彭菁