在ROSCon 2023 上，NVIDIA 發(fā)布了NVIDIA Isaac Robotics平臺的重大更新。該平臺可為全球機器人開發(fā)者提供高性能感知和高保真仿真，本次更新針對NVIDIA Isaac ROS 2.0和NVIDIA Isaac Sim 2023.1以及感知和仿真升級進(jìn)行了發(fā)布，用以簡化 ROS 開發(fā)者對高性能 AI 機器人應(yīng)用的構(gòu)建與測試。

開源機器人基金會首席技術(shù)官 Geoff Biggs 表示：“ROS 一直在持續(xù)發(fā)展壯大，并為整個機器人社區(qū)提供開源軟件。此次發(fā)布的 NVIDIA 全新預(yù)構(gòu)建 ROS 2 軟件包，能夠讓廣大NVIDIA Jetson開發(fā)者輕松上手 ROS 2，從而加速 ROS 的發(fā)展進(jìn)程?！?/span>

圖1. NVIDIA Isaac Robotics平臺集合了豐富的技術(shù)，將助推AI在機器人領(lǐng)域的應(yīng)用

Isaac ROS 2.0

機器人技術(shù)自主化程度日益提升，各種傳感器技術(shù)不斷涌現(xiàn)，CPU 密集型處理已經(jīng)顯示出局限性，而加速計算自然成為了克服這些瓶頸的解決方案。

為推動開發(fā)新一代機器人解決方案，ROS 社區(qū)急需加速計算能力，而 Isaac ROS 能夠滿足這一需求。除了提供一系列加速 ROS 軟件包，NVIDIA 也與 Open Robotics 密切合作，共同促進(jìn)中間件的自身效率提升。更多信息，請閱讀文章：通過 NVIDIA Isaac ROS 傳輸改善 ROS 2 應(yīng)用的感知性能

Isaac ROS 2.0 版本已經(jīng)達(dá)到了生產(chǎn)就緒水平的品質(zhì)，主要的優(yōu)化升級包括：

• 原生 ROS 2 Humble 支持：NVIDIA 提供安裝就緒型 ROS 2 Humble 軟件包，用于 Ubuntu 20.04 上運行 JetPack 5，而無需編譯源代碼。

• NITROS ROS 橋接器：將 Isaac ROS 加速擴展到 ROS Noetic 應(yīng)用，優(yōu)化后的 ROS 橋接器比標(biāo)準(zhǔn) ROS 橋接器提速 2 倍。

• CUDA NITROS：支持開發(fā)者使用帶有自定義編碼器和解碼器的 DNN 模型，以充分利用 NITROS 的加速功能。

• Stereolabs ZED 攝像機集成：Isaac ROS 現(xiàn)已與 Stereolabs ZED 相機集成。

• Nova Carter：Isaac ROS 軟件（包括 Nav 2 導(dǎo)航堆棧）現(xiàn)已支持 Nova Carter。Nova Carter 是用于機器人研發(fā)的參考 AMR，由 NVIDIA Jetson AGX Orin 驅(qū)動。

• ESS 3.0 性能：全新 ESS 3.0 深度感知 DNN 模型具有更高的準(zhǔn)確性和更強的性能。

全球開發(fā)者都可以使用 Isaac ROS 來創(chuàng)建高性能機器人解決方案，并將其應(yīng)用于農(nóng)業(yè)、倉儲自動化、最后一公里配送、服務(wù)機器人等多個領(lǐng)域。

圖2. NVIDIA Isaac ROS（NVIDIA Isaac機器人平臺的關(guān)鍵組件）中的軟件模塊

FarmX 機器人技術(shù)副總裁 Dan Hennage 表示：“NVIDIA 提供豐富的產(chǎn)品及功能，能夠完美適用于 FarmX。從 Isaac ROS 的運行環(huán)境和程序庫，到可以在無人機、大型拖拉機等載具上部署的各種模塊，NVIDIA Jetson 和 Isaac ROS 使我們專注于應(yīng)用開發(fā)，完全不必?fù)?dān)心平臺問題?！?/span>

.lumen 首席執(zhí)行官兼創(chuàng)始人 Cornel Amariei 表示：“我們研發(fā)了目前最先進(jìn)的視障輔助技術(shù)，將自動駕駛技術(shù)的應(yīng)用尺寸縮小，直到人們可以舒適地戴在頭上。實現(xiàn)這一切完全得益于 NVIDIA Jetson 平臺以及 Isaac ROS 中經(jīng)過優(yōu)化的軟件包、節(jié)點和功能。不論是視覺實時定位建模（vSLAM）還是立體感知，我們都無法通過其他平臺做到這樣的程度?！?/span>

Isaac Sim 2023.1

從制造到物流再到汽車，AI 在機器人領(lǐng)域的應(yīng)用日益廣泛，進(jìn)而加速了各行各業(yè)的自動化進(jìn)程。起初，在開發(fā)和測試用于機器人感知或控制的 AI 模型時，相關(guān)人員往往面臨數(shù)據(jù)稀缺的難題。解決這一問題的關(guān)鍵技術(shù)便是高保真仿真。

建立于NVIDIA Omniverse的機器人仿真器 Isaac Sim，可用于開發(fā)、訓(xùn)練、測試和部署 AI 機器人。其具備強大的內(nèi)置功能，包括用于生成合成數(shù)據(jù)的NVIDIA Omniverse Replicator和用于 GPU 加速強化學(xué)習(xí)的Isaac Gym等。通過最新發(fā)布的 Omniverse Replicator 1.10，開發(fā)者利用基于 YAML 的低代碼配置器和異步渲染功能，就可以提高合成數(shù)據(jù)生成能力。

此外，Isaac Sim 的精準(zhǔn)傳感器仿真適用于當(dāng)今的多數(shù)主流傳感器。Isaac Sim 還支持 ROS 和 ROS 2，也可以通過 Python 腳本進(jìn)行控制。

Isaac Sim 2023.1 提供眾多新功能與升級，以促進(jìn)基于 AI 的機器人發(fā)展，包括：

• 全新內(nèi)置機器人模型和傳感器：使用內(nèi)置機器人模型和傳感器快速入門。新機器人模型包括 FANUC 和 Techman。新傳感器包括 Orbbec、SENSING、Zvision、Ouster 和 RealSense。

• 升級的 ROS 及 ROS 2 支持：為仿真應(yīng)用創(chuàng)建自定義 ROS 和 ROS 2 消息。URDF / MJCF 導(dǎo)入器現(xiàn)已開源，便于將機器人導(dǎo)入 Isaac Sim 平臺。

• 增強的合成數(shù)據(jù)生成（SDG）支持：針對機械臂和移動機器人應(yīng)用，現(xiàn)已添加仿真隨機化功能。進(jìn)一步了解新版 Omniverse Replicator 新增的 SDG 功能，請查看:

  https://developer.nvidia.com/blog/boost-synthetic-data-generation-with-low-code-workflows-in-nvidia-omniverse-replicator-1-10/

• 倉庫構(gòu)建器模塊化 3D 資產(chǎn)：使用 SimReady 倉庫場景和資產(chǎn)，快速創(chuàng)建強大的倉庫環(huán)境，即可測試和演練機器人解決方案。

在開發(fā)機器人和自動化解決方案時，許多公司都采用“仿真先行”策略，這意味著在構(gòu)建解決方案之前，需要通過高保真仿真來驗證設(shè)計和吞吐量。

Technology Strategy 的副總裁 Jon Battles 表示：“Collaborative Robotics 深信，協(xié)作機器人與人類并肩工作的場景，將是機器人技術(shù)發(fā)展的未來圖景。我們采用了仿真優(yōu)先的開發(fā)方法，通過廣泛使用 Isaac Sim 來加快開發(fā)用時和部署節(jié)奏?！?/span>

RIOS 工程副總裁 Chris Paulson 表示：“RIOS 在構(gòu)建未來智能工廠時，對于如何設(shè)計、測試和實現(xiàn)先進(jìn)的 AI 機器人即服務(wù)（RaaS）工作單元，NVIDIA Isaac Sim 發(fā)揮著至關(guān)重要的作用。為降低項目風(fēng)險，消除新工作單元設(shè)計風(fēng)險，并針對復(fù)雜機器人任務(wù)執(zhí)行能力的開發(fā)進(jìn)行簡化，Isaac Sim 是關(guān)鍵平臺。我們面向客戶的內(nèi)部工具也是以 Isaac Sim 作為平臺，快速、高效地為客戶提供最先進(jìn)的機器人技術(shù)?！?/span>

圖3. NVIDIA Isaac Sim 2023.1新增的內(nèi)置機器人模型包括FANUC Robot Arm（左）、Fraunhofer EvoBOT（中）和Techman Cobot（右）

NVIDIA Isaac Robotics 平臺專為推動機器人領(lǐng)域的 AI 應(yīng)用而開發(fā)。最新版本的 Isaac ROS 將助力 ROS 開發(fā)者更便捷地使用 NVIDIA AI 感知技術(shù)。全新版本的 Isaac Sim 已添加眾多新功能，在虛擬世界中，開發(fā)者可以輕松開發(fā)、測試和訓(xùn)練 AI 機器人，隨后再進(jìn)行現(xiàn)實世界的部署。使用 NVIDIA Isaac ROS 和 Isaac Sim 的開發(fā)者已有數(shù)千人，歡迎加入這一行列。

更多信息，請報名參加即將舉行的 Isaac ROS 網(wǎng)絡(luò)研討會 —— Noetic 的提速需求：將 NITROS 引入 ROS：https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series