問

機器人可以“變身”為咖啡師嗎？

答

當然！機器人成為咖啡師的秘密武器是自主機器學習。想象一下，機器人可以在虛擬的“咖啡工坊”里反復練習沖泡咖啡，掌握各種口味和杯型的制作技巧。在你點上一杯咖啡時，機器人早已在虛擬世界里練習過無數(shù)遍，瞬間為你準備出美味飲品！

問

那么機器人也可以“眨眼間”成為食品包裝專家嗎？

答

可以，這多虧了先進的視覺感知和機器學習技術。機器人可以在虛擬的“食品工廠”里學習識別各種食品，掌握最適合的包裝方法。從巧克力到薯片，機器人通過仿真訓練，早已練就了敏銳的“包裝藝術眼”。

在上一篇文章中我們學習了機器人開發(fā)的關鍵一步——利用虛擬環(huán)境進行仿真開發(fā)與測試。在此系列第三篇中我們將帶領大家繼續(xù)學習如何打造自主機器人，登場的主角是 NVIDIA Jetson 和一系列硬件加速 SDK，旨在將 AI 緊密融入基于 NVIDIA Jetson 的自主機器人系統(tǒng)，推動機器人在感知、決策和交互方面邁向更智能化的未來。

對于 NVIDIA Jetson 來說無需過多贅言，專業(yè)開發(fā)者利用它在各行各業(yè)中創(chuàng)造具有突破性的 AI 產(chǎn)品，學生黨和發(fā)燒友也使用這一領先的邊緣 AI 平臺獲得 AI 學習方面的實戰(zhàn)經(jīng)驗，并實現(xiàn)各種令人驚嘆的項目。而在軟件層面，NVIDIA JetPack是 Jetson 平臺的基礎 SDK，為在 Jetson 上構建 AI 應用程序提供了基礎（目前已更新至版本 5.1.2）。它捆綁了所有 Jetson 平臺軟件，包括 TensorRT、cuDNN、CUDA Toolkit、VPI、GStreamer 和 OpenCV，所有這些軟件都建立在 Jetson Linux之上，帶有 LTS Linux 內(nèi)核。

需要開發(fā)者留意的是，每個 Jetson 開發(fā)者套件都包含一個連接到參考載板的非生產(chǎn)規(guī)格 Jetson 模組，與 JetPack SDK 一起服務于用例在預生產(chǎn)環(huán)境中的軟件開發(fā)和測試。Jetson 模組則普遍用于在使用壽命期間部署到生產(chǎn)環(huán)境中，模組出廠時都沒有預裝軟件，開發(fā)者可以將其連接到為最終產(chǎn)品設計或采購的載板上，并使用開發(fā)的軟件映像對其進行閃存。

多樣 AI 軟件包賦能機器人感知

針對借助 ROS（機器人操作系統(tǒng)）進行實踐的開發(fā)人群，NVIDIA 也提供了一款基于硬件加速的軟件包—— NVIDIA Isaac ROS GEM，可以讓 ROS 開發(fā)者更輕松地使用 NVIDIA 硬件構建高性能解決方案。這個軟件包結合了 ROS 和 NVIDIA 的 Isaac SDK，提供了強大的 AI 開發(fā)工具，可以讓機器人實現(xiàn)立體視覺測距、自主定位導航、環(huán)境感知、目標識別等功能，從而使其能夠更好地適應復雜的現(xiàn)實場景，更快速、準確地感知環(huán)境并做出智能決策。

利用 Isaac ROS GEM，我們可以輕松地將 AI 賦予借助 ROS 開發(fā)的機器人。這個強大的 SDK 為機器人注入了全新的能力，使其能夠智能、靈活地與環(huán)境互動。

優(yōu)化視頻流解析與分析

自主機器人的智能化與自主性能直接依賴于其對環(huán)境的準確感知和智能決策能力，類似“眼”和“大腦”的配合。在這方面，視頻流解析扮演了關鍵的角色，為機器人提供了強大的視覺感知能力，使其能夠理解和適應復雜多變的環(huán)境。

• 實時環(huán)境感知與障礙物識別：自主機器人在不同的環(huán)境中自主導航和操作的能力取決于其對周圍環(huán)境的實時感知。通過視頻流解析，機器人可以從攝像頭獲取實時圖像數(shù)據(jù)，并利用計算機視覺技術識別環(huán)境中的障礙物、道路、標志等。這為機器人實現(xiàn)智能避障、路徑規(guī)劃以及環(huán)境理解提供了基礎。

• 目標檢測和跟蹤：視頻流解析技術使得機器人能夠識別和跟蹤環(huán)境中的目標，如人類、其他車輛、動物等。這對于自主導航、協(xié)作任務以及監(jiān)控應用具有重要意義。例如，機器人可以通過識別行人和交通信號燈來安全地穿越交通路口，或者在危險環(huán)境中檢測并避免風險。

• 環(huán)境建模與導航規(guī)劃：通過對視頻流進行實時解析，機器人可以建立環(huán)境模型，包括地圖、障礙物、地標等信息。這些環(huán)境模型為機器人的自主導航和路徑規(guī)劃提供了依據(jù)。機器人可以利用這些信息進行路徑優(yōu)化，選擇最佳路徑以達到目的地，同時避開障礙物和危險區(qū)域。

• 情境感知和交互增強：視頻流解析使得機器人能夠更深入地理解周圍環(huán)境，從而更好地與人類進行交互。例如，機器人可以通過觀察人類的面部表情和姿態(tài)來識別情緒，進而調整自己的行為以更好地滿足人類的需求。這種情境感知和智能交互的能力為機器人賦予了更加親近和智能的形象。

對于需要處理視頻流的機器人，NVIDIA DeepStream SDK 是一款無可比擬的工具。作為一個完整的流分析工具包，DeepStream 用于構建 AI 應用程序，將來自 USB 或 CSI 攝像頭、文件或 RTSP 的視頻流數(shù)據(jù)作為輸入，并使用 AI 和計算機視覺從像素中生成見解，以便更好地了解環(huán)境，成為了許多視頻分析解決方案的基礎層。對于機器人而言，這意味著它們可以更迅速地分析周圍的視覺數(shù)據(jù)，實現(xiàn)實時的目標識別和追蹤。

DeepStream SDK 附帶 30 多個示例應用，可以幫助開發(fā)者順利啟動開發(fā)工作。大多數(shù)示例均提供 C/C++、Python 和 Graph Composer 版本，可在 NVIDIA Jetson 平臺上運行。

開啟自主機器人的

語音與自然語言處理時代

自然語言處理技術是實現(xiàn)智能機器人互動的關鍵。NVIDIA Riva 是一款用于構建和部署語音 AI 應用的 GPU 加速軟件開發(fā)工具包，包含了十種語言的預訓練模型。它用于自動語音識別（ASR）及文本轉語音（TTS），以啟用實時語音對話。從虛擬助手到數(shù)字虛擬形象再到自主機器人，都可以構建和部署完全可自定義的實時 AI 流程。NVIDIA Riva 的引入，使機器人可以以更自然的方式與人類進行語音對話，實現(xiàn)語音控制、語音搜索等應用，為機器人賦能智能交互帶來了前所未有的機會。

通過整合 NVIDIA Jetson 的強大邊緣算力和硬件加速 SDK 的優(yōu)勢，我們能夠為機器人賦予更高級的自主能力，實現(xiàn)實時的推理和響應，從而在不同的應用場景中獲得出色的性能。無論是在自主導航、環(huán)境感知、視頻分析，還是語音識別等領域，NVIDIA 技術加持的自主機器人都將會帶來全新的智能體驗。

• 全面了解 NVIDIA Jetson 平臺：

  https://www.nvidia.cn/autonomous-machines/embedded-systems/

• Isaac ROS GEM——基于硬件加速的軟件包，可以讓 ROS 開發(fā)者更輕松地基于 NVIDIA 硬件構建高性能解決方案：https://developer.nvidia.com/zh-cn/isaac-ros

• 利用 DeepStream SDK 快速開發(fā)和部署視覺 AI 應用和服務（現(xiàn)已更新至版本 6.3）：

  https://developer.nvidia.cn/zh-cn/deepstream-sdk

• 構建定制的實時語音 AI 應用：

  https://developer.nvidia.com/zh-cn/riva