傳感器仿真對真實世界傳感器的物理屬性和行為進行建模，以再現(xiàn)其感知周圍環(huán)境的過程。該技術使開發(fā)者能夠擁有一個安全的試驗場，來訓練、測試和驗證用于機器人、汽車和工業(yè)應用的物理 AI 模型。

1?

為什么傳感器仿真對物理 AI 至關重要？

機器人和自動駕駛汽車（AVs）等自主系統(tǒng)依賴于復雜的多維 AI 模型，使用傳感器數(shù)據(jù)來感知和回應周圍環(huán)境。

為自主系統(tǒng)開發(fā)物理 AI 算法需要大量的數(shù)據(jù)來代表現(xiàn)實世界條件的多樣性和不可預測性。但是，收集和標注大量有用的真實世界傳感器數(shù)據(jù)耗時耗力且成本高昂。此外，由于安全問題，要收集現(xiàn)實世界中危險場景的數(shù)據(jù)困難重重。

傳感器仿真提供了一種安全、可控和可擴展的方式來訓練、驗證和測試需要大量數(shù)據(jù)的模型，并加速物理 AI 的開發(fā)。

2?

傳感器仿真有哪些好處？

傳感器仿真渲染基于物理環(huán)境，開發(fā)者可通過無數(shù)逼真的“假設”場景運行自主模型，進行可靠的訓練和測試。由于機器人、自動駕駛汽車和智能工廠對傳感器數(shù)據(jù)的精確性和與環(huán)境的交互要求甚高，因此，傳感器仿真對其至關重要。

虛擬環(huán)境中的仿真?zhèn)鞲衅饕远喾N方式簡化了物理 AI 開發(fā)：

生成用于模型訓練的數(shù)據(jù)變體

仿真可以用于生成合成數(shù)據(jù)和新變體，可從真值數(shù)據(jù)中捕獲現(xiàn)實世界場景的多樣性。多樣化的數(shù)據(jù)集使模型能夠推廣到各個領域，從而提高它們在不同環(huán)境和用例中運行的有效性。

提高安全性

傳感器仿真可以對自主機器如何感知其環(huán)境的各個方面進行模擬，而無需進行真實世界的交互。這包括任意給定場景的外觀、行為和內(nèi)容，以及傳感器噪音、遮擋、來自其他智能體的不利操縱以及嚴酷的照明和天氣條件。通過在安全、可擴展的環(huán)境中進行軟件在環(huán)和硬件在環(huán)測試，開發(fā)者可以全面驗證并改進其系統(tǒng)，確保在部署前提高安全性和可靠性。

降低開發(fā)成本

傳感器仿真減少了對昂貴的大規(guī)模數(shù)據(jù)采集和標注數(shù)據(jù)的依賴，以及測試和驗證所需的物理原型數(shù)量。

縮短解決時間

傳感器仿真使開發(fā)者能夠配置虛擬世界，使用自動化工作流進行快速迭代，以提高性能并縮短端到端開發(fā)時間。此外，傳感器仿真使開發(fā)者能夠在物理傳感器可用之前對完整的解決方案進行原型設計。

3?

傳感器仿真面臨哪些挑戰(zhàn)？

精準性

虛擬傳感器的仿真必須反映真實世界傳感器的物理屬性和行為，具有一定程度的保真度，提升開發(fā)者信心，使用模擬傳感器數(shù)據(jù)來增強和擴展現(xiàn)有的真實世界工作流。

持續(xù)開發(fā)能力

擴展和維護傳感器仿真解決方案，以與其他傳感器或新功能相整合，例如高級渲染功能或復雜的傳感器行為（如非視覺傳感器的多次反射、多路徑光線追蹤效果），這些任務通常需要大量的技術專業(yè)人員。

可擴展

傳感器仿真解決方案能夠?qū)崿F(xiàn)物理 AI 開發(fā)所需的精確性和可擴展性，但構(gòu)建和維護成本可能很高。這通常意味著需要建立大規(guī)模的基礎設施，并且需要能夠管理整個軟件和硬件堆棧的團隊。

易于集成

傳感器仿真解決方案通常在復雜硬件上使用定制軟件包構(gòu)建，需要特定的領域?qū)I(yè)知識。目前沒有即插即用解決方案，可以讓開發(fā)者輕松地將現(xiàn)有的仿真工作流與傳感器仿真相連，并訓練/測試他們的物理 AI 系統(tǒng)。

4?

傳感器仿真是如何運作的？

高效的傳感器仿真包括以下組件：

數(shù)字孿生

開發(fā)者可以利用包括操作環(huán)境的 3D 模型的數(shù)字孿生技術。這些環(huán)境可能包括具有材料和視覺屬性的車輛、人、機器人、工廠或街道。數(shù)字孿生還應包括物理現(xiàn)象，例如光如何與物體交互。這種詳細的表達讓傳感器模型與周圍環(huán)境進行交互，并提取真值標簽，用于訓練和測試物理 AI。

現(xiàn)實物理現(xiàn)象和行為

在仿真環(huán)境中，開發(fā)者必須定義 3D 場景中智能體基于物理的行為，包括光和物質(zhì)。這包括精確模擬行人行走、箱子從架子上掉下來，或者移動車輛或機器人的動態(tài)等動作。每個實體都應符合物理定律，確保真實現(xiàn)實行為，并生成精確的傳感器輸出。

傳感器建模

傳感器仿真模型模擬傳感器工作流中的每一步，以準確地模擬真實世界傳感器的物理和行為。這一工作流包括光和無線電波的行為，每個傳感器中的發(fā)射器和接收器的行為，以及每個傳感器特定的其他內(nèi)部作業(yè)，如機械激光雷達或相機上的滾動快門的旋轉(zhuǎn)。各種物理現(xiàn)象，如多次反射、多路徑射線效應、多普勒、透鏡的光失真、圖像數(shù)據(jù)中的動態(tài)模糊、低光噪聲等都是縮小仿真與真實數(shù)據(jù)之間的域間隙的重要方面。

5?

傳感器仿真有哪些應用？

傳感器仿真可以使任何使用自主機器或依賴于傳感器設備的行業(yè)受益。

汽車

仿真是自動駕駛汽車開發(fā)工作流的基礎組成部分。特別是傳感器仿真，對于測試和驗證基于高保真度的物理傳感器數(shù)據(jù)的感知和規(guī)劃堆棧至關重要。

具體而言，開發(fā)者可以在傳感器仿真中反復再現(xiàn)真實世界的駕駛。該精確反復再現(xiàn)駕駛的能力使開發(fā)者能夠?qū)π阅苓M行基準測試，測量堆棧是否改進或退化，并全面測試自動駕駛汽車和駕駛員輔助系統(tǒng)。

傳感器仿真還提供了一個試驗場，以訓練自動駕駛汽車的深度神經(jīng)網(wǎng)絡，為車輛的感知提供動力。這些網(wǎng)絡可以不斷體驗多樣化的新數(shù)據(jù)集，以磨練其準確理解周圍環(huán)境的能力。傳感器仿真還可以用于開環(huán)數(shù)據(jù)生成，創(chuàng)建各種挑戰(zhàn)自動駕駛汽車的數(shù)據(jù)集。

最后，開發(fā)者可以在動態(tài)、反應性強且安全至關重要的平臺上進行閉環(huán)測試。采用高保真度傳感器的大規(guī)模運行和高性能的閉環(huán)仿真，可以增強自動駕駛汽車開發(fā)者加速預檢定位、調(diào)試和開發(fā)新功能的能力，這有助于開發(fā)人員驗證自動駕駛系統(tǒng)，以實現(xiàn)在真實世界部署。

機器人

依賴感知的機器人可以充分利用傳感器仿真工具。

自主移動機器人（AMR）在工廠和倉庫中已經(jīng)變得很普遍，用于吊裝產(chǎn)品和運輸貨物。這些自主移動機器人配備了大量傳感器，與自動駕駛汽車一樣，必須理解周圍環(huán)境并安全地導航。

人形機器人采用模仿人類外形和功能的設計，依靠傳感器在不同的環(huán)境中移動并與物體交互。傳感器仿真對于將機器人投入到現(xiàn)實世界運行前，測試和增強這些機器人在不可預測的環(huán)境中的功能起到關鍵作用。

機器人開發(fā)者使用傳感器仿真來進行姿勢估計，使機械臂能夠正確抓取物體。傳感器仿真還用于調(diào)優(yōu) AI 模型，用于光學檢測應用場景，如檢測裝配線上的缺陷產(chǎn)品和產(chǎn)品分揀。

智慧空間

傳感器仿真可用于訓練為倉庫、機場、醫(yī)院等智慧空間提供支持的 AI 模型。

開發(fā)者可對一系列應用進行感知模型的訓練，從工人安全到自主移動機器人的路線規(guī)劃和車隊優(yōu)化，再到庫存管理。

傳感器仿真可用于驗證各種AI機器人和攝像頭在物理場所的虛擬表現(xiàn)中的性能。這使得可以在單一統(tǒng)一的空間內(nèi)對不同的自主機器進行可擴展的測試。

醫(yī)療健康

先進的超聲波和內(nèi)鏡醫(yī)療設備依賴于傳感器檢查，以及從臨床邊緣設備捕獲醫(yī)療數(shù)據(jù)并以流媒體方式傳輸數(shù)據(jù)。這些設備需要極高的準確性和精度，特別是用于診斷或外科手術中。傳感器仿真能夠訓練、測試和校準醫(yī)療設備，實現(xiàn)手術精確性，從而降低錯誤或誤診的風險。

6?

如何開始使用傳感器仿真？

NVIDIA 提供支持傳感器仿真工作流的工具套件。

NVIDIA Omniverse是一個由 API、SDK 和服務組成的平臺，使開發(fā)者能夠輕松地將通用場景描述（OpenUSD）和 RTX 渲染技術集成到現(xiàn)有的軟件工具和仿真工作流中，以構(gòu)建 AI 系統(tǒng)。

NVIDIA Omniverse Cloud Sensor RTX是一套微服務，可實現(xiàn)物理精確的傳感器仿真，以加速各類完全自主機器的開發(fā)。Omniverse Cloud Sensor RTX 基于OpenUSD框架，并由NVIDIA RTX光線追蹤和神經(jīng)渲染技術提供支持，可加速生成高保真度傳感器數(shù)據(jù)，用于自主機器中使用的攝像頭、激光雷達和雷達，以安全、可重復的方式訓練和驗證物理 AI。