描述

介紹

構(gòu)建對象檢測模型可能很棘手，因為它需要大型數(shù)據(jù)集。有時，數(shù)據(jù)可能很少或不夠多樣化，無法訓(xùn)練出穩(wěn)健的模型。合成數(shù)據(jù)提供了一種替代方法，可以生成具有良好代表性的數(shù)據(jù)集來構(gòu)建質(zhì)量模型。通過應(yīng)用域隨機(jī)化，我們開發(fā)了逼真的數(shù)據(jù)集，訓(xùn)練了神經(jīng)網(wǎng)絡(luò)，并使用真實數(shù)據(jù)集驗證了模型。為了創(chuàng)建多樣化的數(shù)據(jù)集，我們創(chuàng)建了各種具有隨機(jī)屬性的模擬環(huán)境：不斷變化的光照條件、相機(jī)位置和材料紋理。我們還表明，合成的隨機(jī)數(shù)據(jù)集可以幫助推廣模型以適應(yīng)現(xiàn)實環(huán)境。

描述

我們想復(fù)制Louis Moreau 的物體檢測工作，但這次使用合成數(shù)據(jù)而不是真實數(shù)據(jù)。該項目旨在演示如何使用 Nvidia Omniverse Replicator 生成的合成數(shù)據(jù)集構(gòu)建和部署 Edge Impulse 對象檢測模型。Replicator 是 Nvidia Omniverse 的擴(kuò)展，它提供了生成物理上準(zhǔn)確的合成數(shù)據(jù)的方法。

為什么要合成數(shù)據(jù)？

分類、對象檢測和分割等計算機(jī)視覺任務(wù)需要大規(guī)模數(shù)據(jù)集。從一些現(xiàn)實世界的應(yīng)用程序中收集的數(shù)據(jù)往往范圍狹窄且多樣性較低，通常是從單一環(huán)境中收集的，有時是不變的并且在大多數(shù)時間保持不變。此外，從單一領(lǐng)域收集的數(shù)據(jù)往往具有較少的尾端場景和罕見事件的示例，我們無法輕易地將這些情況復(fù)制到現(xiàn)實世界中。

因此，在單個域中訓(xùn)練的模型很脆弱，并且在部署到另一個環(huán)境時經(jīng)常會失敗；因此，它需要另一個訓(xùn)練周期來適應(yīng)新環(huán)境。這就提出了一個問題，我們?nèi)绾尾拍苡行伊畠r地跨多個領(lǐng)域收集廣義數(shù)據(jù)？一個簡單但不合理的有效解決方案是Domain Randomization，改變前景物體的紋理和顏色，背景圖像，場景中的燈光數(shù)量，燈光的姿態(tài)，相機(jī)位置等。Domain randomization可以進(jìn)一步提高模擬器中生成的罕見事件的合成數(shù)據(jù)結(jié)構(gòu)的可變性。

“域隨機(jī)化的目的是在訓(xùn)練時提供足夠的模擬可變性，以便在測試時模型能夠推廣到真實世界的數(shù)據(jù)。” - Tobin 等人，用于將深度神經(jīng)網(wǎng)絡(luò)從模擬轉(zhuǎn)移到現(xiàn)實世界的域隨機(jī)化，2017 年

Nvidia Replicator 使我們能夠執(zhí)行域隨機(jī)化。Replicator 是 Omniverse 系列中的一個模塊，它提供工具和工作流程來為各種計算機(jī)視覺和非視覺任務(wù)生成數(shù)據(jù)。Replicator 是一種高度互操作的工具，可與 40 多個不同垂直領(lǐng)域的建模/渲染應(yīng)用程序集成。由于 Pixar 的通用場景描述 (USD)，無縫集成成為可能，它作為 Blender、3DMax、Maya、Revit、C4D 等各種應(yīng)用程序的協(xié)議，與 Nvidia Replicator 一起工作。

以數(shù)據(jù)為中心的工作流程

傳統(tǒng)的機(jī)器學(xué)習(xí)工作流程往往以模型為中心，通過迭代改進(jìn)算法設(shè)計等更多地關(guān)注模型的開發(fā)。在這個項目中，我們選擇了以數(shù)據(jù)為中心的方法，我們固定模型并迭代提高生成的質(zhì)量數(shù)據(jù)集。這種方法更加穩(wěn)健，因為我們知道我們的模型與數(shù)據(jù)集一樣好。因此，該方法系統(tǒng)地改變了 AI 任務(wù)的數(shù)據(jù)集性能。它的核心是從數(shù)據(jù)而非模型的角度考慮機(jī)器學(xué)習(xí)。

數(shù)據(jù)生成和模型構(gòu)建工作流程

?

硬件和驅(qū)動程序設(shè)置

Nvidia Omniverse Replicator 是一個計算密集型應(yīng)用程序，需要中等大小的 GPU 和不錯的 RAM。我的硬件設(shè)置包括 32GB RAM、1TB 存儲空間和 8GB GPU 以及 Intel i9 處理器。

?

?

?

?

1 / 2 ?硬件規(guī)格

?

該應(yīng)用程序可以在 Windows 和 Linux 操作系統(tǒng)上運行。對于這個實驗，我們使用了 Ubuntu 20.04 LTS 發(fā)行版，因為從 2022 年 11 月起 Nvidia Omniverse 不再支持 Ubuntu 18.04。此外，我們選擇了合適的 Nvidia 驅(qū)動程序 v510.108.03 并將其安裝在 Linux 機(jī)器上。

?

?

?

?

1 / 2 ?軟件規(guī)格

?

實驗設(shè)置和數(shù)據(jù)生成

實驗環(huán)境由可移動和不可移動的物體（動態(tài)和靜態(tài)定位物體）組成。不可移動的物體由燈、一張桌子和兩個相機(jī)組成。同時，可移動的物體是餐具，即勺子、叉子和刀子。我們將使用域隨機(jī)化來改變一些可移動和不可移動物體的屬性。包括對象和場景的資產(chǎn)在 Replicator 中表示為 USD。

實驗裝置

?

Omniverse Replicator 中的每個對象都以美元表示。可以使用 Nvidia Omniverse 的 CAD Importer 擴(kuò)展將具有不同擴(kuò)展名（例如 obj、fbx 和 glif）的 3D 模型文件導(dǎo)入 Replicator。該擴(kuò)展程序?qū)?3D 文件轉(zhuǎn)換為美元。我們通過指定資產(chǎn)路徑將我們的資產(chǎn)（桌子、刀、勺子和叉子）導(dǎo)入到模擬器中。

?

?

?

?

1 / 2 ?閃電設(shè)置

?

閃電在數(shù)據(jù)生成中起著至關(guān)重要的作用。Nvidia 復(fù)制器中有不同的內(nèi)置照明類型。我們選擇兩個矩形燈和一個圓頂燈，因為它們?yōu)槲覀兲峁┝烁玫恼彰鬟x項和生成逼真圖像的能力。矩形燈模擬面板產(chǎn)生的光，圓頂燈讓您動態(tài)照亮整個場景。我們隨機(jī)化了一些光參數(shù)，例如溫度和強(qiáng)度，并且這兩個參數(shù)都是從正態(tài)分布中采樣的。此外，比例參數(shù)是從均勻分布中采樣的，同時保持燈光的旋轉(zhuǎn)和位置固定。

# Lightning setup for Rectangular light and Dome light 

def rect_lights(num=2):
    lights = rep.create.light(
    light_type="rect",
    temperature=rep.distribution.normal(6500, 500),
    intensity=rep.distribution.normal(0, 5000),
    position=(-131,150,-134),
    rotation=(-90,0,0),
    scale=rep.distribution.uniform(50, 100),
    count=num
    )
    return lights.node

def dome_lights(num=1):
    lights = rep.create.light(
    light_type="dome",
    temperature=rep.distribution.normal(6500, 500),
    intensity=rep.distribution.normal(0, 1000),
    position=(0,0,0),
    rotation=(270,0,0),
    count=num
    )
return lights.node

我們固定位置和旋轉(zhuǎn)，選擇桌面材料，選擇額外的桃花心木材料，并在數(shù)據(jù)生成過程中交替使用材料。

# Import and position the table object

def table():
    table = rep.create.from_usd(TABLE_USD, semantics=[('class', 'table')])

    with table:
        rep.modify.pose(
            position=(-135.39745, 0, -140.25696),
            rotation=(0,-90,-90),
        )
    return table

為了進(jìn)一步提高我們數(shù)據(jù)集的質(zhì)量，我們選擇了兩個不同分辨率的攝像機(jī)，我們將它們戰(zhàn)略性地放置在場景中的不同位置。此外，我們在不同版本的數(shù)據(jù)生成過程中改變了攝像機(jī)的位置。

# Multiple setup cameras and attach it to render products
camera1 = rep.create.camera(focus_distance,focal_length,position,rotation...)
camera2 = rep.create.camera(focus_distance,focal_length2,position,rotation...)

# Will render 1024x1024 images and 512x512 images
render_product  = rep.create.render_product(camera1, (1024, 1024))
render_product2  = rep.create.render_product(camera2, (512, 512))

最后，對于可移動的物體，包括刀、勺子和叉子，我們確保這些物體只能在桌子的邊界內(nèi)平移。所以我們選擇了一個邊界位置，在這個位置上，對象會隨著桌子平移和旋轉(zhuǎn)。我們從均勻分布中采樣位置和旋轉(zhuǎn)，同時將每次迭代生成的可移動對象的數(shù)量保持為五個。

# Define randomizer function for CULTERY assets.

def cutlery_props(size=5):
    instances = rep.randomizer.instantiate(rep.utils.get_usd_files(knife), size=size, mode='point_instance')
    with instances:
        rep.modify.pose(
            position=rep.distribution.uniform((-212, 76.2, -187), (-62.)),
            rotation=rep.distribution.uniform((-90,-180, 0), (-90, 180, 0)),
             )
    return instances.node

此時此刻，我們已經(jīng)實例化了場景中的所有對象。我們現(xiàn)在可以運行隨機(jī)化器在每個合成生成周期生成 50 張圖像。

# Register randomization
with rep.trigger.on_frame(num_frames=50):
    rep.randomizer.table()
    rep.randomizer.rect_lights(1)
    rep.randomizer.dome_lights(1)
    rep.randomizer.cutlery_props(5)

# Run the simulation graph
rep.orchestrator.run()

為確保生成逼真的圖像，我們切換到 RTX 交互（路徑追蹤）模式，該模式提供高保真渲染。

數(shù)據(jù)分發(fā)和模型構(gòu)建

不同項目的數(shù)據(jù)分布

?

遵循以數(shù)據(jù)為中心的理念，我們生成了三個版本的數(shù)據(jù)集。第一個版本V1由垂直于相機(jī)位置的生成圖像組成，而V2表示在桃花心木桌面上與相機(jī)位置成 60 度角生成的圖像。V3包含垂直于相機(jī)位置的圖像，同時餐具懸掛在空間中。

V1 - 垂直于物體

?

V2 - 與物體成角度

?

V3 - 垂直于物體和懸浮在空間中的物體。

?

?

?

?

?

1 / 2 ?生成的數(shù)據(jù)集

?

Edge Impulse：數(shù)據(jù)標(biāo)注與模型構(gòu)建

?

?

?

?

1 / 2 ?帶邊緣脈沖的數(shù)據(jù)注釋

?

我們將生成的圖像上傳到 Edge Impulse Studio，我們在其中將數(shù)據(jù)集注釋為不同的類。我們仔細(xì)注釋了每個數(shù)據(jù)集版本，并使用Yolov5對象檢測模型進(jìn)行了訓(xùn)練。在確定為320之前，我們嘗試了 320、512 和 1024 像素的幾種輸入尺寸。Edge Impulse 為模型提供了一個出色的版本控制系統(tǒng)，使我們能夠跟蹤不同數(shù)據(jù)集版本和超參數(shù)的模型性能。

?

?

?

?

1 / 2 ?建筑模型

?

用真實物體測試物體檢測模型

我們使用 Edge Impulse CLI 工具通過在本地下載、構(gòu)建和運行模型來評估模型的準(zhǔn)確性。相機(jī)的位置在實驗過程中保持固定。下面的片段顯示經(jīng)過訓(xùn)練的模型不能很好地泛化到真實世界的對象。因此，我們需要通過使用 V2 數(shù)據(jù)集上傳、注釋和訓(xùn)練模型來改進(jìn)模型。

當(dāng)使用 V2 數(shù)據(jù)集訓(xùn)練時，我們觀察到模型性能有所提高。該模型可以清楚地識別各種物體，盡管當(dāng)我們改變物體的方向時模型失敗了。因此，我們使用剩余的 V3 數(shù)據(jù)集訓(xùn)練模型以緩解這些問題并增加其他超參數(shù)，例如從 500 到 2000 的紀(jì)元。我們還測試了我們的對象檢測器在具有不同背景紋理的真實對象上的性能，模型表現(xiàn)良好在這些條件下。

在對各種超參數(shù)進(jìn)行多次迭代之后，我們得到了一個可以很好地概括不同方向的模型。

解決 ML 問題的以數(shù)據(jù)為中心的方法背后的核心思想是圍繞模型的故障點創(chuàng)建更多數(shù)據(jù)。我們通過迭代改進(jìn)數(shù)據(jù)生成來改進(jìn)模型，特別是在模型之前失敗的區(qū)域。

結(jié)論

在這項工作中，我們了解了域隨機(jī)化方法如何幫助為對象檢測任務(wù)生成高質(zhì)量和泛化良好的數(shù)據(jù)集。我們還展示了以數(shù)據(jù)為中心的機(jī)器學(xué)習(xí)工作流程在提高模型性能方面的有效性。雖然這項工作僅限于視覺問題，但我們可以將域隨機(jī)化擴(kuò)展到其他傳感器，如激光雷達(dá)、加速度計和超聲波傳感器。

參考

• Edge Impulse 項目
• 復(fù)制器簡介
• 美元簡介
• 特斯拉人工智能日
• 用于傳輸深度神經(jīng)網(wǎng)絡(luò)的域隨機(jī)化
• 了解 SIM-TO-REAL 傳輸?shù)挠螂S機(jī)化