電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程14.1之圖像增強(qiáng)

PyTorch教程14.1之圖像增強(qiáng)

2079000 2023-06-05 | pdf | 0.23 MB | 次下載 | 免費(fèi)

資料介紹

在8.1 節(jié)中，我們提到大型數(shù)據(jù)集是深度神經(jīng)網(wǎng)絡(luò)在各種應(yīng)用中取得成功的先決條件。圖像增強(qiáng)在對訓(xùn)練圖像進(jìn)行一系列隨機(jī)變化后生成相似但不同的訓(xùn)練示例，從而擴(kuò)大了訓(xùn)練集的大小。或者，圖像增強(qiáng)的動機(jī)可能是訓(xùn)練示例的隨機(jī)調(diào)整允許模型減少對某些屬性的依賴，從而提高它們的泛化能力。例如，我們可以通過不同的方式裁剪圖像，使感興趣的對象出現(xiàn)在不同的位置，從而減少模型對對象位置的依賴。我們還可以調(diào)整亮度和顏色等因素，以降低模型對顏色的敏感度。圖像增強(qiáng)對于當(dāng)時 AlexNet 的成功來說可能是不可或缺的。在本節(jié)中，我們將討論這種在計算機(jī)視覺中廣泛使用的技術(shù)。

						%matplotlib inline
import torch
import torchvision
from torch import nn
from d2l import torch as d2l

						 

						%matplotlib inline
from mxnet import autograd, gluon, image, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

						 

14.1.1。常見的圖像增強(qiáng)方法

在我們對常見圖像增強(qiáng)方法的研究中，我們將使用以下方法400×500形象一個例子。

							d2l.set_figsize()
img = d2l.Image.open('../img/cat1.jpg')
d2l.plt.imshow(img);

							 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OwuAfxQ9AAHybXAM-vQ446.svg

							d2l.set_figsize()
img = image.imread('../img/cat1.jpg')
d2l.plt.imshow(img.asnumpy());

							 

大多數(shù)圖像增強(qiáng)方法都具有一定的隨機(jī)性。為了方便我們觀察圖像增強(qiáng)的效果，接下來我們定義一個輔助函數(shù)apply。aug此函數(shù)在輸入圖像上多次運(yùn)行圖像增強(qiáng)方法img 并顯示所有結(jié)果。

							def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):
  Y = [aug(img) for _ in range(num_rows * num_cols)]
  d2l.show_images(Y, num_rows, num_cols, scale=scale)

							 

							def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):
  Y = [aug(img) for _ in range(num_rows * num_cols)]
  d2l.show_images(Y, num_rows, num_cols, scale=scale)

							 

14.1.1.1。翻轉(zhuǎn)和裁剪

左右翻轉(zhuǎn)圖像通常不會改變對象的類別。這是最早和最廣泛使用的圖像增強(qiáng)方法之一。接下來，我們使用該transforms模塊創(chuàng)建實(shí)例RandomHorizontalFlip，它以 50% 的幾率左右翻轉(zhuǎn)圖像。

								apply(img, torchvision.transforms.RandomHorizontalFlip())

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OxCAR_h_AAKgwdZBIlU089.svg

上下翻轉(zhuǎn)不像左右翻轉(zhuǎn)那樣常見。但至少對于這個示例圖像，上下翻轉(zhuǎn)并不妨礙識別。接下來，我們創(chuàng)建一個RandomVerticalFlip實(shí)例，以 50% 的幾率上下翻轉(zhuǎn)圖像。

								apply(img, torchvision.transforms.RandomVerticalFlip())

								 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OxOAa0bRAAKhFWS9J2s477.svg

Flipping the image left and right usually does not change the category of the object. This is one of the earliest and most widely used methods of image augmentation. Next, we use the transforms module to create the RandomFlipLeftRight instance, which flips an image left and right with a 50% chance.

								apply(img, gluon.data.vision.transforms.RandomFlipLeftRight())

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OxeAbSsbAAKgwXaeKZI169.svg

Flipping up and down is not as common as flipping left and right. But at least for this example image, flipping up and down does not hinder recognition. Next, we create a RandomFlipTopBottom instance to flip an image up and down with a 50% chance.

								apply(img, gluon.data.vision.transforms.RandomFlipTopBottom())

								 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OxmAStjwAAKhFd5H4m4670.svg

在我們使用的示例圖像中，貓位于圖像的中間，但一般情況下可能并非如此。在7.5 節(jié)中，我們解釋了池化層可以降低卷積層對目標(biāo)位置的敏感性。此外，我們還可以隨機(jī)裁剪圖像，讓物體以不同的尺度出現(xiàn)在圖像中的不同位置，這樣也可以降低模型對目標(biāo)位置的敏感度。

在下面的代碼中，我們隨機(jī)裁剪一個面積為 10%～100%每次都是原始區(qū)域的大小，這個區(qū)域的寬高比是隨機(jī)選擇的 0.5～2. 然后，該區(qū)域的寬度和高度都縮放為 200 像素。除非另有說明，之間的隨機(jī)數(shù)a和b本節(jié)中指的是從區(qū)間中隨機(jī)均勻采樣得到的連續(xù)值 [a,b].

								shape_aug = torchvision.transforms.RandomResizedCrop(
  (200, 200), scale=(0.1, 1), ratio=(0.5, 2))
apply(img, shape_aug)

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OxyAUqxIAAMIQfFRxQw242.svg

								shape_aug = gluon.data.vision.transforms.RandomResizedCrop(
  (200, 200), scale=(0.1, 1), ratio=(0.5, 2))
apply(img, shape_aug)

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9Ox-AdQaOAAMM3Un8law899.svg

14.1.1.2。改變顏色

另一種增強(qiáng)方法是改變顏色。我們可以改變圖像顏色的四個方面：亮度、對比度、飽和度和色調(diào)。在下面的示例中，我們將圖像的亮度隨機(jī)更改為 50% (1?0.5) 和 150% (1+0.5) 的原始圖像。

								apply(img, torchvision.transforms.ColorJitter(
  brightness=0.5, contrast=0, saturation=0, hue=0))

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OyOAOS8JAAKBDXaQiH4973.svg

								apply(img, gluon.data.vision.transforms.RandomBrightness(0.5))

								 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OyaAHswFAAKTRSHZWWM350.svg

同樣，我們可以隨機(jī)改變圖像的色調(diào)。

								apply(img, torchvision.transforms.ColorJitter(
  brightness=0, contrast=0, saturation=0, hue=0.5))

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OyiAKZ5XAAKgBf48WXw811.svg

								apply(img, gluon.data.vision.transforms.RandomHue(0.5))

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OyuAPyxyAAKjNZd5bQw461.svg

我們也可以創(chuàng)建一個RandomColorJitter實(shí)例，同時設(shè)置如何隨機(jī)改變圖片的brightness, contrast, saturation, 。hue

								color_aug = torchvision.transforms.ColorJitter(
  brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9Oy2AE_XgAAJd2aug_jE886.svg

								color_aug = gluon.data.vision.transforms.RandomColorJitter(
  brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)

								 