電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程14.11之全卷積網(wǎng)絡

PyTorch教程14.11之全卷積網(wǎng)絡

2512805 2023-06-05 | pdf | 0.23 MB | 次下載 | 免費

資料介紹

如第 14.9 節(jié)所述，語義分割在像素級別對圖像進行分類。全卷積網(wǎng)絡 (FCN) 使用卷積神經(jīng)網(wǎng)絡將圖像像素轉(zhuǎn)換為像素類( Long et al. , 2015 )。與我們之前在圖像分類或目標檢測中遇到的 CNN 不同，全卷積網(wǎng)絡將中間特征圖的高度和寬度轉(zhuǎn)換回輸入圖像的高度和寬度：這是通過 14.10 節(jié)介紹的轉(zhuǎn)置卷積層實現(xiàn) 的. 因此，分類輸出和輸入圖像在像素級別具有一一對應關系：任何輸出像素的通道維度都包含相同空間位置的輸入像素的分類結(jié)果。

						%matplotlib inline
import torch
import torchvision
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

						 

						%matplotlib inline
from mxnet import gluon, image, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

						 

14.11.1。該模型

在這里，我們描述了全卷積網(wǎng)絡模型的基本設計。如圖 14.11.1所示，該模型首先使用 CNN 提取圖像特征，然后通過1×1卷積層，最后通過 14.10 節(jié)介紹的轉(zhuǎn)置卷積將特征圖的高度和寬度轉(zhuǎn)換為輸入圖像的高度和寬度。因此，模型輸出與輸入圖像具有相同的高度和寬度，其中輸出通道包含相同空間位置的輸入像素的預測類別。

https://file.elecfans.com/web2/M00/A9/CD/poYBAGR9O_CARhOnAAfA_q5Ldd8563.svg

圖 14.11.1全卷積網(wǎng)絡。

下面，我們使用在 ImageNet 數(shù)據(jù)集上預訓練的 ResNet-18 模型來提取圖像特征并將模型實例表示為 pretrained_net。該模型的最后幾層包括全局平均池化層和全連接層：全卷積網(wǎng)絡不需要它們。

							pretrained_net = torchvision.models.resnet18(pretrained=True)
list(pretrained_net.children())[-3:]

							[Sequential(
  (0): BasicBlock(
   (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1), bias=False)
   (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
   (relu): ReLU(inplace=True)
   (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
   (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
   (downsample): Sequential(
    (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
    (1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
   )
  )
  (1): BasicBlock(
   (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
   (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
   (relu): ReLU(inplace=True)
   (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1), bias=False)
   (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  )
 ),
 AdaptiveAvgPool2d(output_size=(1, 1)),
 Linear(in_features=512, out_features=1000, bias=True)]

						

							pretrained_net = gluon.model_zoo.vision.resnet18_v2(pretrained=True)
pretrained_net.features[-3:], pretrained_net.output

							(HybridSequential(
  (0): Activation(relu)
  (1): GlobalAvgPool2D(size=(1, 1), stride=(1, 1), padding=(0, 0), ceil_mode=True, global_pool=True, pool_type=avg, layout=NCHW)
  (2): Flatten
 ),
 Dense(512 -> 1000, linear))

						

接下來，我們創(chuàng)建全卷積網(wǎng)絡實例net。它復制了 ResNet-18 中的所有預訓練層，除了最終的全局平均池化層和最接近輸出的全連接層。

							net = nn.Sequential(*list(pretrained_net.children())[:-2])

							 

							net = nn.HybridSequential()
for layer in pretrained_net.features[:-2]:
  net.add(layer)

							 

給定高度和寬度分別為 320 和 480 的輸入，正向傳播將net輸入高度和寬度減小到原始的 1/32，即 10 和 15。

							X = torch.rand(size=(1, 3, 320, 480))
net(X).shape

							torch.Size([1, 512, 10, 15])

						

							X = np.random.uniform(size=(1, 3, 320, 480))
net(X).shape

							(1, 512, 10, 15)

						

接下來，我們使用一個1×1卷積層將輸出通道的數(shù)量轉(zhuǎn)換為 Pascal VOC2012 數(shù)據(jù)集的類數(shù) (21)。最后，我們需要將特征圖的高度和寬度增加 32 倍，以將它們變回輸入圖像的高度和寬度。回想一下7.3 節(jié)中如何計算卷積層的輸出形狀。自從 (320?64+16×2+32)/32=10和 (480?64+16×2+32)/32=15，我們構(gòu)造一個轉(zhuǎn)置卷積層，步幅為32，將內(nèi)核的高度和寬度設置為64，填充到16. 一般來說，我們可以看到對于 strides, 填充s/2 （假設s/2是一個整數(shù)），內(nèi)核的高和寬2s，轉(zhuǎn)置卷積將使輸入的高度和寬度增加s次。

							num_classes = 21
net.add_module('final_conv', nn.Conv2d(512, num_classes, kernel_size=1))
net.add_module('transpose_conv', nn.ConvTranspose2d(num_classes, num_classes,
                  kernel_size<
						