電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程14.2之微調(diào)

PyTorch教程14.2之微調(diào)

2513704 2023-06-05 | pdf | 0.35 MB | 次下載 | 免費

資料介紹

在前面的章節(jié)中，我們討論了如何在只有 60000 張圖像的 Fashion-MNIST 訓練數(shù)據(jù)集上訓練模型。我們還描述了 ImageNet，這是學術(shù)界使用最廣泛的大規(guī)模圖像數(shù)據(jù)集，它有超過 1000 萬張圖像和 1000 個對象。然而，我們通常遇到的數(shù)據(jù)集的大小介于這兩個數(shù)據(jù)集之間。

假設我們要從圖片中識別出不同類型的椅子，然后向用戶推薦購買鏈接。一種可能的方法是首先識別 100 把普通椅子，為每把椅子拍攝 1000 張不同角度的圖像，然后在收集的圖像數(shù)據(jù)集上訓練分類模型。雖然這個椅子數(shù)據(jù)集可能比 Fashion-MNIST 數(shù)據(jù)集大，但示例數(shù)量仍然不到 ImageNet 中的十分之一。這可能會導致適用于 ImageNet 的復雜模型在此椅子數(shù)據(jù)集上過度擬合。此外，由于訓練示例數(shù)量有限，訓練模型的準確性可能無法滿足實際要求。

為了解決上述問題，一個顯而易見的解決方案是收集更多的數(shù)據(jù)。然而，收集和標記數(shù)據(jù)可能會花費大量時間和金錢。例如，為了收集 ImageNet 數(shù)據(jù)集，研究人員花費了數(shù)百萬美元的研究經(jīng)費。雖然目前的數(shù)據(jù)采集成本已經(jīng)大幅降低，但這一成本仍然不容忽視。

另一種解決方案是應用遷移學習，將從源數(shù)據(jù)集中學到的知識遷移到目標數(shù)據(jù)集中。例如，盡管 ImageNet 數(shù)據(jù)集中的大部分圖像與椅子無關(guān)，但在此數(shù)據(jù)集上訓練的模型可能會提取出更一般的圖像特征，這有助于識別邊緣、紋理、形狀和物體組成。這些相似的特征也可能對識別椅子有效。

14.2.1。腳步

在本節(jié)中，我們將介紹遷移學習中的一種常用技術(shù)：微調(diào)。如圖 14.2.1所示，微調(diào)包括以下四個步驟：

在源數(shù)據(jù)集（例如，ImageNet 數(shù)據(jù)集）上預訓練神經(jīng)網(wǎng)絡模型，即源模型。
創(chuàng)建一個新的神經(jīng)網(wǎng)絡模型，即目標模型。這將復制源模型上除輸出層之外的所有模型設計及其參數(shù)。我們假設這些模型參數(shù)包含從源數(shù)據(jù)集中學到的知識，并且這些知識也適用于目標數(shù)據(jù)集。我們還假設源模型的輸出層與源數(shù)據(jù)集的標簽密切相關(guān)；因此它不在目標模型中使用。
向目標模型添加一個輸出層，其輸出數(shù)量為目標數(shù)據(jù)集中的類別數(shù)量。然后隨機初始化該層的模型參數(shù)。
在目標數(shù)據(jù)集（例如椅子數(shù)據(jù)集）上訓練目標模型。輸出層將從頭開始訓練，而所有其他層的參數(shù)將根據(jù)源模型的參數(shù)進行微調(diào)。

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9O0iAB3lVAAL7dtPCjdU591.svg

圖 14.2.1微調(diào)。

當目標數(shù)據(jù)集遠小于源數(shù)據(jù)集時，微調(diào)有助于提高模型的泛化能力。

14.2.2。熱狗識別

讓我們通過一個具體案例來演示微調(diào)：熱狗識別。我們將在一個小型數(shù)據(jù)集上微調(diào) ResNet 模型，該數(shù)據(jù)集是在 ImageNet 數(shù)據(jù)集上預訓練的。這個小數(shù)據(jù)集包含數(shù)千張有熱狗和沒有熱狗的圖像。我們將使用微調(diào)模型從圖像中識別熱狗。

							%matplotlib inline
import os
import torch
import torchvision
from torch import nn
from d2l import torch as d2l

							 

							%matplotlib inline
import os
from mxnet import gluon, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

							 

14.2.2.1。讀取數(shù)據(jù)集

我們使用的熱狗數(shù)據(jù)集取自在線圖像。該數(shù)據(jù)集包含 1400 張包含熱狗的正類圖像，以及包含其他食物的大量負類圖像。兩個類別的 1000 張圖像用于訓練，其余用于測試。

解壓下載的數(shù)據(jù)集后，我們得到兩個文件夾 hotdog/train和hotdog/test. 這兩個文件夾都有hotdog和 not-hotdog子文件夾，其中任何一個都包含相應類別的圖像。

								#@save
d2l.DATA_HUB['hotdog'] = (d2l.DATA_URL + 'hotdog.zip',
             'fba480ffa8aa7e0febbb511d181409f899b9baa5')

data_dir = d2l.download_extract('hotdog')

								#@save
d2l.DATA_HUB['hotdog'] = (d2l.DATA_URL + 'hotdog.zip',
             'fba480ffa8aa7e0febbb511d181409f899b9baa5')

data_dir = d2l.download_extract('hotdog')

								Downloading ../data/hotdog.zip from http://d2l-data.s3-accelerate.amazonaws.com/hotdog.zip...

							

我們創(chuàng)建兩個實例來分別讀取訓練和測試數(shù)據(jù)集中的所有圖像文件。

								train_imgs = torchvision.datasets.ImageFolder(os.path.join(data_dir, 'train'))
test_imgs = torchvision.datasets.ImageFolder(os.path.join(data_dir, 'test'))

								train_imgs = gluon.data.vision.ImageFolderDataset(
  os.path.join(data_dir, 'train'))
test_imgs = gluon.data.vision.ImageFolderDataset(
  os.path.join(data_dir, 'test'))

								 

前 8 個正面示例和最后 8 個負面圖像如下所示。如您所見，圖像的大小和縱橫比各不相同。

								hotdogs = [train_imgs[i][0] for i in range(8)]
not_hotdogs = [train_imgs[-i - 1][0] for i in range(8)]
d2l.show_images(hotdogs + not_hotdogs, 2, 8, scale=1.4);

								 

https://file.elecfans.com/web2/M00/A9/7B/pYYBAGR4YniAE6iUAAOFYlOAqlA349.png

								hotdogs = [train_imgs[i][0] for i in range(8)]
not_hotdogs = [train_imgs[-i - 1][0] for i in range(8)]
d2l.show_images(hotdogs + not_hotdogs, 2, 8, scale=1.4);

								 

在訓練過程中，我們首先從圖像中裁剪出一個隨機大小和隨機縱橫比的隨機區(qū)域，然后將這個區(qū)域縮放到 224×224輸入圖像。在測試過程中，我們將圖像的高度和寬度都縮放到 256 像素，然后裁剪一個中心 224×224區(qū)域作為輸入。此外，對于三個 RGB（紅色、綠色和藍色）顏色通道，我們逐通道標準化它們的值。具體來說，就是用該通道的每個值減去該通道的平均值，然后除以該通道的標準差。

								# Specify the means and standard deviations of the three RGB channels to
# standardize each channel
normalize = torchvision.transforms.Normalize(
  [0.485, 0.456, 0.406], [0.229, 0.224, 0.225])

train_augs = torchvision.transforms.Compose([
  torchvision.transforms.RandomResizedCrop(224),
  torchvision.transforms.RandomHorizontalFlip(),
  torchvision.transforms.ToTensor(),
  normalize])

test_augs = torchvision.transforms.Compose([
  torchvision.transforms.Resize([256, 256]),
  torchvision.transforms.CenterCrop(224),
  torchvision.transforms.ToTensor(),
  normalize])

								 

								# Specify the means and standard deviations of the three RGB channels to
# standardize each channel
normalize = gluon.data.vision.transforms.Normalize(
  [0.485, 0.456, 0.406], [0.229, 0.224, 0.225])

train_augs = gluon.data.vision.transforms.Compose([
  gluon.data.vision.transforms.RandomResizedCrop(224),
  gluon.data.vision.transforms.RandomFlipLeftRight(),
  gluon.data.vision.transforms.ToTensor(),
  normalize])

test_augs = gluon.data.vision.transforms.Compose([
  gluon.data.vision.transforms.Resize(256),
  gluon.data.vision.transforms.CenterCrop(224),
  gluon.data.vision.transforms.ToTensor(),
  normalize])

								 

14.2.2.2。定義和初始化模型

我們使用在 ImageNet 數(shù)據(jù)集上預訓練的 ResNet-18 作為源模型。在這里，我們指定pretrained=True自動下載預訓練模型參數(shù)。如果是第一次使用這個模型，需要連接互聯(lián)網(wǎng)才能下載。

								pretrained_net = torchvision.models.resnet18(pretrained=True)

								 

預訓練源模型實例包含多個特征層和一個輸出層fc。這種劃分的主要目的是為了便于微調(diào)除輸出層之外的所有層的模型參數(shù)。fc下面給出源模型的成員變量。

								pretrained_net.fc

								 

								Linear(in_features=512, out_features=1000, bias=True)

							

								pretrained_net = gluon.model_zoo.vision.resnet18_v2(pretrained=True)

								 

The pretrained source model instance contains two member variables: features and output. The former contains all layers of the model except the output layer, and the latter is the output layer of the model. The main purpose of this division is to facilitate the fine-tuning of model parameters of all layers but the output layer. The member variable output of source model is shown below.

								pretrained_net.output

								 

								Dense(512 -> 1000, linear)

							

作為全連接層，它將 ResNet 最終的全局平均池化輸出轉(zhuǎn)化為 ImageNet 數(shù)據(jù)集的 1000 類輸出。然后我們構(gòu)建一個新的神經(jīng)網(wǎng)絡作為目標模型。它的定義方式與預訓練源模型相同，不同之處在于它在最后一層的輸出數(shù)量設置為目標數(shù)據(jù)集中的類數(shù)（而不是 1000）。

在下面的代碼中，目標模型實例的輸出層之前的模型參數(shù)finetune_net被初始化為源模型中相應層的模型參數(shù)。由于這些模型參數(shù)是通過在 ImageNet 上進行預訓練獲得的，因此它們是有效的。因此，我們只能使用較小的學習率來 微調(diào)此類預訓練參數(shù)。相比之下，輸出層中的模型參數(shù)是隨機初始化的，通常需要更大的學習率才能從頭開始學習。讓基礎學習率成為η, 學習率10η將用于迭代輸出層中的模型參數(shù)。