pytorch（13）卷积层

卷积层

1. 1d/2d/3d卷积

Dimension of Convolution

卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加

卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征。

卷积过程类似于用一个模版去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取，所以在深度学习当中，可以把卷积核看成是特征提取器的检测器

AlexNet卷积核可视化，发现卷积核学习到的是边缘，条纹，色彩这一些细节模式

卷积维度：一般情况下，卷积核在几个维度上滑动，就是几维卷积

一个卷积核在一个信号上是几维卷积

2. 卷积-nn.Conv2d()

nn.Conv2d

nn.Conv2d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,bias=True,padding_mode='zeros')

功能：对多个二维信号进行二维卷积

主要参数：

in_channels：输入通道数
out_channels：输出通道数，等价于卷积核个数
kernel_size：卷积核尺寸
stride：步长
padding ：填充个数（填充后相当于扩大边界尺寸，进行卷积时图片尺寸未变）
dilation：空洞卷积大小（空洞卷积就是卷积核权值之间有间隔，带空洞的，常用于图像分割任务，作用是提高感受野，我们输出图像一个像素，可以看到前面图像更大的一个区域）
groups：分组卷积设置（常用于模型的轻量化）
bias：偏置

尺寸计算：

简洁版：

\[out_{size} = \frac{In_{size} - kernel_{size}}{stride}+1
\]

完整版：

\[H_{out} = \Bigg[\frac{H_{in}+2*padding[0]-dilation[0]*(kernel\_size[0]-1)-1}{stride[0]+1}\Bigg]
\]

# -*- coding: utf-8 -*-

"""

# @file name  : nn_layers_convolution.py

# @author     : TingsongYu https://github.com/TingsongYu

# @date       : 2019-09-23 10:08:00

# @brief      : 学习卷积层

"""

import os

BASE_DIR = os.path.dirname(os.path.abspath(__file__))

import torch.nn as nn

from PIL import Image

from torchvision import transforms

from matplotlib import pyplot as plt

path_tools = os.path.abspath(os.path.join(BASE_DIR, "..", "..", "tools", "common_tools.py"))

assert os.path.exists(path_tools), "{}不存在，请将common_tools.py文件放到 {}".format(path_tools, os.path.dirname(path_tools))

import sys

hello_pytorch_DIR = os.path.abspath(os.path.dirname(__file__)+os.path.sep+".."+os.path.sep+"..")

sys.path.append(hello_pytorch_DIR)

from tools.common_tools import transform_invert, set_seed

set_seed(3)  # 设置随机种子

# ================================= load img ==================================

path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "lena.png")

img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor

img_transform = transforms.Compose([transforms.ToTensor()])

img_tensor = img_transform(img)

img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================

# ================ 2d

flag = 1

# flag = 0

if flag:

    conv_layer = nn.Conv2d(3, 1, 3)   # input:(i, o, size) weights:(o, i , h, w)

    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation

    img_conv = conv_layer(img_tensor)

# ================ transposed

# flag = 1

flag = 0

if flag:

    conv_layer = nn.ConvTranspose2d(3, 1, 3, stride=2)   # input:(i, o, size)

    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation

    img_conv = conv_layer(img_tensor)

# ================================= visualization ==================================

print("卷积前尺寸:{}\n卷积后尺寸:{}".format(img_tensor.shape, img_conv.shape))

img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)

img_raw = transform_invert(img_tensor.squeeze(), img_transform)

plt.subplot(122).imshow(img_conv, cmap='gray')

plt.subplot(121).imshow(img_raw)

plt.show()

通过改变seed的种子，设置卷积核的权值初始化。

接下来我们在

    conv_layer = nn.Conv2d(3, 1, 3)

处设置断点，观察卷积层有哪些参数。

进入step into后，来到了conv.py文件中的class Conv2d(_ConvNd)类初始化，调用其__init__方法，ConvNd继承的module基本类。

我们来到conv_layer中的module和parameters，其中module因为是基本层所以没什么东西，parameters就有参数。我们可以看出它的weight的shape是一个4维的张量，为shape=[1,3,3,3]，如何理解这个四维的张量实现的二维卷积。这个1代表着输出通道数，表示卷积核个数，一个卷积核所以设置为1。第二个3，表示输入通道数。后两个是卷积核的尺寸。将每一维的卷积加起来得到最终的值。

3. 转置卷积-nn.ConvTranspose

转置卷积又称为反卷积(Deconvolution)和部分跨越卷积(Fractionally-strided Convolution) ，用于对图像进行上采样(UpSample)

为什么称为转置卷积？

假设图像尺寸为4*4，卷积核为3*3，padding=0，stride=1

正常卷积：

[矩阵运算]图像16*1（将图像尺寸拉平）,卷积核4*16（16是3*3的补零，4是输出的总个数）,输出4*1=4*16 * 16*1

转置卷积：图像尺寸为2*2,卷积核为3*3,padding=0,stride=1

[矩阵运算]图像4*1,卷积核16*4,输出16*1=16*4 * 4*1

4*16和16*4是一个转置的关系

nn.ConvTranspose2d

功能：转置卷积实现上采样

主要参数：

in_channels：输入通道数
out_channels：输出通道数
kernel_size：卷积核尺寸
stride：步长
padding ：填充个数
dilation：空洞卷积大小
groups：分组卷积设置
bias：偏置

nn.ConvTranspose2d(in_channels,

out_channels,

kernel_size,

stride=1,

padding=0,

output_padding=0,

groups=1,

bias=True,

dilation=1,

padding_mode='zeros')

尺寸计算：

简化版：

\[转置卷积:out_{size} = (in_{size}-1)*stride+kernel_{size}
\]

\[正常卷积:out_{size} = \frac{In_{size}-kernel_{size}}{stride}+1
\]

完整版：

\[H_{out}=(H_{in}-1)\times stride[0] -2\times padding[0]+dilation[0] \times (kernel\_size[0]-1)+output\_padding[0]+1)
\]

巴特西

pytorch（13）卷积层

卷积层

1. 1d/2d/3d卷积

2. 卷积-nn.Conv2d()

3. 转置卷积-nn.ConvTranspose

最新文章

热门文章