Pytorch实战学习(四)：加载数据集

《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili

Dataset & Dataloader

1、Dataset & Dataloader作用

※Dataset—加载数据集，用索引的方式取数

※DataLoader—Mini-Batch

通过获得DataSet的索引以及数据集大小，来自动得生成小批量训练集

DataLoader先对数据集进行Shuffle，再将数据集按照Batch_Size的长度划分为小的Batch，并按照Iterations进行加载，以方便通过循环对每个Batch进行操作

Shuffle=True：随机打乱顺序

2、Mini-Batch：

利用Mini-Batch均衡训练性能和时间

在外层循环中，每一层是一个epoch（训练周期），在内层循环中，每一次是一个Mini-Batch（Batch的迭代）

for epoch in range(training_epochs):

    for i in range(total_batch):

3、相关术语

※Epoch：所有样本都参与了一次训练

※Batch-size：进行一次训练（前馈、反馈、更新）的样本数

※Iteration：有多少个Batch，每次

Epoch = Batch-size * Iteration

4、代码部分

在构造数据集时，两种对数据加载到内存中的处理方式如下：

①加载所有数据到dataset，每次使用getitem()读索引，适用于数据量小的情况

②只对dataset进行初始化，仅存文件名到列表，每次使用时再通过索引到内存中去读取，适用于数据量大（图像、语音…）的情况

import torch

import numpy as np

## Dataset为抽象类，不能被实例化，只能被其他子类继承

from torch.utils.data import Dataset

## 实例化DataLoader，用于加载数据

from torch.utils.data import DataLoader

## Prepare Data

class DiabetesDataset(Dataset):

    def __init__(self, filepath):

        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)

        ## 获取数据集长度

        self.len = xy.shape[0]

        self.x_data = torch.from_numpy(xy[:, :-1])

        self.y_data = torch.from_numpy(xy[:, [-1]])

    ## 索引：下标操作

    def __getitem__(self, index):

        return self.x_data[index], self.y_data[index]

    ## 返回数据量

    def __len__(self):

       return self.len

dataset = DiabetesDataset('diabetes.csv.gz')

##num_workers多线程

train_loader = DataLoader(dataset = dataset,

                          batch_size = 32,

                          shuffle = True,

                          num_workers = 0)

##Design Model

##构造类，继承torch.nn.Module类

class Model(torch.nn.Module):

    ## 构造函数，初始化对象

    def __init__(self):

        ##super调用父类

        super(Model, self).__init__()

        ##构造三层神经网络

        self.linear1 = torch.nn.Linear(8, 6)

        self.linear2 = torch.nn.Linear(6, 4)

        self.linear3 = torch.nn.Linear(4, 1)

        ##激活函数，进行非线性变换

        self.sigmoid = torch.nn.Sigmoid()

    ## 构造函数，前馈运算

    def forward(self, x):

        x = self.sigmoid(self.linear1(x))

        x = self.sigmoid(self.linear2(x))

        x = self.sigmoid(self.linear3(x))

        return x

model = Model()

##Construct Loss and Optimizer

##损失函数，传入y和y_pred，size_average--是否取平均

criterion = torch.nn.BCELoss(size_average = True)

##优化器，model.parameters()找出模型所有的参数，Lr--学习率

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

## Training cycle

## windows环境下DataLoader的num_workers设置为多线程，需要将主程序（对数据操作的程序）封装到函数中

if __name__ =='__main__':

    for epoch in range(100):

         #enumerate:可获得当前迭代的次数

        for i, data in enumerate(train_loader, 0):

            ## 准备数据

            inputs, lables = data

            ##前向传播

            y_pred = model(inputs)

            loss = criterion(y_pred, lables)

            print(epoch, i, loss.item())

            ##梯度归零

            optimizer.zero_grad()

            ##反向传播

            loss.backward()

            ##更新

            optimizer.step()

！！两个问题！！

①DataLoader的参数num_workers设置 >0

在windows中利用多线程读取，需要将主程序（对数据操作的程序）封装到函数中

## Training cycle

## windows环境下DataLoader的num_workers设置为多线程，需要将主程序（对数据操作的程序）封装到函数中

if __name__ =='__main__':

    for epoch in range(100):

         #enumerate:可获得当前迭代的次数

        for i, data in enumerate(train_loader, 0):

但是运行还是报错，只能把num_workers = 0

②运行结果：损失不会一直下降，改小了学习率也不行

巴特西

Pytorch实战学习(四)：加载数据集

最新文章

热门文章