使用随机梯度下降训练神经网络

StochasticGradient是一个比较高层次的类,它接受两个参数,module和criterion,前者是模型结构,后者是损失函数的类型。这个类本身有一些参数:

LearningRate: 这是学习率,不用多说

LearningRateDecay: 学习率衰减,current_learning_rate =learningRate / (1 + iteration * learningRateDecay)

maxIteration: 最大迭代次数

shuffleIndices 是否洗数据

hookExample 这个比较神奇,是一个钩子函数,具体功能不详。

hookIteration: 同样的。

如何使用StochasticGradient来训练神经网络?

只有两步

  1. 准备好你的数据
  2. 设计好神经网络结构和loss function

同样的用官方文档的一个例子:

准备数据集:

dataset={};

function dataset:size() return 100 end -- 100 examples

for i=1,dataset:size() do

local input = torch.randn(2);     -- normally distributed example in 2d

local output = torch.Tensor(1);

if input[1]*input[2]>0 then     -- calculate label for XOR function

output[1] = -1;

else

output[1] = 1

end

dataset[i] = {input, output}

end

定义神经网络:

require "nn"

mlp = nn.Sequential();  -- make a multi-layer perceptron

inputs = 2; outputs = 1; HUs = 20; -- parameters

mlp:add(nn.Linear(inputs, HUs))

mlp:add(nn.Tanh())

mlp:add(nn.Linear(HUs, outputs))

训练网络:

criterion = nn.MSECriterion()

trainer = nn.StochasticGradient(mlp, criterion)

trainer.learningRate = 0.01

trainer:train(dataset)

同样的,如果不使用stochasticGradient类,手动训练神经网络也是可以的。

这里举得例子是训练XOR问题。

带有一层隐藏层的神经网络:

require "nn"

mlp = nn.Sequential();  -- make a multi-layer perceptron

inputs = 2; outputs = 1; HUs = 20; -- parameters

mlp:add(nn.Linear(inputs, HUs))

mlp:add(nn.Tanh())

mlp:add(nn.Linear(HUs, outputs))

Loss function

Criterion = nn.MSECriterion()

Training:

for i = 1,2500 do

-- random sample(生成数据集)

local input= torch.randn(2);     -- normally distributed example in 2d

local output= torch.Tensor(1);

if input[1]*input[2] > 0 then  -- calculate label for XOR function

output[1] = -1

else

output[1] = 1

end

-- 这里需要注意的是criterion的forward和nn的forward的调用顺序

-- feed it to the neural network and the criterion

criterion:forward(mlp:forward(input), output)

-- train over this example in 3 steps

-- (1) zero the accumulation of the gradients

mlp:zeroGradParameters()

-- (2) accumulate gradients

mlp:backward(input, criterion:backward(mlp.output, output))

-- (3) update parameters with a 0.01 learning rate

mlp:updateParameters(0.01)

end

最新文章

  1. java范型集合中的成员排序
  2. SQL执行效率1
  3. 经验总结之Android framework开发
  4. php分享三十三:常量
  5. 删除sqlserver2008日记文件
  6. UVALIVE 4970 最小权匹配
  7. Android问题-DelphiXE5编义时提示找不到“连接器(arm-linux-androideabi-ld.exe)"
  8. 看原理图之UART
  9. mysql安装出现error Nr.1045
  10. mybatis实战教程二:多对一关联查询(一对多)
  11. 描述各自页面的 page
  12. 素数判断-----埃氏筛法&欧拉筛法
  13. get方式传值中文乱码
  14. Spring SpringBoot和SpringCloud的关系
  15. 使用AutoMapper实现Dto和Model的自由转换(下)
  16. C# 数据库数据动态插入(反射)
  17. 百度地图API接口
  18. LINUX系统中安装ORACLE11g的安装文档,含部分问题解答
  19. 多个jsp页面共享Java bean
  20. tp模型和数据库操作方法

热门文章

  1. too many open files 报错
  2. c#获取外网IP地址的方法
  3. DIV+CSS布局
  4. 开发维护大型 Java 项目的建议
  5. LeetCode 167 Two Sum II - Input array is sorted
  6. css清除浮动大全共8种方法
  7. 假如 UNION ALL 里面的子句 有 JOIN ,那个执行更快呢
  8. Centos YUM 升级PHP
  9. 10个 jQuery 代码片段,可以帮你快速开发。
  10. wap支付宝接口的问题