深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。

一、

第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。

二、

另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。

三、

为了克服两种方法的缺点，现在一般采用的是一种折中手段，mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。

基本上现在的梯度下降都是基于mini-batch的，所以Keras的模块中经常会出现batch_size，就是指这个。batch_size指的是一个batch有多少个样本，而不是由多少个batch。

顺便说一句，Keras中用的优化器SGD是stochastic gradient descent的缩写，但不代表是一个样本就更新一回，还是基于mini-batch的。

------------------------------------------------

来源：

　　1、keras中文文档： https://keras-cn.readthedocs.io/en/latest/for_beginners/concepts/

最新文章

1. sqlserver 多库查询 sp_addlinkedserver使用方法（添加链接服务器）
2. swift_初始化器的使用
3. 敏捷BI——岂止于快
4. [置顶] Jquery学习总结（二） jquery选择器详解
5. 利用JAVA反射机制将JSON数据转换成JAVA对象
6. curl: (6) Couldn’t resolve host ‘www.ttlsa.com’
7. sas2ircu工具信息收集及磁盘定位
8. eShopOnContainers 知多少[7]：Basket microservice
9. Python学习手记
10. [转载]Black-Scholes 模型中 d1，d2 是怎么得到的？如何理解 Black-Scholes 模型？
11. Hadoop.之.入门部署
12. Hibernate初学
13. luogu P4199 万径人踪灭
14. AopProxyUtils.getSingletonTarget(Ljava/lang/Object;)Ljava/lang/Object;大坑
15. 解决vs2017调试出现脚本错误(/Community/Common7/IDE/PrivateAssemblies/plugin.vs.js) 方法
16. 【TopCoder10697】RabbitNumbering
17. LINUX中的DNS服务---DNS正向、反向和双向解析
18. razor DisplayNameFor ViewModel为集合时显示列名的问题
19. 15.Django添加一个功能模块的步骤（和SpringMVC类比）
20. 使mysql按中文字段排序

热门文章

1. 20175314 《Java程序设计》迭代和JDB
2. CentOS7 firewalld防火墙配置
3. [leetcode]170. Two Sum III - Data structure design两数之和III - 数据结构设计
4. ubuntu输入法
5. ES6 Iterator
6. 20175234 《Java程序设计》第二周学习总结（二）
7. 简单利用jQuery，让前端开发不再依赖于后端的接口
8. web唤起whatsapp客户端通过号码联系
9. django的母板系统
10. VUE 动态给对象增加属性，并触发视图更新。