Mini-batch 和batch的区别
2024-09-05 16:08:09
原文地址:https://blog.csdn.net/weixin_39502247/article/details/80032487
深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。
第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。
另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。
为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。
最新文章
- 如何理解 卷积 和pooling
- [deviceone开发]-viewShower和listView
- ROS(Robot Operating System)常用环境变量介绍
- iOS 安装Cocoapods以及安装第三方库的操作流程
- SQL中Where与Having的区别
- iOS开发学习路线图
- 转换rgb为16进制颜色值
- jvm莫名退出问题解决
- postgreSQL远程连接出现:Error connecting to server :致命错误 SSL关闭的pg_hba.conf记录
- 函数返回值 return
- 用php+mysql+ajax+jquery做省市区三级联动
- C++构造函数(二)
- [Android FrameWork 6.0源码学习] View的重绘过程
- MySQL 网络访问连接
- CSS布局(五) 网页布局方式
- Cron表达式解析
- windows10下配置环境变量
- JavaSpcript基础
- centos7编译安装nginx
- android模拟器修改时间