机器学习中Batch Size、Iteration和Epoch的概念
2024-10-14 17:17:57
Batch Size:批尺寸。机器学习中参数更新的方法有三种:
(1)Batch Gradient Descent,批梯度下降,遍历全部数据集计算一次损失函数,进行一次参数更新,这样得到的方向能够更加准确的指向极值的方向,但是计算开销大,速度慢;
(2)Stochastic Gradient Descent,随机梯度下降,对每一个样本计算一次损失函数,进行一次参数更新,优点是速度快,缺点是方向波动大,忽东忽西,不能准确的指向极值的方向,有时甚至两次更新相互抵消;
(3)Mini-batch Gradient Decent,小批梯度下降,前面两种方法的折中,把样本数据分为若干批,分批来计算损失函数和更新参数,这样方向比较稳定,计算开销也相对较小。Batch Size就是每一批的样本数量。
Iteration:迭代,可以理解为w和b的一次更新,就是一次Iteration。
Epoch:样本中的所有样本数据被计算一次就叫做一个Epoch。
最新文章
- ajaxForm笔记
- Grid++Report的几点总结
- android Scroller类的理解
- 【vc】14_网络编程_socket编程
- 写个点击input框 下方弹出月份时间等
- CSS3 旋转 太阳系
- javascript客户端时间线
- 51Nod--1085背包问题
- xamarin android menu的用法
- Linux基础(一)
- OLLVM特性、使用原理
- 请推荐一本SQL教程
- 【Spring】SpringMVCの環境構築(簡)(Version3.1)
- 做了一个动态代理IP池项目,邀请大家免费测试~
- WPF 中 TextBlock 文本换行与行间距
- SUSE11&;12 永久关闭防火墙
- 一个flume agent异常的解决过程记录
- Ubuntu 14.04 设置Android开发环境
- CSS伪代码
- 进击的RecyclerView入门一(简单上手)
热门文章
- python3 在 windows 读取路径多了一个\u202a 是咋回
- Nowcoder contest 370F Rinne Loves Edges (简单树形DP) || 【最大流】(模板)
- spring之基础知识总结
- linux 学习笔记 cpio命令
- java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration] with root cause
- 负载均衡---ribbon
- Windows下更改MySQL 数据库文件存放位置
- 使用百度的富文本编辑器UEditor遇到的问题总结
- Python virtualenvwrapper在Win下的安装和管理
- HDU5511 : Minimum Cut-Cut