Batchsize与learning rate
2024-10-19 14:28:21
https://www.zhihu.com/question/64134994
1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优；
2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m倍或者sqrt(m)倍，但并不固定；
3、learning rate的增加通常不能直接增加太大，一般会通过warm up逐步增大；
4、warm up策略参考 Bag of Freebies for Training Object Detection Neural Networks
准备用m个batches来热身，准备的初始学习率是 ,然后在每个batch
,将每次的学习率设为 i*n/m
最新文章
- [原] KVM 虚拟化原理探究（2）— QEMU启动过程
- oracle dblink的创建方式
- 问题: Oracle Database 10g 未在当前操作系统中经过认证
- Android Studio中的六种依赖
- SQL分组取每组前一(或几)条记录(排名)
- 用 Javascript 获取页面大小、窗口大小和滚动条位置
- 【Java/Android性能优化1】Android性能调优
- start with connect by prior学习
- Webpack插件开发简要
- c++工程重复编译与重复定义
- Dynamics CRM 系统自定义部分的语言翻译
- 周强 201771010141面向对象程序设计（java）》第十七周学习总结
- HDU 2795 Billboard【点修改】
- golang fmt格式“占位符”
- <1>lua编译环境 数据类型和局部变量
- 欧几里得算法（及扩展）&&快速幂（二分+位运算）
- win10禁止更新的方法
- [label][翻译][JavaScript]如何使用JavaScript操纵radio和check boxes
- WebSettings 文档 API 翻译 常用设置
- VB调用VC dll的返回方式