caffe中的学习率的衰减机制
2024-08-29 08:43:03
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Julialove102123/article/details/79200158
根据 caffe/src/caffe/proto/caffe.proto 里的文件,可以看到它有以下几种学习率的衰减速机制:
1. fixed: 在训练过程中,学习率不变;
2. step: 它的学习率的变化就像台价一样;step by step 的; 其中的 gamma 与 stepsize需要设置的;
学习率=base lr * gamma^(iter num / step)
3.exp :表示指数型的,其中参数 gamma 需要设置;
学习率=base_lr*gamma^iter
4. inv : 其中参数 gamma 与 power 都需要设置;
学习率 = base_lr*(1+gamma*iter)^(-power)
5.multistep: 可以设置多个 stepvalue的值, 在prototxt里面也没有具体介绍, 它由参数 stepsize 与 stepvalue 决定; 它不是每时第刻都去计算 学习率,而是达到我们设定的stepvalue的时候,才去计算(根据方法2中的公式),然后更新学习率; stepvalue 可以设置多个的,下面是 stepvalue的定义;
183 repeated int32 stepvalue = 34;
6.poly :多项式衰减 ,当到达最大次数时, 学习率变为了0;
lr = base_lr * (1 - iter/maxiter )^power
7.sigmoid形的:
lr = base_lr * (1 / (1+e^(-gamma*(iter-stepsize)) ))
。;
最新文章
- C#中的var类型
- three.js 源码注释(四十四)Light/DirectionalLight.js
- card-test
- iOS 设置导航栏之二(设置导航栏的颜色、文字的颜色、左边按钮的文字及颜色)
- SQLServer学习笔记<;>;日期和时间数据的处理(cast转化格式、日期截取、日期的加减)和 case表达式
- spring3.0.5的aop使用
- Visual Studio 中指定自定义生成事件
- hibernate的事务管理和session对象的详解
- Linux阿里云挂载磁盘,并开机自动挂载
- ZZCMS v8.2 前台Insert注入+任意文件删除
- springboot aop 拦截接口执行时间
- python3 短网址和数字的相互转换的代码
- 容器、容器集群管理平台与 Kubernetes 技术漫谈
- 【Python3练习题 013】 求s=a+aa+aaa+aaaa+aa...a的值,其中a是一个数字
- Springboot中Feign的使用总结
- Happiness
- JavaWeb中过滤器Filter的使用示例
- ES系列十、ES常用查询API
- R和Tableau平行坐标图
- shiro工作过程
热门文章
- PowerDesigner的安装
- 010 使用jquery实现小需求练习-------对应选择器的练习
- Google浏览器被360劫持
- ES8之async/await学习随笔
- JAVA 图形开发之计算器设计(事件监听机制)
- 在JavaScript中什么时候使用==是正确的?
- “一次编写,随处运行” Intel HTML5技术研讨会
- Maven具体解释之------maven版本号管理
- LPCScrypt, DFUSec : USB FLASH download, programming, and security tool, LPC-Link 2 Configuration tool, Firmware Programming
- hdu1465(放错信 错排公式)