冲量:momentum
2024-08-24 14:02:02
参见:http://www.jianshu.com/p/58b3fe300ecb,这个博客里有冲量的python实现的代码和讲解
“冲量”这个概念源自于物理中的力学,表示力对时间的积累效应。
在普通的梯度下降法x += v
中,每次x
的更新量v
为v = - dx * lr
,其中dx
为目标函数func(x)
对x
的一阶导数,。
当使用冲量时,则把每次x
的更新量v
考虑为本次的梯度下降量- dx * lr
与上次x
的更新量v
乘上一个介于[0, 1]
的因子momentum
的和,即v = - dx * lr + v * momemtum
。
从公式上可看出:
- 当本次梯度下降
- dx * lr
的方向与上次更新量v
的方向相同时,上次的更新量能够对本次的搜索起到一个正向加速的作用。 - 当本次梯度下降
- dx * lr
的方向与上次更新量v
的方向相反时,上次的更新量能够对本次的搜索起到一个减速的作用。
最新文章
- 【备忘】Conky配置
- java程序链接到sql server数据库
- JS数字键盘
- PHP-----类与对象,成员方法,成员属性,构造方法,析构方法
- Web Service 其他服务器检测不到查询测试按钮
- POJ1068Parencodings
- SHH入门:Spring框架简介
- write() ,read();
- 在sql数据库变量中保存单引号的办法
- Tomcat配置一个ip绑定多个域名
- 吴恩达《机器学习》课程笔记——第六章:Matlab/Octave教程
- Spark SQL官网阅读笔记
- 【速读】——ResNeXt
- Redis的消息发布和订阅
- python自动化开发-4
- 前端架构之路:Windows下安装Nodejs步骤
- A - ACM Computer Factory(网络流)
- Atcoder681 Typical DP Contest E.数 数位dp
- 学号20155311 2016-2017-2 《Java程序设计》第4周学习总结
- linux软件的安装和卸载
热门文章
- 机器学习经典论文/survey合集
- mysql事务隔离级别设置
- 【Learning】常系数线性齐次递推
- java的序列化流和打印流
- 解题:POI 2011 Strongbox
- (转)Tomcat version 7.0 only supports J2EE 1.2, 1.3, 1.4, and Java EE 5 and 6 Web mod
- JDBC详解(一)
- xampp+vscode开发php的配置流程
- merger_by_one 处理二维数组,根据里面某字段合并, 里面有的保留,有的求和~~
- Django admin 忘记密码