ubuntu之路——day8.4 Adam自适应矩估计算法
2024-09-01 23:43:45
基本上讲,Adam就是将day8.2提到的momentum动量梯度下降法和day8.3提到的RMSprop算法相结合的优化算法
首先初始化 SdW = 0 Sdb = 0 VdW = 0 Vdb = 0
On iteration t:
compute dw,db using current Mini-batch
VdW = β1vdW + (1-β1)dW Vdb = β1vdb + (1-β1)db 先做momentum
SdW = β2SdW + (1-β2)dW2 Sdb = β2Sdb + (1-β2)db2 再做RMSprop
偏差修正:Vdwcorrected = vdW / (1 - β1t),Vdbcorrected = vdb / (1 - β1t)
Sdwcorrected = SdW / (1 - β2t),Sdbcorrected = Sdb / (1 - β2t)
W = W - α(Vdwcorrected / sqrt.Sdwcorrected+ε),b = b - α(Vdbcorrected / sqrt.Sdbcorrected+ε)
超参数的设定:
α:learning rate,需要一系列的尝试
β1:0.9 (为了计算dw) one moment一阶矩
β2:0.999 (为了计算dw2) second moment二阶矩
ε:10-8
注意除α需要设定外,Adam算法的β1、β2、ε三个参数都不必去设定,根据Andrew Ng的解释来看很少有业内人士改变Adam算法原文的这三个参数
Adam = adaptive moment estimation
最新文章
- Linux使用ssh-keygen实现SSH无密码登录
- BZOJ 1004: [HNOI2008]Cards
- Sql Server来龙去脉系列 必须知道的权限控制核心篇
- windows7 安装 memcached
- bjfu1284 判别正则表达式
- php中的NOTICE 的错误解决方法
- char s[]字串和char *s字串有什麼区别?
- hdu1087Super Jumping! Jumping! Jumping!(最大递增序列和)
- poj1185炮兵阵地
- lucene全文搜索之四:创建索引搜索器、6种文档搜索器实现以及搜索结果分析(结合IKAnalyzer分词器的搜索器)基于lucene5.5.3
- MD5加密解密类(asp.net)&;使用MD5过时处理
- Cassandra docker 使用记录
- 经验:使用 Cache 时注意 DateTime.Now
- Linux打包、压缩与解压详解
- HDU 2891
- 【转发】Visual Studio 2013 如何关闭调试而不关闭IIS Express
- 【微信开发】JS和PHP分别判断当前浏览器是否微信浏览器
- chrome扩展程序开发之在目标页面执行自己的JS
- js正则表达式验证大全--转载
- Leetcode 529.扫雷游戏
热门文章
- 记支付宝接口对接,涉及到提取证书SN号的解决方案
- centos没有service命令的恢复方法(-bash: service: command not found)
- 软件设计师【UML】
- expect脚本远程登录、远程执行命令和脚本传参简单用法
- MyBatis-Migrations安装和使用
- spice在桌面虚拟化中的应用系列之二(Linux平台spice客户端的编译安装,支持USB映射)
- CV2识别图片A,B,C,D
- .net core自定义读取配置文件
- commons-io之FileUtils、IOUtils
- 《BUG创造队》作业8:软件测试与Alpha冲刺(第一天)