tensorflow2.0学习笔记第二章第二节
2024-09-05 21:53:56
2.2复杂度和学习率
指数衰减学习率
可以先用较大的学习率，快速得到较优解，然后逐步减少学习率，使得模型在训练后期稳定
指数衰减学习率 = 初始学习率 * 学习率衰减率^（当前轮数/多少轮衰减一次）
空间复杂度：
层数 = 隐藏层的层数 + 1个输出层 （去掉输入层）
总参数 = 总w + 总b
0
0 0 0
0 0 0
0 0 0
0
例如上图 第一层：3x5+5 = 20 第二层5x3+3=18 总共38个 时间复杂度复杂度
乘加运算次数
左图 3X5 + 5x3 = 30
第一层 第二层
最新文章
- <<< java环境搭建
- js生成带参的二维码
- 【freemaker】之include,import区别
- 禁止用户自己停止SEP - 飞舞的菜刀 - 51CTO技术博客
- scrollView滚动（通过代码）
- SQL对字符串进行排序
- Android之条码扫描二维码扫描
- centos下修改hostname,ip,netmask,gateway,dns
- uva 10118，记忆化搜索
- svn 迁移至git操作手册
- Jenkins + Ansible + Gitlab之ansible篇
- js 简单的进度条
- drupal笔记
- 关系数据库（MySQL）的规范化、以及设计原则
- DbContextScope,A simple and flexible way to manage your Entity Framework DbContext instances,by mehdime
- java int类型转换成String ， 不足10位 在前面补0
- oracle中普通视图和实体试图的区别
- springboot 配置webservice接口
- .net core json序列化首字符小写和日期格式处理
- boost::function和boost:bind取代虚函数