在神经网络中weight decay
2024-08-31 06:04:17
weight decay(权值衰减)的最终目的是防止过拟合。在损失函数中,weight decay是放在正则项(regularization)前面的一个系数,正则项一般指示模型的复杂度,所以weight decay的作用是调节模型复杂度对损失函数的影响,若weight decay很大,则复杂的模型损失函数的值也就大。
momentum是梯度下降法中一种常用的加速技术。对于一般的SGD,其表达式为,沿负梯度方向下降。而带momentum项的SGD则写生如下形式:
其中即momentum系数,通俗的理解上面式子就是,如果上一次的momentum(即)与这一次的负梯度方向是相同的,那这次下降的幅度就会加大,所以这样做能够达到加速收敛的过程。
三、normalization。如果我没有理解错的话,题主的意思应该是batch normalization吧。batch normalization的是指在神经网络中激活函数的前面,将按照特征进行normalization,这样做的好处有三点:
1、提高梯度在网络中的流动。Normalization能够使特征全部缩放到[0,1],这样在反向传播时候的梯度都是在1左右,避免了梯度消失现象。
2、提升学习速率。归一化后的数据能够快速的达到收敛。
3、减少模型训练对初始化的依赖。
作者:陈永志
链接:https://www.zhihu.com/question/24529483/answer/114711446
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
最新文章
- 一步步学习javascript基础篇(5):面向对象设计之对象继承(原型链继承)
- php跨域请求
- [Unity菜鸟] Unity读XML
- Innodb加载数据字典 &;&; flush tables
- 常用封装--Date篇--获取格式化的日期对象
- Windows Phone开发(38):动画之PointAnimation
- MAC下安装automake autoconf工具
- maven 常用脚本
- MySQL常见的三种存储引擎(InnoDB、MyISAM、MEMORY)
- 安利一波那个叫做 hutool 的通用工具类库
- Linux 命令分类学习
- 常量(constant)
- Python+Selenium 自动化实现实例-处理分页(pagination)
- Eclipse 项目导航字体设置 左侧树字体
- 个推Node.js 微服务实践:基于容器的一站式命令行工具链
- springboot+shiro+redis(单机redis版)整合教程
- js将时间戳转化为日期格式
- PHP 小技巧之__callStatic魔术方法使用
- JSP、Servlet中get请求和post请求的区别总结
- php获取星期几周几