梯度消失(vanishing gradient)与梯度爆炸(exploding gradient)问题
2024-10-11 04:21:51
(1)梯度不稳定问题:
什么是梯度不稳定问题:深度神经网络中的梯度不稳定性,前面层中的梯度或会消失,或会爆炸。
原因:前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时,就出现了内在本质上的不稳定场景,如梯度消失和梯度爆炸。
(2)梯度消失(vanishing gradient problem):
原因:例如三个隐层、单神经元网络:
则可以得到:
然而,sigmoid方程的导数曲线为:
可以看到,sigmoid导数的最大值为1/4,通常abs(w)<1,则:
前面的层比后面的层梯度变化更小,故变化更慢,从而引起了梯度消失问题。
(3)梯度爆炸(exploding gradient problem):
当权值过大,前面层比后面层梯度变化更快,会引起梯度爆炸问题。
(4)sigmoid时,消失和爆炸哪个更易发生?
量化分析梯度爆炸出现时a的树枝范围:因为sigmoid导数最大为1/4,故只有当abs(w)>4时才可能出现
由此计算出a的数值变化范围很小,仅仅在此窄范围内会出现梯度爆炸问题。而最普遍发生的是梯度消失问题。
(5)如何解决梯度消失和梯度爆炸?
使用ReLU,maxout等替代sigmoid。(具体细节请看博主之前神经网络激活函数部分)
区别:(1)sigmoid函数值在[0,1],ReLU函数值在[0,+无穷],所以sigmoid函数可以描述概率,ReLU适合用来描述实数;(2)sigmoid函数的梯度随着x的增大或减小和消失,而ReLU不会。
最新文章
- 字典 Key值转换为数组
- MongoDB(四)mongodb设置用户访问权限
- HDU3870 Catch the Theves(平面图最小割转最短路)
- Android开发探秘之二:导入存在的项目及其注意事项
- 调用百度地图Api实现的查看地图功能的小插件
- 19款绚丽实用的jQuery/CSS3侧边栏菜单
- 表达式语言之EL表达式
- javascript 的点击复制事件
- 【MFC学习笔记-作业5-小数据库】【单选框,复选框,滚动条,列表框】
- 手游接入Facebook的那些坑
- boost::asio 连接管理11 如何关闭连接
- 【高德API】如何利用MapKit开发全英文检索的iOS地图
- 取消svn版本控制
- VirtualBox 安装增强工具
- Python协程爬取妹子图(内有福利,你懂得~)
- 自己编写的仿京东移动端的省市联动选择JQuery插件
- ssm项目整合shiro
- bzoj3637(lct)
- Android system :led_class驱动
- Shell编程-11-子Shell和Shell嵌套
热门文章
- [Java]如何把当前时间插入到数据库
- AutoFac简单入门
- google打不开怎么办?谷歌打不开的解决方法
- How to update WPF browser application manifest and xbap file with ‘mage.exe’
- AngularJS报错:[$injector:unpr] Unknown provider: $templateRequestProvider
- delphi中单独编译pas生成dcu文件
- tms web core介绍
- iOS App与iTunes文件传输的方法和对iOS App文件结构的说明
- Android 自动编译、打包生成apk文件 2 - 使用原生Ant方式
- linux批量改名