参考：https://blog.csdn.net/cherrylvlei/article/details/53149381

首先，我们来看一下ReLU激活函数的形式，如下图：

　　单侧抑制，当模型增加N层之后，理论上ReLU神经元的激活率将降低2的N次方倍，ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。此外，相比于其它激活函数来说，ReLU有以下优势：对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题(Vanishing Gradient Problem)，使得模型的收敛速度维持在一个稳定状态。这里稍微描述一下什么是梯度消失问题：当梯度小于1时，预测值与真实值之间的误差每传播一层会衰减一次，如果在深层模型中使用sigmoid作为激活函数，这种现象尤为明显，将导致模型收敛停滞不前。

最新文章

1. AEAI CRM_v1.5.2升级说明，开源客户关系管理系统
2. angular学习之路（一）
3. [转载]Javascript异步编程的4种方法
4. CentOS 7.2.1511编译安装Nginx1.10.1+MySQL5.6.33+PHP5.6.26
5. poj1014(还需要改动)
6. 孙鑫MFC学习笔记11：保存图像
7. MySQL Workbench gnome-keyring-daemon错误的解决
8. 获取 Cookie
9. HTML5大数据可视化效果（二）可交互地铁线路图
10. SVN设置实例
11. jquery.datatable插件从数据库读取数据
12. 获取客户端的IP地址
13. MergeSort 归并排序
14. 10年程序员谈.Net程序员的职业规划(图/文)
15. KMP(Knuth-Morris-Pratt)算法
16. C strstr() 函数
17. Objective-C中的instancetype与id的区别
18. 兼容ie6及以上和firefox等标准浏览器的表格行滑过时背景色切换的效果
19. GItCandy版本库搬迁步骤
20. 使用数据库乐观锁解决高并发秒杀问题,以及如何模拟高并发的场景,CyclicBarrier和CountDownLatch类的用法

热门文章

1. golang实现无限级菜单(beego框架下)
2. IdentityServer4 学习三
3. win10改装win7
4. SQL Server 数据库清空ldf日志文件
5. JDBC缓冲池配置druid.properties
6. QT release版QAudioDeviceInfo获取不到音频设备，而debug版可以获取到
7. 考试应对（Java语法速览）
8. python 之 前端开发（form标签、单选框、多选框、file上传文件、按钮、label标签、下拉列表、textarea标签、fieldset标签、table标签）
9. dotnet Core学习之旅(序)
10. PB笔记之第一行数据不能删除的解决方法