sigmoid函数由于其自身特点，容易造成几个问题

1、当sigmoid在输出层时容易造成loss较大时学习速度慢的情况（或者说是代价函数学习速度衰退问题）

原因：神经网络的学习方式是通过求代价函数对各参数的偏导，找到负梯度方向，来优化各参数。而在loss较大时，sigmoid的偏导较小。

解决办法之一是在有sigmoid层的时候使用cross-entropy loss

cross-entropy：https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s1.html

解决办法之二是使用softmax替代sigmoid

softmax：https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s4.html

2、当sigmoid在中间层时，容易造成梯度弥散

解决办法是用relu替代sigmoid

最新文章

1. Spark数据传输及ShuffleClient（源码阅读五）
2. hdu-5933----hdu-5943
3. Cadence 建立封装：多个引脚于芯片内部连接的封装建立方式
4. UVA 12532 Interval Product
5. [USACO精选] 第二章 动态规划（一）
6. 【英语】Bingo口语笔记(28) - 表示“秘密”
7. linux常用系统配置命令汇总
8. 关于java中,json字符串转集合和对象,或者集合转json字符串的解决方法
9. Python黑客泰斗利用aircrack-ng破解 wifi 密码，超详细教程！
10. node.js、js读取excel、操作excel、创建excel之js-xlsx.js
11. Python——Python+Pydev出现SyntaxError: Non-UTF-8 code
12. Ubuntu 15.10 下Tachyon安装
13. Redis 指令 学习笔记
14. C#学习-类和结构
15. Extend to Palindrome UVA - 11475（补成回文串）
16. Python_oldboy_自动化运维之路（三）
17. SpringBoot无法启动，Process finished with exit code 0
18. 异常信息 Exception
19. linux 安装php扩展swoole redis
20. MySQL主从不一致修复

热门文章

1. java Web监听器导图详解
2. 《高性能MySQL》读书笔记(1)
3. asp.net 导出EXCEL超高兼容（不用装Excel）
4. c libghttp ghttp 库使用指南
5. Struts2的拦截器是如何使用AOP工作的
6. java----IO和NIO的区别
7. Scilab 的画图函数（3）
8. UE4与Visual Studio版本对应关系
9. 下载Qt安装包
10. C语言基础之水仙花数