Dropout: A Simple Way to Prevent Neural Networks from Overfitting

• 对于 dropout 层，在训练时节点保留率（keep probability）为某一概率 p（0.5），在预测时（前向预测时）为 1.0；

1. dropout 网络与传统网络的区别

传统网络：

• z(ℓ+1)i=∑jw(ℓ+1)ij⋅y(ℓ)j+b(ℓ+1)i=w(ℓ+1)iy(ℓ)+b(ℓ+1)i
• y(ℓ+1)i=f(z(ℓ+1)i)

而对于 dropout 型网络：

• r(ℓ)j∼Bernoulli(p)
• y˜(ℓ)=r(ℓ)∗y(ℓ)
• z(ℓ+1)i=∑jw(ℓ+1)ij⋅y˜(ℓ)j+b(ℓ+1)i=w(ℓ+1)iy˜(ℓ)+b(ℓ+1)i
• y(ℓ+1)i=f(z(ℓ+1)i)

由此可见 dropout 的应用应在 relu 等非线性激活函数之后，

-> CONV/FC -> BatchNorm -> ReLu(or other activation) -> Dropout -> CONV/FC ->；

最新文章

1. 关于sql语句的优化问题
2. iOS开发者帐号流程
3. java课程三课堂例子验证
4. BestCoder Round #85
5. 数据结构(树链剖分)：COGS 2109. [NOIP2015] 运输计划
6. 警告"Local declaration of 'XXX' hides instance variable"原因
7. NetBeans无法使用编码GBK安全地打开该文件 解决方法
8. C++ 性能剖析 （一）
9. 2015暑假acm短训小结
10. OpenGL杂七杂八
11. 第十六节，基本数据类型，字典dict
12. go share library
13. SpringWeb增删改查
14. 基于开源 Openfire 聊天服务器 - 开发Openfire聊天记录插件
15. Logstash读取Kafka数据写入HDFS详解
16. ef学习一
17. Windows下Kettle定时任务执行并发送错误信息邮件
18. MYSQL 优化常用方法(转载)
19. MySQL随手记
20. SpringBoot 7.SpringBoot 结合 Thymeleaf

热门文章

1. Java设计模式——代理模式实现及原理
2. python3 turtle画正方形、矩形、正方体、五角星、奥运五环
3. linux cmd cp -a
4. iOS开发- iOS7显示偏差(UITableView下移)解决的方法
5. Unity自带网络功能——NetworkView组件、Serialize、RPC
6. 安装hadoop2.6.0伪分布式环境 分类： A1_HADOOP 2015-04-27 18:59 409人阅读 评论(0) 收藏
7. ldd 查看程序/动态库 的依赖
8. ArcGIS 中要素的查询与修改
9. 原生js螺旋运动
10. 那些移动端web踩过的坑2