含义

在训练过程中，对神经网络单元按照一定比例暂时将其丢弃。

原理

由于网络参数过多，训练数据少，或者训练次数过多，会产生过拟合的现象。
dropout产生的一个重大原因就是为了避免过拟合。 每一层的神经元按照不同的概率进行dropout，这样每次训练的网络都不一样，对每一个的batch就相当于训练了一个网络，dropout本质是一种模型融合的方式，当dropout设置为0.5时，模型总类最多为2^n, 另外在更新参数时，只对保留的神经元进行更新，也能加快训练速度。

应用

在embedding之后可以使用，tensorflow中如下： tf.nn.dropout(E, keep_prob）

参考：

https://blog.csdn.net/stdcoutzyx/article/details/49022443

最新文章

  1. C#对象先序列化然后反序列化时间丢失八小时的问题
  2. linux配置本地源
  3. JS的一些日期操作
  4. C语言关键字
  5. xp下Oracle数据库导入SQLServer数据库数据
  6. .NET简单企业应用
  7. Myeclipse 激活代码 8.6以前的版本
  8. sqlserver merge into
  9. 使用Java语言开发微信公众平台(四)——图文消息的发送与响应
  10. selenium实例：unittest框架+PO开发模式
  11. sql转百分比并保留两位小数
  12. kdump简单的介绍
  13. jQuery.when().done()
  14. http://jqweui.com/
  15. oracle语句优化
  16. Hyperscan与Snort的集成方案
  17. 如何在内网安装compass
  18. Ubutnu linux 下升级python版本，以2.x升级到3.x为例
  19. XP、Windows7下自动关机vbs脚本，使用windows计划任务+vbs脚本在XP、Windows7下实现定时自动关机
  20. HDU 2138 How many prime numbers （判素数，米勒拉宾算法）

热门文章

  1. [ARIA] Accessible animations with reduced motion
  2. LOJ P10148 能量项链 题解
  3. learning scala view collection
  4. 洛谷P1021邮票面值设计
  5. Git 相关使用
  6. a=”hello”和b=”世界”编码成bytes类型
  7. Python的is和==
  8. vue中class用法
  9. Android数据绑定DataBinding（二）入门篇
  10. [RK3399] 汇顶gt9xx触摸屏在RK原始代码调试