深度学习面试题14:Dropout(随机失活)
2024-08-23 02:04:16
目录
卷积层的dropout
全连接层的dropout
Dropout的反向传播
Dropout的反向传播举例
参考资料
在训练过程中,Dropout会让输出中的每个值以概率keep_prob变为原来的1/keep_prob倍,以概率1-keep_prob变为0。也就是在每一轮的训练中让一些神经元随机失活,从而让每一个神经元都有机会得到更高效的学习,会让网络更加健壮,减小过拟合。
在预测过程中,不再随机失活,也不在扩大神经元的输出。
卷积层的dropout |
举例:以一个2*4的二维张量为例,参数keep_prob=0.5,其过程如下:
全连接层的dropout |
Dropout处理一般用在全连接神经网络的全连接层或者卷积网络后面的全连接层。
举例:以全连接网络的某一层为例,参数keep_prob=0.5,每一轮训练对隐藏层的输出做dropout,其过程如下:
隐藏层的激活函数为σ(x)=x
Dropout的反向传播 |
以一个回归案例为例
其中z2神经元会失活,通过如下图的链式法则发现,此轮更新过程中,与失活神经元相连的边上的权重都不会被训练,因为他们的偏导数都=0.
Dropout的反向传播举例 |
举例:dropout的概率p=0.5,激活函数为σ(x)=x,网络结构如下:
假设某样本x的值是3,标签是0.5,训练一个回归模型,因为有dropout的存在,会出现不同的更新情况,下面演示使用样本x反复训练网络,更新网络的过程:
第一轮(假设dropout(z)=2z):
第二轮(假设dropout(z)=0):
第三轮(假设dropout(z)=2z):
参考资料 |
《图解深度学习与神经网络:从张量到TensorFlow实现》_张平
最新文章
- nodejs 命令行、自定义
- 关于sed用法
- Spring Framework 笔记(一):IoC
- 泛型实现中没有正确lock引用类型的一个隐藏bug分析
- select与poll函数介绍
- WEB标准:标准定义、好处、名词解释、常用术语、命名习惯、浏览器兼容、代码书写规范
- Python开发规范
- Scrum Meeting Alpha - 1 (团队任务分解)
- dump_stack 分析使用
- window.history.go(-1)返回且刷新页面
- AGC010 - A: Addition
- 洛谷 P2257 【YY的GCD】
- python字典和条件控制
- 给dom对象添加事件
- Gogs基本使用介绍
- win 10 安装visual studio 2013
- Nginx防盗链的3种方法 文件防盗链 图片防盗链 视频防盗链 linux防盗链
- [数据结构]图的DFS和BFS的两种实现方式
- Python 常用类库
- 个人理解的Windows漏洞利用技术发展史
热门文章
- I、Mac 下的Vue
- linux删除命令的简单查找使用--临时找来用的
- Mongodb Sharding 集群配置
- com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?
- Java精通并发-透过openjdk源码分析wait与notify方法的本地实现
- linux文档与目录结构
- 牛客NOIP暑期七天营-提高组1 解题报告
- java singleton(单例设计模式)
- 文件操作-with和上下文管理器
- Codeforces Round #604 (Div. 2) D. Beautiful Sequence(构造)