DenseNet
特点: dense shortcut connections
结构: DenseNet 是一种具有密集连接的卷积神经网络。在该网络中,任何两层之间都有直接的连接,也就是说,网络每一层的输入都是前面所有层输出的并集,而该层所学习的特征图也会被直接传给其后面所有层作为输入
源码: DenseNet

简介
DenseNet 引人注目的好处:
- 缓解了深层网络梯度消失的问题
- 加强了 feature propagation
- 支持 feature reuse
- 大量的减少了参数数量(DenseNet非常窄,即 channel 少)
- Dense Connections 具有正则化效果
研究表明: 输入或者梯度信息经过多层神经网络传递之后,在到达网络的尾部或者首部时,可能会消失(即变成零)。
与 ResNet 的比较:
Crucially, in contrast to ResNets, we never combine features through summation
before they are passed into a layer; instead, we combine features by concatenating
them.
Stochastic depth 通过在训练期间随机丢弃层来改善 ResNet 的训练过程,这表明并非所有层都可能是需要的,从而说明了 ResNet 中存在大量的冗余。
DenseNet 结构

down-sampling 是卷积网络中必要的操作,而它会改变 feature map 的尺寸,所以将网络划分为多个 Dense Block, 每个 Block 中的 feature map 大小相同。
1.合成函数:
\[
\begin{align}
x_l &= H_l([x_0, x_1, \cdots,x_{l-1}]) \\
H_l &= BN→ReLU→Conv(1\times1)→BN→ReLU→Conv(3\times3) \\
\end{align}
\]
2.池化层:
\[BN→ReLU→Conv(1\times1) → AvePooling\]
3.Growth rate
即 Dense Block 中每层输出的 feature maps 的 Channel 数, eg, k=12
4.压缩
设通常池化层的输出 Channel 个数为 \(m\),我们通过参数 \(θ\),调节池化层输出 Channel 的个数为 \(θm\)
5.执行细节:
Conv(3×3), s=1, zero-padding
Avg_Pool, 2×2

最新文章
- Java-jdbc操作数据库
- SqlSugar ORM已经支持读写分离
- 【Android学习】解决Eclipse AVD打开慢的问题
- Mybatis 源码分析--Configuration.xml配置文件加载到内存
- 启发式算法(Heuristic Algorithm)
- phpcms模块开发简易教程
- SQL servcer 时间日期函数、数据类型转换
- MicrosoftProjectOxford 微软牛津计划
- git pull使用【转】
- android http 通信(java原生类库实现)
- css3实践—创建3D立方体
- TCP/IP协议原理与应用笔记10:TCP/IP协议族
- php 数组 类对象 值传递 引用传递 区别
- JS--显示类型转换Number—隐式类型转换
- 总结的OSM 地图相关的分析
- 如何将FastReportOnlineDesign 灵活的应用到C/S B/S 程序当中?
- MySQL基础整理(一)之SQL基础(未完成)
- C++ 中的导致编译错误汇总
- SNF平台从sql server兼容oracle的处理方式和开发方式
- 【Redis学习之九】Redis集群:Twemproxy和HA
热门文章
- Poj3321 Apple tree
- CodeFirst学习笔记
- python socket知识点
- python迭代和切片
- 关于CoordinatorLayout的用法——复杂交互的克星
- 关于LINUX里面查找,替换,编辑的一些用法
- 【原】无脑操作:IDEA + maven + SpringBoot + JPA + EasyUI实现CRUD及分页
- win10每次开机都显示“你的硬件设置已更改,请重启电脑……”的解决办法
- WP-player——WordPress的一款好用的音乐插件
- js监听事件