Going deeper with convolutions(GoogLeNet、Inception)
从LeNet-5开始，cnn就有了标准的结构：stacked convolutional layers are followed by one or more fully-connected layers。对于Imagenet这种大的数据集，趋势是增加层数和层的大小，用dropout解决过拟合。
1×1卷积核在Inception中大量使用，两个作用：dimension reduction and rectified linear activation（即增加非线性）（维度降低减少参数；并增加模型深度，提升模型表征能力；促进不同层之间的信息交流）
提升深度神经网络的最直接方式是increasing their size，这个size包含两个方面含义，depth和width。但这个方式也有两个主要的缺点：
1.bigger size就会有更多的参数，容易造成过拟合，特别是在训练数据有限的情况下。
2.使用大量的计算资源
最基本解决这两个问题的方式是将全连接改为稀疏连接。
Inception的主要思想是在卷积网络中找到一个局部最优稀疏结构，然后稀疏地重复这个结构。
对于naive版本的Inception，因为所有的卷积核都在上一层的所有输出上来做，那5×5的卷积核所需的计算量就太大了（参数太多）。当pooling单元加入之后这个问题更加明显：输出滤波器的数量等于前一步中滤波器的数量（这句话就说明了多通道的池化在每个通道进行池化，经过池化后并不会改变通道数量），pooling层的输出和卷积层的输出融合会导致输出数量逐步增长。即使这个架构可能包含了最优的稀疏结构，还是会非常没有效率，导致计算没经过几步就崩溃。因而，可以采用NIN中的方法对上一层的输出进行合并（使用1×1卷积核进行特征降维）。这样就衍生出了真正可用的Inception。
Inception网络符合直觉：visual information should be processed at various scales and then aggregated so that th next stage can abstract features from different scals simultaneously
特征降维：192个feature map可以理解为192维的特征，使用1x1把192个feature map转化为96个feature map，相当于进行特征降维
https://baijiahao.baidu.com/po/feed/share?wfr=spider&for=pc&context=%7B%22sourceFrom%22%3A%22bjh%22%2C%22nid%22%3A%22news_3570975145242505168%22%7D
1*1如何降低参数数量http://www.jianshu.com/p/ba51f8c6e348
最新文章
- XmlRpc.net 出参字符串还原为结构体
- 快速入门系列--CLR--03泛型集合
- Octopress博客使用
- Android 多线程----AsyncTask异步任务详解
- Sidebar Enhancements使用说明
- 微信小程序城市定位(借助百度地图API判断城市)
- IntelliJ IDEA使用教程（非常全面）
- Django之模型层-了解ORM
- iTerm通过堡垒机自动登录服务器
- Vivaldi浏览器媲美Chrome
- 基于element-ui的后台系统表格、dialog、筛选、自定义按钮、分页的一次性封装
- es各类SearchType的意思
- hdu 2216 bfs
- sshpass使用
- npm和cnpm（windows）安装步骤
- shell读取nginx配置文件中nginx的端口
- 【动态规划】mr351-办签证
- jQuery使用prop设置checkbox全选、反选
- 转MySQL详解－－索引
- python django -5 进阶