【文献阅读】Augmenting Supervised Neural Networks with Unsupervised Objectives-ICML-2016
2024-08-30 02:17:00
一、Abstract
从近期对unsupervised learning 的研究得到启发,在large-scale setting 上,本文把unsupervised learning 与supervised learning结合起来,提高了supervised learning的性能。主要是把autoencoder与CNN结合起来
二、Key words:
SAE;SWWAE; reconstruction;encoder;decoder;VGG-16;Alex-Net
三、 Motivation
- reconstruction loss 很有用,reconstruction loss可以看作一个regularizer(SWWAE文中提到).
- unsupervised learning会对model起一定的限定作用,即相当于一个regularizer,这个regularizer使得encoder阶段提取得到的特征具有可解释性
四、Main contributions
- 本文实验表明了,high-capacity neural networks(采用了known switches)的 intermediate activations 可以保存input的大量信息,除了部分
2.通过结合decoder pathway 的loss,提升了supervised learning model的分类正确率
3.做了几个 autoencoder模型的对比实验,发现: the pooling switches and the layer-wise reconstruction loss 非常重要!
五、Inspired by
- Zhao, J., Mathieu, M., Goroshin, R., and Lecun, Y. Stacked what-where auto-encoders. ArXiv:1506.02351, 2015.
- Simonyan, K. and Zisserman, A. Very deep convolutional networks for large-scale image recognition. In ICLR,2015.
- Krizhevsky, A., Sutskever, I., and Hinton, G. E. Imagenet classification with deep convolutional neural networks.In NIPS, 2012.
Rasmus, A., Valpola, H., Honkala, M., Berglund, M., and Raiko, T. Semi-supervised learning with ladder network.In NIPS, 2015. - Adaptive deconvolutional networks for mid and high level feature learning
- Zeiler, M. D., Krishnan, D., Taylor, G. W., and Fergus, R. Deconvolutional networks. CVPR, 2010.
- Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolu-tional networks for mid and high level feature learning.In ICCV, 2011.
key word:SWWAE;VGG-16;Alex-Net;ladder-Net;Deconvolutional network
六、文献具体实验及结果
1.SAE-all模型的训练:
第一步,采用VGG-16(训练好的VGG-16)初始化encoder,采用gaussian初始化decoder
第二步,固定encoder部分,用layerwise的方法训练decoder
第三步,用数据整体的训练更新decoder和encoder的参数
SAE-first模型的训练同SAE-all
SAE-layerwise一般只是拿来初始化 SAE-first SAE-all
SWWAE-all 提升了 1.66 % and 1.18% for single-crop and convolution schemes.
(top-1)
七、 感悟
- 2006~2010年期间, unsupervised learning 盛行是以为当时有标签数据不够大,所以需要用unsupervised leanring 的方法来初始化网络,可以取得较好效果,而 类似imagenet这样的大量标签数据的出现, 用autoencoder来初始化网络的优势已经没有。从这里也可以知道,当数据量较小时,可以考虑用unsupervised learning 的方法来初始化网络,从而提升分类准确率
- reconstruction loss 可以看作 regularization , 即是对enconder的weights做了一些限制,限制其获得的activations要能recon出input,是的提取得到的特征具有可解释性
最新文章
- 使用maven搭建ssh框架
- centos6配置网卡
- 【Alpha阶段】第四次Scrum例会
- node.js基础 1之 URL网址解析的好帮手
- MyEclipse 8.5 优化实例
- WPF,给颜色SolidColorBrush添加动画
- JBoss像tomcat那样创建部署文件,JBoss创建虚拟目录
- A Simple Problem with Integers 多树状数组分割,区间修改,单点求职。 hdu 4267
- windows ODBC数据源里没有Oracle的驱动程序
- net发布mvc项目
- css3的3D翻牌效果
- (转载)linux那点事儿(上)
- vim中选择匹配文本删除技巧
- hdu4499 Cannon (DFS+回溯)
- oc 导航栏跳转指定界面
- 【BZOJ1855】股票交易(动态规划,单调队列)
- 轨迹系列4——WebGIS中使用ZRender实现轨迹前端动态播放特效
- [Codeforces702F]T-Shirts——非旋转treap+贪心
- Python3.6及以上pip安装pymssql错误的解决办法[Windows&;Linux freetds安装]
- Spring获取URL相关信息
热门文章
- Logger用法
- LeetCode OJ-- LRU Cache ***@
- C# .NET4.0 改为 到.NET2.0 时 TypedTableBase 报错解决方法
- web前端生成图片之探索踩坑
- python对象的复制问题
- Linux 安装 Java 运行环境
- 《Microsoft SQL Server 2008 Internals》读书笔记--目录索引
- iOS 5 does not allow to store downloaded data in Documents directory? ios5.0及以后的版本对于下载的文件存储路径有了改变
- SVG图片背景透明
- &;lt;LeetCode OJ&;gt; 83. Remove Duplicates from Sorted List