无监督学习:Deep Generative Mode(深度生成模型)
一 前言
1.1 Creation
据说在费曼死后,人们在他生前的黑板上拍到如图画片,在左上角有道:What i cannot create ,I do not understand. Generative models,就是在做创造的事情。
1.2 Image Processing
二 Generative Models
这是目前的主要方法。
2.1 PixelRNN
每次生成一个像素,用这样的方法,没有任何注释可以训练就有一大堆图像,效果还不错。下边是某一个实例:
2.2 Variational Autoencoder (VAE)
回忆Auto-encoder方法,如果随机生成一个向量code输出一张图片就是在create了,但是发现这样做的performance并不很好,而Variational Autoencoder会好很多。
VAE结构与Auto-encoder很像
需要minimize两处。 VAE,能通过code来控制产生的结果。 比如我们固定住8维,改变其中的两维向量,看他们生成的图像变化趋势,从而得到当前维度控制结果产生的规律。
效果: 如下图,右上角站立,左下角平躺。
也可以让VAE write poetry:
Why VAE?-->用VAE,从code space上去sample一个code,能得到一个比较好的image,而auto encoder可能得不到。
将code加上了noise,而variance决定了noise的大小,variance是train出来的。variance要做一些限制,否则就会是0,所以就要用Minimize。
以上是直观的解释,那么回到我们要解决的问题,即Estimate the probability distribution
那么怎么来Estimate the probability distribution呢?可以用Gaussion Mixtrue Model 。怎样从Gaussian Mixture Model 里sample一个data呢? 首先有一个multinomial distribution,先决定sample 其中的哪一个Gaussian,用m表示。有了m,就可以找到μ和Σ,然后可以sample出一个x。
也就是说每一个你生成的x并不属于某一个class或cluster,而是它有一个vector来描述他所描述的不同对象的特性,所以,VAE其实就是Gaussian Mixture Model的distribute representation的版本。 先sample一个 z ,假设μ 和 σ都分别来自函数μ(z) 和 σ(z),在z的space里,每一个点都有可能被sample到,只是可能性有大小m,z上的每一个点都可能被sample到并对应着无穷多个gaussian,那么function该怎么找呢?那么可以说NN就是function,训练出这个NN就ok啦。
对gaussian的假设是很随意的,因为NN都能被训练适应。现在手上已经有了一批image x,maximize已有image的L。
上面的NN其实就是decoder,下面的是encoder。那么那么logP(x)怎么求呢?
思想就是,likelihood = KL+Lb,logP(x)只与log(x|z)有关,无论q怎么调,图中的上线是不会变的。这时假如固定住p,调q是会使Lb一直上升,最后likelihood会和Lb非常接近,而再继续下去likelihood也会随之变大。
conditional VAE
Problem of VAE
2.3 Generative Adversarial Network (GAN)
Yann LeCun’s comment的评价:
GAN的概念,有点像拟态的演化。
The evolution of generation,Generator演化(蝴蝶),Discriminator也跟着演化(天敌)。 需要注意的是,generator从来没有看过真正的image,它要做的就是努力骗过看过真正image的discriminator。所以generator才能产生出database中没过的image。
GAN - Discriminator
GAN - Generator
Fix the discriminator,然后去调generator的参数。
实例:GAN – Toy Example
Moving on the code space
先随机sample五个vector,然后向该方向moving,会发生很神奇的事情,比如窗变成电视,电视变成窗户。
In practical
参考:
http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2016/Lecture/VAE%20%28v5%29.pdf
https://blog.csdn.net/soulmeetliang/article/details/77461607
最新文章
- Atitit.ide eclipse编译速度慢的解决
- Unity3D 更新文件下载器
- SQL NOT EXISTS
- 让你fork下来的项目与源项目保持同步
- 忘记常访问网站密码怎么办?教你如何查看浏览器已保存的密码,如何简单查看Chome浏览器保存的密码?
- mysql常见的运算符及使用
- 批处理测试局域网网络连通性ping1-255
- 基于4.5Framework web程序、SQLSERVER数据库打包
- iOS 调试心得
- MVVM -- CallMethodAction 和 InvokeCommandAction
- 深入浅出Lua虚拟机
- Read-only file system
- 常用的头文件—— common.h
- sencha touch 选择器
- 7.10 其他面向对象设计原则1: 开-闭原则OCP
- Python3编写网络爬虫08-数据存储方式一-文件存储
- 20155306 2016-2017-2 《Java程序设计》第九周学习总结
- JS 判断IE(转)
- 团队作业8-测试与发布(beta阶段)
- 写出完整版的strcpy函数及其他如:strcat,strcmp,strstr的函数实现
热门文章
- LigerUI java SSH小例子
- Swift 学习笔记 (方法)
- BZOJ4829: [Hnoi2017]队长快跑
- 我的Java开发学习之旅------>Java使用ObjectOutputStream和ObjectInputStream序列号对象报java.io.EOFException异常的解决方法
- Swift语言概览
- Arcgis SOE学习
- shell执行lua脚本传参数
- RDLC报表-分组序号
- 超限学习机 (Extreme Learning Machine, ELM) 学习笔记 (一)
- MySQL——多版本并发控制