[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]
现状:
1. 目前大家对于大部分需求,通常采用multiple layer,units in each layer也是人工订好的(虽然可以做稀疏,但是在same layer范围内竞争)。
2. 网络结构(或connection paradigm)常用的有3种:
DNN(或DBN)中full connection,各个weight独立看待;
CNN中part connection(translation or scale)in same convolution,weight有group的概念,同group的"共生"(常采用equality);
RNN中有了context的概念,从而在connection中增加了context内的依赖(temporal/spacial)。
3. feature learn from raw data layer by layer,but prior knowledge in raw data is NOT fully concerned.我们更期望学到是的联合概率而不是后验概率。
4.uncertainty quantification的问题解决,这个事关risk(variance)。
只从技术上谈突破(个人理解,有可能有误,请大牛们指正)如下:
a. BP很可能不是唯一的“彩蛋”。细节不便说,可以提一个,如果我到google/facebook搞,首先从layered graph model开始(形成inference network or inference graph),采用bayesian network中的因果推断关系和markov network中的互为因果关系。
b. 网络结构方面消除layer间的隔阂的shrink或dropout。常有人说train到某个epoch后貌似提升不动,甚至反而变坏了,除了units size和learning rate调整解决外,可以考虑此思路。此外,更重要的是,不用拘束在第2点说到的connection paradigm,完全可以根据自己的业务(例如广告CTR)和数据特征特点,建立suitable connection。我和朋友研究下针对语音识别 和 广告CTR的特有网络形式。
c. prior knowledge的获取有3个思路:auto-encoder,manifold learning,structure constraints的表征。尤其是第三个,怎么把structure constraints有效的和network(or graph)的connection形式建立关系是个很好的思路。
d. quantification问题或者说upper bound问题是个“永恒”的话题。因为有些应用特别关注这些,比如互联网金融中对variance的risk evaluation。但改进还是有的,思路之一是逐层量化或逐图量化+适当约束优化。但不建议为了quantify而限制整个模型学习的activeness,从而得不偿失。
最新文章
- 2016年Web前端面试题目
- celery使用方法
- iOS中常用的宏定义
- 【2016-10-17】【坚持学习】【Day8】【简单工厂模式】
- kendo模板 Uncaught Error: Invalid template:' 报错
- 大叔最新课程~EF核心技术剖析
- hdu 5147 树状数组
- web提前做好测试
- @Component @Repository @Service @Controller
- Linux下jvm、tomcat、mysql、log4j优化配置笔记[转]
- 初尝easyui
- (一)CodeMirror - 基本应用
- SRBF Lighting
- bullet_01
- 实践作业2:黑盒测试实践——编写自动化脚本并拍摄测试过程视频 Day 6
- 285款photoshop烟花笔刷
- 洗礼灵魂,修炼python(64)--爬虫篇—re模块/正则表达式(2)
- [ZJOI2007]仓库建设(斜率优化)
- Oracle 数据库监听配置和服务
- method&;interface