Ba, Jimmy Lei, Jamie Ryan Kiros, and Geoffrey E. Hinton. "Layer normalization." arXiv preprint arXiv:1607.06450 (2016).

Batch Normalization是对每个神经元做归一化(cnn是对每个feature map做归一化)，主要是为了解决internal covariate shift的问题。

作者提出，对于RNN这种没法用mini-batch的网络，没办法用BN，所以提出了Layer Normalization。

公式为：

两个repo:https://github.com/pbhatia243/tf-layer-norm 和 https://github.com/ryankiros/layer-norm

感觉不管BN还是LN，都是为了限制神经元的输出值，使其符合一定的分布。可以看出，为了得到均值和方差，BN采用了不同batch中不同的输入数据来计，LN采用了同一层上神经元来计算。那么，是否可以通过历史时间数据来计算呢，感兴趣的同学可以自己去实现一个TN(time normalization或者叫temporal normalization )，似乎也是支持RNN的(即独立于mini-batch的)。

最新文章

1. android内部培训视频_第三节 常用控件(Button,TextView,EditText,AutocompleteTextView)
2. 在Excel表里面插入背景图
3. 怎样用ZBrush对模型进行渲染（二）
4. Linux中的命令 make -f 是什么意思
5. PHP弹出提示框并跳转到新页面即重定向到新页面
6. 学习Linux系列--安装Ubuntu
7. 分享一下自己正在使用的sublime text里的插件
8. jsp页面
9. oracle 数组类型
10. Java反射获取类和对象信息全解析
11. Akka FSM 源代码分析
12. JavaScript高级程序设计---学习笔记（五）
13. 在HTML页面中获取当前项目根路径的方法
14. Android初级教程理论知识（第七章服务）
15. 动态规划-LIS1
16. java日志框架之logback(一)——logback工程简介
17. Linux命令:索引
18. POJ2431--Expedition(优先队列)
19. Ubuntu16.04 kaldi的简单配置
20. 调用WScript.Shell时产生Automation 服务器不能创建对象的错误

热门文章

1. Hibernate从入门到上手（纯java project、Maven版本hibernate）
2. Office 如何复印身份证正反面到一张纸上
3. 在EXCEL中如何让一列数字变成文本格式?就是想让单元格的左上角变一个绿绿的？
4. iOS项目开发实战——使用CoreLocation获取当前位置信息
5. 网络编程-Java中的Internet查询
6. mui webview操作
7. windows下检測软件的网络连接
8. Arrays.sort()
9. js对数组按顺序排序
10. 如果你需要从不同的服务器（不同域名）上获取数据就需要使用跨域 HTTP 请求