从算法的命名上来说，PReLU 是对 ReLU 的进一步限制，事实上 PReLU（Parametric Rectified Linear Unit），也即 PReLU 是增加了参数修正的 ReLU。

在功能范畴上，ReLU 、 PReLU 和 sigmoid 、 tanh 函数一样都是作为神经元的激励函数（activation function）。

1. ReLU 与 PReLU

注意图中通道的概念，不通的通道对应不同的 $$

如果 ai=0，那么 PReLU 退化为 ReLU；如果 ai 是一个很小的固定值（如ai=0.01），则 PReLU 退化为 Leaky ReLU（LReLU）。 有实验证明，与 ReLU 相比，LReLU 对最终的结果几乎没什么影响。

2. 说明

• PReLU 只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同 channels 使用相同的 ai 时，参数就更少了。

• BP 更新 ai 时，采用的是带动量的更新方式，如下图：

  Δai:=μΔai+ϵ∂ε∂ai

  上式的两个系数分别是动量和学习率。

  需要特别注意的是：更新 ai 时不施加权重衰减（L2正则化），因为这会把 ai 很大程度上 push 到 0。事实上，即使不加正则化，试验中 ai 也很少有超过1的。

• 整个论文，ai 被初始化为 0.25。

3. references

《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》

深度学习——PReLU激活

最新文章

1. Windows10上安装EDEM2.7
2. 【Python数据分析】Python3操作Excel-以豆瓣图书Top250为例
3. 作业3（PSP表格）
4. MVC编写的新闻页面
5. POJ 3071 Football
6. Linux磁盘操作命令
7. 2013/11/21工作随笔-PHP开启多进程
8. SQL 统计表行数和空间大小
9. TCP拥塞控制算法内核实现剖析（十）
10. 关于本地化（localization）
11. Leetcode_263_Ugly Number
12. 115、如何构建Android MVVM 应用框架（转载）
13. kaili 安装中文输入法
14. 利用dwebsocket在Django中使用Websocket
15. E - TOYS
16. hdu3746 Cyclic Nacklace【nxt数组应用】【最小循环节】
17. macOS搭建开发环境
18. .2-浅析express源码之applicaiton模块(1)-咸鱼方法
19. Flow中的Switch分析
20. 网页尺寸offsetHeight,offsetWidth

热门文章

1. 读《互联网创业password》之随想
2. 数据集 —— ground truth 数据集
3. [JSOI2009]计数问题
4. C#中对XML的操作
5. 00091_字符输入流Reader
6. 2.JPA学习总结
7. 硬件——STM32 , 软件框架
8. AspJpeg2.0组件教程完整版 aspjpeg教程...
9. 【】maze
10. iOS_04_学习ios开发的准备