pooling、relu、convolution的反向传播

1.pooling的反向传播:

　https://blog.csdn.net/qq_21190081/article/details/72871704

　pooling反向传播的原则:pooling的值和上一层对应的区域的loss(或者梯度)之和保持不变

　mean pooling:把梯度平均分给4个值.如果4个位置都是这个值,梯度要爆炸.

　max pooling:把梯度给最大的那个值,其他值的梯度为0.caffe用max_idx_来记录最大值的id.

2.relu的反向传播:

relu的公式:

relu的倒数公式:

caffe源码中反向传播的代码,negative_slope默认为0,所以小于等于0的时候梯度为0

3.卷积的反向传播:

https://www.cnblogs.com/pinard/p/6494810.html

巴特西