skip connections
2024-09-08 17:15:10
deep learning初学者，最近在看一些GAN方面的论文，在生成器中通常会用到skip conections，于是就上网查了一些skip connection的博客，虽然东西都是人家的，但是出于学习的目的，还是有必要自行总结下。
skip connections中文翻译叫跳跃连接，通常用于残差网络中。
它的作用是：在比较深的网络中，解决在训练的过程中梯度爆炸和梯度消失问题。
那么什么是残差块呢？
这个就是残差快，其实就是在神经网络前向传播的时候，考虑第l，l+1，l+2层，a[l]代表第l层的输出，而在一般的神经网络中，需要经过l+1层才能到达l+2层，而残差块中直接将a[l]传出到l+2层，使得a[l+2] = g(z[l+2]+a[l])，其实就是在a[l+2]个激活单元除了与第l+2层的z相关，还与第l层的a相关，这就是跳跃连接。
残差块的原理是什么呢？
一个很深的网络，加入残差块后公示为：
a[l+2]=g(z[l+2]+a[l])=g(w[l+2]*a[l+1]+b[l+2]+a[l])
假设梯度消失，则就是w[l+2]=0，此时a[l+2]=g(a[l])，相当于把第l层的输出直接经过relu传输出去，则避免了梯度消失的问题。
参考链接：
https://cloud.tencent.com/developer/news/134921
最新文章
- Linux进程间通信（四）：命名管道 mkfifo()、open()、read()、close()
- 【python】函数之内置函数
- supervisor安装和配置
- Redis(7)Creating and Using Cluster Mode
- HDU 1301 Jungle Roads （最小生成树，基础题，模版解释）——同 poj 1251 Jungle Roads
- git/ TortoiseGit 在bitbucket.org 使用证书登陆
- POJ2676 Sudoku(dfs)
- （转）css换行样式：word-wrap同word-break的区别
- oracle的concat的用法
- asp.net 如何改变GridView搜索出来关键字的颜色？就像百度似的，我获得的是一个集合，改变集合中关键字的集合
- wamp 虚拟目录的设置（转载）
- Java的内存机制详解
- TCP札记
- 用winscp从本地上传文件到服务器上出现复制文件到远端时错误。
- wpf 寻找TreeView的子元素，并对其进行操作
- CentOS7.x安装flash
- Vue: ES6常用语法
- 解决ios10以上版本缩放问题
- maven windows 环境变量
- C语言数组作业总结