一.原理讲解 1. 卷积神经网络的应用 分类(分类预测) 检索(检索出该物体的类别) 检测(检测出图像中的物体,并标注) 分割(将图像分割出来) 人脸识别 图像生成(生成不同状态的图像) 自动驾驶 等等... 2. 传统神经网络与卷积神经网络比较 传统神经网络采用的是全连接神经网络,权重矩阵的参数太多,导致速度减慢,也会产生过拟合. 卷积神经网络通过卷积核,大大降低了参数个数.实现局部关联,参数共享的效果. 3. 卷积神经网络基本结构 卷积层 激活层(ReLu) 池化层 全连接层 3.1 卷积层

如果将彩色图像和灰度图像一起放进 CNN 中去,会是什么结果? 今天,坑爹的实验,我处理 SUN397 的时候,忘记去掉灰度图了,结果,利用微调后的 model 提取 feature,悲剧的发现,无论哪个图像,得到的 feature 都是一样的,卧槽,这不科学啊... 于是乎,就将其中的灰色图像扔掉后,继续微调,至今仍未 train 完毕,等吧,待会告诉你效果,不知道是不是这个原因导致的. --------------------------- 上午出了结果:VGG-16 的训练精度也比 Ale

声明: 1. 我和每一个应该看这篇博文的人一样,都是初学者,都是小菜鸟,我发布博文只是希望加深学习印象并与大家讨论. 2. 我不确定的地方用了"应该"二字 首先,通俗说一下,CNN的存在是为了解决两个主要问题: 1. 权值太多.这个随便一篇博文都能解释 2. 语义理解.全连接网络结构处理每一个像素时,其相邻像素与距离很远的像素无差别对待,并没有考虑图像内容的空间结构.换句话说,打乱图像像素的输入顺序,结果不变. 然后,CNN中的卷积核的一个重要特点是它是需要网络自己来学习的.这一点很简

CNN中减少网络的参数的三个思想: 1) 局部连接(Local Connectivity) 2) 权值共享(Shared Weights) 3) 池化(Pooling) 局部连接 局部连接是相对于全连接来说的.全连接示意图如下: 比如说,输入图像为1000*1000大小,即输入层有1000*1000=10^6维,若隐含层与输入层的数目一样,也有10^6个,则输入层到隐含层的全连接参数个数为10^6 * 10^6=10^12,数目非常之大,基本很难训练. 一般认为人对外界的认知是从局部到全局的,而

1. python 中 axis 参数直觉解释 网络上的解释很多,有的还带图带箭头．但在高维下是画不出什么箭头的．这里阐述了 axis 参数最简洁的解释． 假设我们有矩阵a, 它的shape是(4, 3), 如下: import numpy as np a = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]) # a.shape = (4, 3) 要做如下不同维度求和操作: # keepdims=True 保持了结果维度 s0 =

CNN中,1X1卷积核到底有什么作用呢? https://www.jianshu.com/p/ba51f8c6e348 Question: 从NIN 到Googlenet mrsa net 都是用了这个,为什么呢? 发现很多网络使用了1X1卷积核,这能起到什么作用呢?另外我一直觉得,1X1卷积核就是对输入的一个比例缩放,因为1X1卷积核只有一个参数,这个核在输入上滑动,就相当于给输入数据乘以一个系数.不知道我理解的是否正确. Answer [ruirui_ICT]:我来说说我的理解,我认为1×1

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由forrestlin发表于云+社区专栏 导语:转置卷积层(Transpose Convolution Layer)又称反卷积层或分数卷积层,在最近提出的卷积神经网络中越来越常见了,特别是在对抗生成神经网络(GAN)中,生成器网络中上采样部分就出现了转置卷积层,用于恢复减少的维数.那么,转置卷积层和正卷积层的关系和区别是什么呢,转置卷积层实现过程又是什么样的呢,笔者根据最近的预研项目总结出本文. 1. 卷积层和全连接层 在CNN提出

转载请注明处处: http://www.cnblogs.com/darkknightzh/p/9017854.html 参考网址: https://pytorch.org/docs/stable/nn.html?highlight=conv2d#torch.nn.Conv2d https://www.cnblogs.com/chuantingSDU/p/8120065.html https://blog.csdn.net/chaolei3/article/details/79374563 1x1

最近是在所在实习公司的第一个sprint,有个朋友又请假了,所以任务比较重,一直这么久都没怎么更新了,这个周末赖了个床,纠结了一会儿决定还是继续写这个系列,虽然比较乏味,但是学到的东西还是很多的. 之前主要是针对函数处理部分的API做解读,经过那些天的努力,基本已经解读完了,现在把重点移到数组上.对于数组处理API的解读,从这篇文章开始. flatten是一个很基础的函数,在Underscore中也算是一个工具函数,为了方便以后的讲解,今天先阅读flatten函数的源码. 首先,我们带着问题来阅

在深度学习的算法学习中,都会提到 channels 这个概念.在一般的深度学习框架的 conv2d 中,如 tensorflow .mxnet ,channels 都是必填的一个参数. channels 该如何理解?先看一看不同框架中的解释文档. 首先,是tensorflow中给出的,对于输入样本中 channels 的含义.一般的RGB图片,channels 数量是 3 (红.绿.蓝):而monochrome图片,channels 数量是 1 . channels :——tensorflow

在传统的神经网络中,比如多层感知机(MLP),其输入通常是一个特征向量.需要人工设计特征,然后将用这些特征计算的值组成特征向量.在过去几十年的经验来看,人工找的特征并不总是好用.有时多了,有时少了,有时选的特征根本就不起作用(真正起作用的特征在浩瀚的未知里).这就是为啥过去几十年神经网络一直被SVM等完虐的原因. 如果有人说,任何特征都是从图像中提取的.那如果把整幅图像作为特征来训练神经网络不就行了嘛,那肯定不会有任何的信息丢失!额,先不说一幅图像有多少冗余信息,单说这数据量就,吓死了! 假如有

最近在看SSD源码的时候,就一直不理解,在模型构建的时候如果使用Flatten或者是Merge层,那么整个数据的shape就发生了变化,那么还可以对应起来么(可能你不知道我在说什么)?后来不知怎么的,就想明白了,只要先前按照同样的方式进行操作,那么就可以对应起来.同样的,只要按照之前操作的逆操作,就可以将数据的shape进行还原. 最后在说一句,在追看Tensorflow源码的时候,发现Flatten底层使用Reshape函数来实现的,和我之前预想的差不多.还有,numpy中的flatten默认

a = [[[1,2],[3,4]],[[5,6],[7,8]]] a = np.ndarray(a) array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]]) type(a) numpy.ndarray a.flatten() array([1, 2, 3, 4, 5, 6, 7, 8]) 从上面可以 看出,numpy中的flatten是按照行进行,在按照列,最后按照通道. 就这样子

局部连接与权值共享 下图是一个很经典的图示,左边是全连接,右边是局部连接. 对于一个1000 × 1000的输入图像而言,如果下一个隐藏层的神经元数目为10^6个,采用全连接则有1000 × 1000 × 10^6 = 10^12个权值参数,如此数目巨大的参数几乎难以训练:而采用局部连接,隐藏层的每个神经元仅与图像中10 × 10的局部图像相连接,那么此时的权值参数数量为10 × 10 × 10^6 = 10^8,将直接减少4个数量级. 尽管减少了几个数量级,但参数数量依然较多.能不能再进一步减

一幅图像里包含三个通道,分别是RGB通道.三通道在卷积时是通过累加三个卷积结果得到的. CNN中全连接层的卷积核大小是feature map的大小.比如feature是3*3的,那么该全连接层的卷积核大小为3*3的. FCN中是把CNN上最后的三层全连接层换成了全卷积层.这两者的区别其实是卷积核的大小不同.输出的feature map 不再是1*1的大小. 以下是我自己写的例子,给大家参考,如有错误欢迎指出.

开源框架与迁移 上面介绍了一些已经取得很好成绩的CNN框架,我们可以直接从GitHub上下载这些神经网络的结构和已经在ImageNet等数据集上训练好的权重超参数. 在应用于我们自己的数据时. 1.如果我们的数据集很小,我们可以采用对原框架和权重都保持不变,只更改最后的output层实现迁移. 2.如果我们的数据集大小中等,可以尝试冻结原框架的前面多层,对其后的层数进行更改. 3.如果我们的数据集很大,可以在原架构上尝试新的训练,不采用预训练的权重,还可以自行更改模型,做更多的尝试. CNN中的

参考:https://blog.csdn.net/kyang624823/article/details/78633897 卷积层 池化层反向传播: 1,CNN的前向传播 a)对于卷积层,卷积核与输入矩阵对应位置求积再求和,作为输出矩阵对应位置的值.如果输入矩阵inputX为M*N大小,卷积核为a*b大小,那么输出Y为(M-a+1)*(N-b+1)大小.  b)对于池化层,按照池化标准把输入张量缩小. c)对于全连接层,按照普通网络的前向传播计算. 2,CNN反向传播的不同之处: 首先要注意的是

CNN中feature map.卷积核.卷积核的个数.filter.channel的概念解释 参考链接: https://blog.csdn.net/xys430381_1/article/details/82529397 作者写的很好,解决了很多基础问题. feather map理解 这个是输入经过卷积操作后输出的结果,一般都是二维的多张图片,在论文图上都是以是多张二维图片排列在一起的(像个豆腐皮一样),它们其中的每一个都被称为\(feature \quad map\) feather map

[深度学习]CNN 中 1x1 卷积核的作用 最近研究 GoogLeNet 和 VGG 神经网络结构的时候,都看见了它们在某些层有采取 1x1 作为卷积核,起初的时候,对这个做法很是迷惑,这是因为之前接触过的教材的例子中最小的卷积核是 3x3 ,那么,1x1 的卷积核有什么意义呢? 最初应用 1x1 卷积核的神经网络是 Network In Network,然后 GoogLeNet 和 VGG 也不约而同的更正了. 他们在论文中解释,大概有下面 2 个意义. 1.增加网络的深度 这个就比较好理解

在使用TF搭建CNN的过程中,卷积的操作如下 convolution = tf.nn.conv2d(X, filters, strides=[1,2,2,1], padding="SAME") 这个函数中各个参数的含义是什么呢? X:输入数据的mini-batch,为一个4D tensor:分别表示的含义为[n_batch,height,width,channel] filters:为卷积核,为一个4D tensor,分别表示的含义为 [filter_height, filter_wi

转自https://blog.csdn.net/u014114990/article/details/50767786 从NIN 到Googlenet mrsa net 都是用了这个,为什么呢 发现很多网络使用了1X1卷积核,这能起到什么作用呢?另外我一直觉得,1X1卷积核就是对输入的一个比例缩放,因为1X1卷积核只有一个参数,这个核在输入上滑动,就相当于给输入数据乘以一个系数.不知道我理解的是否正确. 我来说说我的理解,我认为1×1的卷积大概有两个方面的作用吧:1. 实现跨通道的交互和信息整合