1. Adam 学习率0.00035真香: 2. SGD + Momentum 学习率应当找到合适区间,一般远大于Adam (取1,2,5,10这类数据): 3. 提前终止,防止过拟合; 4. Ensemble可以显著提高模型性能,对两个模型而言,适当增加性能较好的模型权重可能会取得更好的结果: 5. 随机擦除 https://www.ctolib.com/albumentations-team-albumentations.html#articleHeader7 : class albumen

前言 今天记录一下深度学习的另外一个入门项目——<mnist数据集手写数字识别>,这是一个入门必备的学习案例,主要使用了tensorflow下的keras网络结构的Sequential模型,常用层的Dense全连接层.Activation激活层和Reshape层.还有其他方法训练手写数字识别模型,可以基于pytorch实现的,<Pytorch实现基于卷积神经网络的面部表情识别(详细步骤)> 这篇就是基于pytorch实现,pytorch里也封装了mnist的数据集,实现方法应该类似

深度学习模型的调优,首先需要对各方面进行评估,主要包括定义函数.模型在训练集和测试集拟合效果.交叉验证.激活函数和优化算法的选择等. 那如何对我们自己的模型进行判断呢?——通过模型训练跑代码,我们可以分别从训练集和测试集上看到这个模型造成的损失大小(loss),还有它的精确率(accuracy). 目录 前言 1.定义模型函数 2.交叉验证(Cross-validation) 3.优化算法 4.激活函数(activation) 5.dropout 6.early stopping 模型训练实战案

本文转载自:https://blog.csdn.net/xummgg/article/details/69214366 前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络,并把其PPT的参考学习资料给了我们, 这是codelabs上的教程:<TensorFlow and deep learning,without a PhD> 当然登入需要FQ,我也顺带巩固下,做个翻译,不好之处请包含指正. 当然需要安装python,教程推荐使用python3.如果是Mac,可以参考博

前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络.并把其PPT的參考学习资料给了我们, 这是codelabs上的教程:<TensorFlow and deep learning,without a PhD> 当然登入须要FQ,我也顺带巩固下,做个翻译.不好之处请包括指正. 当然须要安装python,教程推荐使用python3.假设是Mac,能够參考博主的另外两片博文,Mac下升级python2.7到python3.6, Mac安装tensorflow1.0 好多专业词

区别于其他入门教程的"手把手式",本文更强调"因"而非"果".我之所以加上"通用"字样,是因为在你了解了这个开发环境之后,那些很low的错误你就不会犯了. 大家都知道深度学习涉及到大量的模型.算法,看着那些乱糟糟的公式符号,心中一定是"WTF".我想说的是,这些你都不要管,所谓车到山前必有路. 所需安装包 通常以我的习惯是以最简单的方式来接触一门新的技术,并且尽量抛弃新的(边缘)技术的介入,如果因为一些其他

一.深度学习中常用的调节参数 本节为笔者上课笔记(CDA深度学习实战课程第一期) 1.学习率 步长的选择:你走的距离长短,越短当然不会错过,但是耗时间.步长的选择比较麻烦.步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优 一般来说,前1000步,很大,0.1:到了后面,迭代次数增高,下降0.01,再多,然后再小一些. 2.权重 梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,约等于0,偏导为0 梯度爆炸,数值无限大 对于梯度消失现象:激活函数 Sigmo

目录 准备工作 设置conda国内镜像源 conda 深度学习环境 tensorflow.mxnet.pytorch安装 tensorflow mxnet pytorch Caffe安装 配置文件修改 编译时常见错误 运行时错误 参考 GPU为RTX2080,系统为更新到最新版本的Win10. 准备工作 安装VS2015,到官网地址older-download下载安装 安装Matlab,笔者安装的是Matlab2017b 安装Anaconda3-4.4.0-Windows-x86_64.exe(

在单GPU下,所有这些工具集都调用cuDNN,因此只要外层的计算或者内存分配差异不大其性能表现都差不多. Caffe: 1)主流工业级深度学习工具,具有出色的卷积神经网络实现.在计算机视觉领域Caffe仍然是最流行的工具包,他有很多扩展,但是由于 一些遗留的架构问题,它对递归网络和语言建模的支持很差.此外,在caffe种图层需要使用C++定义,而网络则使用protobuf定义. 2)caffe支持pycaffe接口,但这仅仅是用来辅助命令行接口的,而即便是是使用pycaffe也必须使用Proto

上一篇笔记主要介绍了卷积神经网络相关的基础知识.在本篇笔记中,将参考TensorFlow官方文档使用mnist数据集,在TensorFlow上训练一个多层卷积神经网络. 下载并导入mnist数据集 首先,利用input_data.py来下载并导入mnist数据集.在这个过程中,数据集会被下载并存储到名为"MNIST_data"的目录中. import input_data mnist = input_data.read_data_sets('MNIST_data', one_hot=T

上一节我们提到G和D由多层感知机定义.深度学习中对图像处理应用最好的模型是CNN,那么如何把CNN与GAN结合?DCGAN是这方面最好的尝试之一.源码:https://github.com/Newmu/dcgan_code .DCGAN论文作者用theano实现的,他还放上了其他人实现的版本,本文主要讨论tensorflow版本.  TensorFlow版本的源码:https://github.com/carpedm20/DCGAN-tensorflow DCGAN把上述的G和D换成了两个卷积神

一.接口可以干嘛 我们知道,接口的本质是一个约束规范,委托是方法纵向(形式上)的封装,接口是不同方法横向(广度)的封装 接口中不能有变量,但是可以有属性方法.常见的,我们可以用接口: 1.实现需求方的方法 2.接口作为参数,实现对不同类的解耦,下面是常见的男女类 public interface ISay { void Say(); } public class Man:ISay { public void Say() { Console.WriteLine("你好,我是男士!");

1.tf.nn.lrn(pool_h1, 4, bias=1.0, alpha=0.001/9.0, beta=0.75) # 局部响应归一化,使用相同位置的前后的filter进行响应归一化操作 参数说明:pool_h1表示输入数据,4表示使用前后几层进行归一化操作,bias表示偏移量,alpha和beta表示系数 局部响应的公式 针对上述公式,做了一个试验代码: # 自己编写的代码, 对x的[1, 1, 1, 1]进行局部响应归一化操作,最后结果是相同的x = np.array([i for

1. tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='SAME')  # 对数据进行卷积操作 参数说明:x表示输入数据,w表示卷积核, strides表示步长,分别表示为样本数,长,宽,通道数,padding表示补零操作 2. tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')  # 对数据进行池化操作 参数说明:x表示输入数据,ksize表示卷

使用tensorflow构造神经网络用来进行mnist数据集的分类 相比与上一节讲到的逻辑回归,神经网络比逻辑回归多了隐藏层,同时在每一个线性变化后添加了relu作为激活函数, 神经网络使用的损失值为softmax概率损失值,即为交叉熵损失值 代码:使用的是mnist数据集作为分类的测试数据,数据的维度为50000*784 第一步:载入mnist数据集 第二步:超参数的设置,输入图片的大小,分类的类别数,迭代的次数,每一个batch的大小 第三步:使用tf.placeholder() 进行输入数

http://gitbook.cn/gitchat/column/59f7e38160c9361563ebea95/topic/59f7e86d60c9361563ebeee5 wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html 一.简介 手写图片识别的实现,分为三步: 1,数据的准备 2,模型的设计 3,代码实现 我的另一篇博文-神经网络的解释 什么是神经网络 input层代表将二维数组从所有行都排

一.TensorFlow 简介 TensorFlow 是 Google 开源的一款人工智能学习系统.为什么叫这个名字呢? Tensor 的意思是张量,代表 N 维数组:Flow 的意思是流,代表基于数据流图的计算. 把 N 维数字从流图的一端流动到另一端的过程,就是人工智能神经网络进行分析和处理的过程. 话说在 Android 占领了移动端后,Google开源了 TensorFlow,希望占领 AI 端. TF的特点是可以支持多种设备,大到 GPU.CPU,小到平板和手机都可以跑起来 TF. 而

import tensorflow as tf import numpy as np ''' 初始化运算图,它包含了上节提到的各个运算单元,它将为W,x,b,h构造运算部件,并将它们连接 起来 ''' graph = tf.Graph() #一次tensorflow代码的运行都要初始化一个session session = tf.InteractiveSession(graph=graph) ''' 我们定义三种变量,一种叫placeholder,它对应输入变量,也就是上节计算图所示的圆圈部分,

1. tf.matmul(X, w) # 进行点乘操作 参数说明:X,w都表示输入的数据, 2.tf.equal(x, y) # 比较两个数据对应位置的数是否相等,返回值为True,或者False 参数说明:x,y表示需要比较的两组数 3.tf.cast(y, 'float') # 将布尔类型转换为数字类型 参数说明:y表示输入的数据,‘float’表示转换的数据类型 4.tf.argmax(y, 1) # 返回每一行的最大值的索引 参数说明:y表示输入数据,1表示每一行的最大值的索引,0表示每

代码:使用tensorflow进行数据点的线性拟合操作 第一步:使用np.random.normal生成正态分布的数据 第二步:将数据分为X_data 和 y_data 第三步:对参数W和b, 使用tf.Variable()进行初始化,对于参数W,使用tf.random_normal([1], -1.0, 1.0)构造初始值,对于参数b,使用tf.zeros([1]) 构造初始值 第四步:使用W * X_data + b 构造出预测值y_pred 第五步:使用均分误差来表示loss损失值,即tf

1. 使用tf.random_normal([2, 3], mean=-1, stddev=4) 创建一个正态分布的随机数 参数说明:[2, 3]表示随机数的维度,mean表示平均值,stddev表示标准差 代码:生成一个随机分布的值 #1. 创建一个正态分布的随机数 sess = tf.Session() x = tf.random_normal([2, 3], mean=-1, stddev=4) print(sess.run(x)) 2. np.random.shuffle(y) # 对数