1 什么是逻辑回归 1.1逻辑回归与线性回归的区别: 线性回归预测的是一个连续的值,不论是单变量还是多变量(比如多层感知器),他都返回的是一个连续的值,放在图中就是条连续的曲线,他常用来表示的数学方法是Y=aX+b: 与之相对的,逻辑回归给出的值并不是连续的,而是 类似于"是" 和 "否" 的回答,这就类似于二元分类的问题. 1.2逻辑回归实现(sigmoid): 在逻辑回归算法中,我们常使用的激活函数是Sigmoid函数,他能够将数据映射到 0 到 1 之间,并且

tf.layers.dense用法 2018年05月30日 19:09:58 o0haidee0o 阅读数:20426   dense:全连接层 相当于添加一个层,即初学的add_layer()函数   tf.layers.dense(       inputs,       units,       activation=None,       use_bias=True,       kernel_initializer=None,       bias_initializer=tf.zer

1. tf.layers.conv2d(input, filter, kernel_size, stride, padding) # 进行卷积操作 参数说明:input输入数据, filter特征图的个数,kernel_size卷积核的大小,stride步长,padding是否补零 2. tf.layers.conv2d_transpose(input, filter, kernel_size, stride, padding) # 进行反卷积操作 参数说明:input输入数据, filter特

Batch Normalization: 使用tf.layers高级函数来构建带有Batch Normalization的神经网络 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 吴恩达deeplearningai课程 课程笔记 Udacity课程 在使用tf.layers高级函数来构建神经网络中我们使用了tf.layers包构建了一个不包含有Batch Normalization结构的卷积神经网络模型作为本节模型的对比 本节中将使用tf.layers包实现包含有Batch N

Batch Normalization: 使用tf.layers高级函数来构建神经网络 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 吴恩达deeplearningai课程 课程笔记 Udacity课程 # Batch Normalization – Solutions # Batch Normalization 解决方案 """ 批量标准化在构建深度神经网络时最为有用.为了证明这一点,我们将创建一个具有20个卷积层的卷积神经网络,然后是一个完全连接的层.

A quick glance through tensorflow/python/layers/core.py and tensorflow/python/ops/nn_ops.pyreveals that tf.layers.dropout is a wrapper for tf.nn.dropout. You want to use the dropout() function in tensorflow.contrib.layers, not the one in tensorflow.n

在自然语言处理中,主要使用一维的卷积. API tf.layers.conv1d( inputs, filters, kernel_size, strides=1, padding='valid', data_format='channels_last', dilation_rate=1, activation=None, use_bias=True, kernel_initializer=None, bias_initializer=tf.zeros_initializer(), kernel

Policy Granients import tensorflow as tf reset_graph() n_inputs = 4 n_hidden = 4 n_outputs = 1 learning_rate = 0.01 initializer = tf.variance_scaling_initializer() X = tf.placeholder(tf.float32, shape=[None, n_inputs]) hidden = tf.layers.dense(X, n_h

conv2d中的padding 在使用TF搭建CNN的过程中,卷积的操作如下 convolution = tf.nn.conv2d(X, filters, strides=[1,2,2,1], padding="SAME") 这个函数中各个参数的含义是什么呢? X:输入数据的mini-batch,为一个4D tensor:分别表示的含义为[n_batch,height,width,channel] filters:为卷积核,为一个4D tensor,分别表示的含义为 [filter_h

import tensorflow as tf import tensorflow.contrib.slim as slim import rawpy import numpy as np import tensorflow as tf import struct import glob import os from PIL import Image import time __sony__ = 0 __huawei__ = 1 __blackberry__ = 2 __stage_raw2ra

池化层定义在 tensorflow/python/layers/pooling.py. 有最大值池化和均值池化. 1.tf.layers.max_pooling2d max_pooling2d( inputs, pool_size, strides, padding='valid', data_format='channels_last', name=None ) inputs: 进行池化的数据. pool_size: 池化的核大小(pool_height, pool_width),如[3,3]

使用tf.nn.batch_normalization函数实现Batch Normalization操作 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 吴恩达deeplearningai课程 课程笔记 Udacity课程 """ 大多数情况下,您将能够使用高级功能,但有时您可能想要在较低的级别工作.例如,如果您想要实现一个新特性-一些新的内容,那么TensorFlow还没有包括它的高级实现, 比如LSTM中的批处理规范化--那么您可能需要知道一些事情. 这

这里的num_units参数并不是指这一层油多少个相互独立的时序lstm,而是lstm单元内部的几个门的参数,这几个门其实内部是一个神经网络,答案来自知乎: class TRNNConfig(object): """RNN配置参数""" # 模型参数 embedding_dim = 100 # 词向量维度 seq_length = 100 # 序列长度 num_classes = 2 # 类别数 vocab_size = 10000 # 词汇表达

estimator同keras是tensorflow的高级API.在tensorflow1.13以上,estimator已经作为一个单独的package从tensorflow分离出来了.estimator抽象了tensorflow底层的api, 同keras一样,他分离了model和data, 不同于keras这个不得不认养的儿子,estimator作为tensorflow的亲儿子,天生具有分布式的基因,更容易在生产环境里面使用 tensorflow官方文档提供了比较详细的estimator程序

tacotron主要是将文本转化为语音,采用的结构为基于encoder-decoder的Seq2Seq的结构.其中还引入了注意机制(attention mechanism).在对模型的结构进行介绍之前,先对encoder-decoder架构和attention mechanism进行简单的介绍.其中纯属个人理解,如有错误,请多多包含. 1.基于encoder-decoder的seq2seq的架构   由于在机器翻译中,我们输入的句子长度不是固定的.而对于一般的模型而言,输入的特征通常是一个固定大

[阿里DIN] 深度兴趣网络源码分析 之 整体代码结构 目录 [阿里DIN] 深度兴趣网络源码分析 之 整体代码结构 0x00 摘要 0x01 文件简介 0x02 总体架构 0x03 总体代码 0x04 模型基类 4.1 基本逻辑 4.2 模块分析 4.2.1 构建变量 4.2.2 构建embedding 4.2.3 拼接embedding 0x05 Model_DIN 5.1 Attention机制 5.2 Attention实现 5.2.1 调用 5.2.2 mask的作用 Padding

[论文解读] 阿里DIEN整体代码结构 目录 [论文解读] 阿里DIEN整体代码结构 0x00 摘要 0x01 文件简介 0x02 总体架构 0x03 总体代码 0x04 模型基类 4.1 基本逻辑 4.2 模块分析 4.2.1 构建变量 4.2.2 构建embedding 4.2.3 拼接embedding 0x05 Model_DIN_V2_Gru_Vec_attGru_Neg 5.1 第一层 'rnn_1' 5.1.1 GRU 5.1.2 辅助损失 5.1.3 mask的作用 Paddin

摘要:Tensorflow Distributions提供了两类抽象:distributions和bijectors.distributions提供了一系列具备快速.数值稳定的采样.对数概率计算以及其他统计特征计算方法的概率分布.bijectors提供了一系列针对distribution的可组合的确定性变换. 1.Distributions 1.1 methods 一个distribution至少实现以下方法:sample.log_prob.batch_shape_tensor.event_sh

感谢中国人民大学的胡鹤老师,人工智能课程讲的很有深度,与时俱进 由于深度神经网络(DNN)层数很多,每次训练都是逐层由后至前传递.传递项<1,梯度可能变得非常小趋于0,以此来训练网络几乎不会有什么变化,即vanishing gradients problem:或者>1梯度非常大,以此修正网络会不断震荡,无法形成一个收敛网络.因而DNN的训练中可以形成很多tricks.. 1.初始化权重 起初采用正态分布随机化初始权重,会使得原本单位的variance逐渐变得非常大.例如下图的sigmoid函数

LeNet-5 LeNet于90年代被提出,鉴于当时的计算能力和内存容量,直到2010年才能真正的实施这样的大规模计算.LeNet-5是LeCun于1998年提出的深度神经网络结构,总共包含7层网络(除输入层外):2层卷积层.2层池化层.3层全连接层(在原论文中第一个全连接层被称为卷积层).网络结构图[2]如下图所示: 输入数据是公认的MINIST[1]手写数字数据集,尺寸为32*32*1的灰度图,在论文中卷积层记为Cx().池化层记为Sx(降采样).全连接层记为Fx,x表示层级,接下来对7层网

RNN(Recurrent Neural Networks,循环神经网络)是一种具有短期记忆能力的神经网络模型,可以处理任意长度的序列,在自然语言处理中的应用非常广泛,比如机器翻译.文本生成.问答系统.文本分类等. 但由于梯度爆炸或梯度消失,RNN存在长期依赖问题,难以建立长距离的依赖关系,于是引入了门控机制来控制信息的累积速度,包括有选择地加入新信息,并有选择地遗忘之前积累的信息.比较经典的基于门控的RNN有LSTM(长短期记忆网络)和GRU(门控循环单元网络). 有关RNN,LSTM和GRU