import tensorflow as tf

import numpy as np

# 定义一个添加层的函数为网络构建做准备

# 默认情况下没有激活函数，input 是神经元输入， in_size 输入神经元的个数，out_size输出的个数。

def add_layer(inputs, in_size,out_size,activation_function=None):

    weights=tf.Variable(tf.random_normal([in_size,out_size]))

    # 定义权重是变量，在tensorflow中定义是一个变量才是变量

    biase=tf.Variable(tf.zeros([1,out_size])+0.1)
    # 矩阵乘法

    w_plus_b=tf.matmul(inputs,weights)+biase

    # 定义运算

    if activation_function is None:

        outputs=w_plus_b

    else:

        outputs=activation_function(w_plus_b)

    return outputs

#1. 准备训练数据

x_data=np.linspace(-1,1,300)[:,np.newaxis]

# linspace 类似matlab 中的[-1:1:300]，生成一个数组从-1 到300 每次加1，

# np.newaxis 等价于None,np.linspace 生成的是一个行向量，使用newaxis 增加一个维度大小为1 的新维度。x=[1,2,3],x.shape=3.,x[:,newaxis].shape=(3,1)在3后加一维

noise=np.random.normal(0,0.05,x_data.shape)

 # 获得一个正态分布的值，和x_data大小相同, mu=0,v=0.05

y_data=np.square(x_data)-0.5+noise

 #2. 定义节点接受数据

 # 要给节点输入数据时，要用placeholder 占位符，类似于函数的参数描述待输入的节点，在运行时传入，和feed_dict是绑定使用的。

xs=tf.placeholder(tf.float32,[None,1])

ys=tf.placeholder(tf.float32,[None,1])

 #3.定义网络结构

l1=add_layer(xs,1,10,activation_function=tf.nn.relu)

prediction=add_layer(l1,10,1,activation_function=None)

 #4.定义loss

 # reduce_sum 是求和，求和的对象时tensor，沿着tensor的某些维度求和。 本质是降维，reduce_sum 以求和的手段降维， reduce_mean 以求平均手段降维。 这种操作都有reduce_indices, 默认值为None，将tensor 降到0维

loss=tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1]))

 #5.选择optimizer

# 使用梯度下降的方法，学习率为0.1，最小化loss

train_step=tf.train.GradientDescentOptimizer(0.1).minimize(loss)

 #

 # 初始化参数， 如果有变量一定要给变量初始化

init=tf.initialize_all_variables()

 # 定义一个Session对象， 在session 中执行

sess=tf.Session()

sess.run(init)

 # 迭代1000次，在sess中run optimizer

for i in range(1000):

     # train_step 中loss 是由 placeholder 定义的运算，要用feed 传入参数

    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})

    if i%50==0:

        print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))