BP神经网络实现

以3层网络为例，Python实现；

1.代码框架

主要函数：

Init函数：设定InputLayer nodes、HiddenLayer nodes、OutputLayer nodes数量，网络链接权重和学习率；
Training函数：学习训练集体样本并优化权重；
Query函数：给定输入，输出节点答案；

2.代码实现

2.1 Init函数

创建neuralNetwork类，在该类中通过__init__()函数实现数据初始化，当实例化neuralNetwork类时（即创建对象）会自动调用初始化函数；

class neuralNetwork:

    #initialise the neural network

    def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate):

        self.inodes = inputnodes

        self.hnodes = hiddennodes

        self.onodes = outputnodes

        self.wih = numpy.random.normal(0.0, pow(self.hnodes, -0.5),(self.hnodes, self.inodes))

        self.who = numpy.random.normal(0.0, pow(self.onodes, -0.5),(self.onodes, self.hnodes))

        #Learning rate

        self.lr = learningrate

        self.actication_function = lambda x:scipy.special.expit(x)

        pass

输入层到隐藏层的权重初值，根据X=W*I知道，矩阵W的大小是[hidden nodes,input nodes],只有这样对应的X大小才是hidden nodes的大小，大小确定后，在定义矩阵时对号入座即可；

根据经验取权重值大小为1/√节点数，在结合numpy的正态分布函数即可；

得到两组链路权重：

self.wih = numpy.random.normal(0.0, pow(self.hnodes, -0.5),(self.hnodes, self.inodes))

self.who = numpy.random.normal(0.0, pow(self.onodes, -0.5),(self.onodes, self.hnodes))

2.2 训练函数

    def train(self, inputs_list, targets_list):

        #转置由行变成列

        inputs = numpy.array(inputs_list, ndmin=2).T

        targets = numpy.array(targets_list, ndmin=2).T

        #隐藏层输入信号计算：权重计算

        hidden_inputs = numpy.dot(self.wih,inputs)

        #隐藏层输出信号计算：S函数计算

        hidden_outputs = self.actication_function(hidden_inputs)

        #输出层输入信号计算：权重计算

        final_inputs = numpy.dot(self.who, hidden_outputs)

        #输出层输出信号计算：S函数计算

        final_outputs = self.actication_function(final_inputs)

        #输出层误差：目标值-计算值

        output_errors = targets - final_outputs

        #隐藏层输出误差

        hidden_errors = numpy.dot(self.who.T, output_errors) #取未更新self.who计算误差

        #隐藏层权重更新

        self.who += self.lr*numpy.dot((output_errors*final_outputs*(1.0-final_outputs)), numpy.transpose(hidden_outputs)) #误差计算后再更新self.who

        #输入层权重更新

        self.wih += self.lr * numpy.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)),numpy.transpose(inputs))

2.3 查询函数

    def query(self, inputs_list):

        inputs = numpy.array(inputs_list, ndmin=2).T

        hidden_inputs = numpy.dot(self.wih,inputs) #根据训练后的权重计算输出

        hidden_outputs = self.actication_function(hidden_inputs)

        final_inputs = numpy.dot(self.who, hidden_outputs)#根据训练后的权重计算输出

        final_outputs = self.actication_function(final_inputs)

        return final_outputs

3 数字识别

取MNIST提供的训练数据100个进行学习，获得学习后的更新权重，再自己车手写一个数字进行识别；

input_nodes = 784

hidden_nodes = 100

output_nodes = 10

learning_rate = 0.3

n = neuralNetwork(input_nodes,hidden_nodes,output_nodes,learning_rate)

tranining_data_file = open("F:/0_TechPath/0_ControlMind/3_NeuralNetwork/mnist_dataset/mnist_train_100.csv", 'r')

tranining_data_list = tranining_data_file.readlines()

tranining_data_file.close()

for record in tranining_data_list:

    all_values = record.strip("\n").split(',', -1)

    inputs = numpy.array(all_values[1:], dtype=numpy.uint8)/255*0.99+0.01 #输入归一化处理

    targets = numpy.zeros(output_nodes) + 0.01 #各个输出节点初值0.01

    targets[int(all_values[0])] = 0.99 #对应期望节点处的目标值

    n.train(inputs, targets)#调用train函数

#测试网络

fname = "F:/0_TechPath/0_ControlMind/3_NeuralNetwork/mnist_dataset/pic.png"

image = Image.open(fname)

image = image.convert('L')

width,height = image.size

img_array = image.resize((28,28))

img_arr = numpy.array(img_array)

my_image = 255-img_arr.reshape(-1,784)

image_array = numpy.array(my_image, dtype=numpy.uint8).reshape((28, 28))

scaled_input = numpy.array(my_image, dtype=numpy.uint8) / 255 * 0.99 + 0.01

values = n.query(scaled_input)

max_index1 = numpy.argmax(values)

print("I'm:",max_index1)

plt.imshow(image_array, cmap='Greys', interpolation='None')

plt.show()

巴特西

[BPNN]BP神经网络实现