用java写bp神经网络(三)
孔子曰,吾日三省吾身。我们如果跟程序打交道,除了一日三省吾身外,还要三日一省吾代码。看代码是否可以更简洁,更易懂,更容易扩展,更通用,算法是否可以再优化,结构是否可以再往上抽象。代码在不断的重构过程中,更臻化境。佝偻者承蜩如是,大匠铸剑亦复如是,艺虽小,其道一也。所谓苟日新,再日新,日日新。
本次对前两篇文章代码进行重构,主要重构函数接口体系,和权重矩阵的封装。
简单函数
所说函数,是数学概念上的函数。数学上的函数,一般有一自变量$x$(输入)和对应的值$y=f(x)$(输出)。其中$x$可以是个数字,一个向量,一个矩阵等等。我们用泛型定义如下:
public interface Function<I,O> {
O valueAt(I x);
}
I代表输入类型,O代表输出类型。
有的函数是可微的,比如神经网络的激活函数。可微函数除了是一个函数,还可求出给定$x$处的导数,或者梯度。而且梯度类型与自变量类型一致。用泛型定义如下:
public interface DifferentiableFunction<I,O> extends Function<I,O> {
I derivativeAt(I x);
}
同时,考虑到某些函数,在求得值和导数时,共同用到了一些中间变量,或者后一个可以用到前一个的结果,我们定义了PreCaculate接口。当我们判定一个函数实现了PreCaculate接口时,我们首先调用它的PreCaculate接口,让它预先计算出一些有用的中间变量,然后再调用其valueAt和derivativeAt求得其具体的值,这样可以节省一些操作步骤。定义如下:
public interface PreCaculate<I> {
void preCaculate(I x);
}
基于上面的定义,我们定义神经网络的激活函数的类型为:
public interface ActivationFunction extends DifferentiableFunction<DoubleMatrix, DoubleMatrix>
即我们激活函数是一个可微函数,输入为一个矩阵(netResult),输出为一个矩阵(finalResult)。
带参函数
有些函数,除了自变量外,还有一些其它的系数,或者参数,我们称为超参数。比如误差函数,目标值为参数,输出值为自变量。这类函数接口定义如下:
public interface ParamFunction<I,O,P> {
O valueAt(I x,P param);
}
类似的,定义其微分接口如下:
public interface DifferentiableParamFunction<I, O, P> extends ParamFunction<I, O, P> {
I derivativeAt(I x,P param);
}
我们的误差函数定义如下:
public interface CostFunction extends DifferentiableParamFunction<DoubleMatrix,DoubleMatrix,DoubleMatrix>
输入,输出,参数都为矩阵。
组合矩阵
在神经网络的概念中,每两层之间有一个权重矩阵,偏置矩阵,如果输入字向量也要调整,那么还有一个字典矩阵。这些所有的矩阵随着迭代过程不断更新,以期使误差函数达到最小。从广义上来讲,训练样本就是超参数,这些所有的矩阵为自变量,误差函数就是优化函数。那么实质上,在调整权重矩阵时,自变量即这一系列的矩阵可以展开拉长拼接成一个超长的向量而已,其内部的结构已无关紧要。在jare的源码中,是把这些权重矩阵的值存储在一个长的double[]中,计算完毕后,再从这个doulbe[]中还原出各矩阵的结构。在这里,我们定义了一个类CompactDoubleMatrix名为超矩阵来从更高一层封装这些矩阵变量,使其对外表现出好像就是一个矩阵。
这个CompactDoubleMatrix的实现方式为,在内部维护一个DoubleMatrix的有序列表List<DoubleMatrix>,然后再执行加减乘除操作时,会批量的对列表中的所有矩阵执行。这样的封装,我们随后会发现将简化了我们大量代码。先把完整定义放上来。
public class CompactDoubleMatrix {
List<DoubleMatrix> mats = new ArrayList<DoubleMatrix>(); @SafeVarargs
public CompactDoubleMatrix(List<DoubleMatrix>... matListArray) {
super();
this.append(matListArray);
} public CompactDoubleMatrix(DoubleMatrix... matArray) {
super();
this.append(matArray);
} public CompactDoubleMatrix() {
super();
} public CompactDoubleMatrix addi(CompactDoubleMatrix other) {
this.assertSize(other);
for (int i = 0; i < this.length(); i++)
this.get(i).addi(other.get(i));
return this;
} public void subi(CompactDoubleMatrix other) {
this.assertSize(other);
for (int i = 0; i < this.length(); i++)
this.get(i).subi(other.get(i));
} public CompactDoubleMatrix add(CompactDoubleMatrix other) {
this.assertSize(other);
CompactDoubleMatrix result = new CompactDoubleMatrix();
for (int i = 0; i < this.length(); i++) {
result.append(this.get(i).add(other.get(i)));
}
return result;
} public CompactDoubleMatrix sub(CompactDoubleMatrix other) {
this.assertSize(other);
CompactDoubleMatrix result = new CompactDoubleMatrix();
for (int i = 0; i < this.length(); i++) {
result.append(this.get(i).sub(other.get(i)));
}
return result;
} public CompactDoubleMatrix mul(CompactDoubleMatrix other) {
this.assertSize(other);
CompactDoubleMatrix result = new CompactDoubleMatrix();
for (int i = 0; i < this.length(); i++) {
result.append(this.get(i).mul(other.get(i)));
}
return result;
} public CompactDoubleMatrix muli(double d) { for (int i = 0; i < this.length(); i++) {
this.get(i).muli(d);
}
return this;
} public CompactDoubleMatrix mul(double d) {
CompactDoubleMatrix result = new CompactDoubleMatrix();
for (int i = 0; i < this.length(); i++) {
result.append(this.get(i).mul(d));
}
return result;
} public CompactDoubleMatrix dup() {
CompactDoubleMatrix result = new CompactDoubleMatrix();
for (int i = 0; i < this.length(); i++) {
result.append(this.get(i).dup());
}
return result;
} public double dot(CompactDoubleMatrix other) {
double sum = 0;
for (int i = 0; i < this.length(); i++) {
sum += this.get(i).dot(other.get(i));
}
return sum;
} public double norm() {
double sum = 0;
for (int i = 0; i < this.length(); i++) {
double subNorm = this.get(i).norm2();
sum += subNorm * subNorm;
}
return Math.sqrt(sum);
} public void assertSize(CompactDoubleMatrix other) {
assert (other != null && this.length() == other.length());
for (int i = 0; i < this.length(); i++) {
assert (this.get(i).sameSize(other.get(i)));
}
} @SuppressWarnings("unchecked")
public void append(List<DoubleMatrix>... matListArray) {
for (List<DoubleMatrix> list : matListArray) {
this.mats.addAll(list);
}
} public void append(DoubleMatrix... matArray) {
for (DoubleMatrix mat : matArray)
this.mats.add(mat);
} public int length() {
return mats.size();
} public DoubleMatrix get(int index) {
return this.mats.get(index);
} public DoubleMatrix getLast() {
return this.mats.get(this.length() - 1);
}
}
以上介绍了对各抽象概念的封装,下章介绍使用这些封装如何简化我们的代码。
最新文章
- 提高你的数据库编程效率:Microsoft CLR Via Sql Server
- 如何让js不产生冲突,避免全局变量的泛滥,合理运用命名空间
- 20145219 gdb调试汇编堆栈分析
- 【C#学习笔记】自我复制
- Web应用的组件化(二)
- Balls Rearrangement(HDU)
- (译)Windsor入门教程---第三部分 编写第一个Installer
- 关于php存储cookie时path存放路径放的详细介绍
- C语言编译器CL.exe
- 基于openssl搭建https服务器
- 【ABAP CDS系列】ABAP CDS中的系统信息
- maven+Spring+SpringMVC+Hibernate快速搭建
- Codeforces 852G Bathroom terminal 【Trie树】
- crm作业知识点集合[三]
- BOM浏览器对象模型;
- sql面试-查询选修课程的学生
- JavaScript权威指南--Javascript子集和扩展
- 「bzoj 4180: 字符串计数」
- java学习笔记7--抽象类与抽象方法
- C# 进程通信SendMessage和有关消息参数