BP神经网络算法改进
试设计一个算法,能通过动态调整学习率显著提升收敛速度,编程实现该算法,并选择两个UCI数据集与标准的BP算法进行实验比较。
1.方法设计
传统的BP算法改进主要有两类:
- 启发式算法:如附加动量法,自适应算法
- 数值优化法:如共轭梯度法、牛顿迭代法、Levenberg-Marquardt算法
(1)附加动量项
这是一种广泛用于加速梯度下降法收敛的优化方法。其核心思想是:在梯度下降搜索时,若当前梯度下降与前一个梯度下降的方向相同,则加速搜索,反之则降速搜索。
标准BP算法的参数更新项为:
Δω(t)=ηg(t)" role="presentation" style="position: relative;">Δω(t)=ηg(t)Δω(t)=ηg(t)
式中Δω(t)是第t次迭代的参数调整量,η为学习率,g(t)为第t次迭代计算出的梯度。" role="presentation" style="position: relative;">式中Δω(t)是第t次迭代的参数调整量,η为学习率,g(t)为第t次迭代计算出的梯度。式中Δω(t)是第t次迭代的参数调整量,η为学习率,g(t)为第t次迭代计算出的梯度。
在添加动量项后,基于梯度下降的参数更新项为:
Δω(t)=η[(1−μ)g(t)+μg(t−1)]" role="presentation" style="position: relative;">Δω(t)=η[(1−μ)g(t)+μg(t−1)]Δω(t)=η[(1−μ)g(t)+μg(t−1)]
始终,μ" role="presentation" style="position: relative;">μμ为动量因子(取值 0~1)。上式也等价于:
Δω(t)=αΔω(t−1)+ηg(t)" role="presentation" style="position: relative;">Δω(t)=αΔω(t−1)+ηg(t)Δω(t)=αΔω(t−1)+ηg(t)
式中α" role="presentation" style="position: relative;">αα 称为遗忘因子,αΔω(t−1)" role="presentation" style="position: relative;">αΔω(t−1)αΔω(t−1)表示上一次梯度下降的方向和大小信息对当前梯度下降的调整影响。
(2) 自适应学习率
附加动量法面临选取率的选取困难,进而产生收敛速度和收敛性的矛盾。于是另考虑引入学习速率自适应设计,这里给出一个·自适应设计方案:
η(t)=ση(t−1)" role="presentation" style="position: relative;">η(t)=ση(t−1)η(t)=ση(t−1)
上式中,η(t)" role="presentation" style="position: relative;">η(t)η(t)为第t次迭代时的自适应学习速率因子,下面是一种计算实力:
σ(t)=2λ" role="presentation" style="position: relative;">σ(t)=2λσ(t)=2λ
其中λ" role="presentation" style="position: relative;">λλ为梯度方向:λ=sign(g(t)(t−1))" role="presentation" style="position: relative;">λ=sign(g(t)(t−1))λ=sign(g(t)(t−1))
这样,学习率的变化可以反映前面附加动量项中的“核心思想”。
(3)算法总结
将上述两种方法结合起来,形成动态自适应学习率的BP改进算法:
从上图及书中内容可知,输出层与隐层的梯度项不同,故而对应不同的学习率 η_1 和 η_2,算法的修改主要是第7行关于参数更新的内容:
将附加动量项与学习率自适应计算代入,得出公式(5.11-5.14)的调整如下图所示:
2.对比实验
最新文章
- Eclipse创建Maven时提示错误could not resolve archetype
- web 前端常用组件【02】Select 下拉框
- Maven 使用介绍
- OWIN-WebAPI-Windows Service
- iptables相关
- USACO 5.4 Telecowmunication(最大流+枚举)
- 三步将Node应用部署到Heroku上 --转载
- android 用ListView实现表格样式
- Android Learning:微信第三方登录
- twisted 使用
- IIS7或IIS7.5 ISAPI和CGI限制找不到的问题记录
- (转)Java 网络IO编程总结(BIO、NIO、AIO均含完整实例代码)
- Python3使用AES加密的库函数PyCrypto、PyCryptodome
- SqlServer导入Excel数据
- Linux下找不到动态链接库(转)
- python learning Regular Expression.py
- N年的经验在别人眼里是怎么看的?
- 交叉编译OpenSSL
- 【序列莫队】BZOJ2038- [2009国家集训队]小Z的袜子(hose)
- CSS样式:覆盖规则