拟牛顿法——DFP、BFGS、L-BFGS
2024-08-30 19:09:06
DFP
该算法的核心是:通过迭代的方法,对Hk+1(-1)近似。迭代方式:
其中D0通常取为单位矩阵,关键是每一步构造矫正矩阵△Dk。
考虑△Dk 的待定形式为
拟牛顿的条件
这里插播一下拟牛顿的条件。
前面有讲到,拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了表示清楚,下文B≈H,D≈H-1
设经过k+1次迭代后得到Xk+1,此时将目标函数在Xk+1附近作泰勒展开,取二阶近似,得到
对其两边作用一个梯度算子▽,可得
在上式中取X=Xk,并整理得到
若引入记号
则有
或者
这就是所谓的拟牛顿条件对于我们的近似矩阵B或D则有
有了这个拟牛顿条件我们就能开始构造D了
构造矩阵D
结合两式:
则有
并且可以写成
由于和是两个数,且里面α和β在里面起到类似放缩的作用,不妨假设
即
其中u,v仍是待定的
可以得到
不妨直接取
则有
至此则有
注:这里的(1.13)公式为
这里gk表示一阶导。
待更新!!
最新文章
- centos编译安装mysql
- 让网站动起来!12款优秀的 jQuery 动画插件推荐
- 纯java配置SpringMVC
- 第23章 java线程通信——生产者/消费者模型案例
- 【python】isinstance可以接收多个类型,hasattr,getattr,setattr
- Chapter 2: Design the user experience
- .NET Remoting学习笔记(一)概念
- asp.net中的<;%%>;的几种形式的用法
- myecipse的debug调试操作方法
- 并发视频,怎么hold住高并发
- ASP.Net状态管理读书笔记--思维导图
- QT第五天学习
- python的with语句,超级强大
- 201521123117 《Java程序设计》第10周学习总结
- appium+Python 启动app(三)登录
- apache----------在apache环境下安装https支持
- oracle查看哪些表被锁
- 【Scheme】树结构
- vue入门:axios的应用及拦截封装
- iOS:麦克风权限检测和获取
热门文章
- centos docker
- Atitit&#160;.jvm&#160;虚拟机指令详细解释
- python-获取操作系统信息
- socket编程之实现简单的ssh
- linux c++自己使用pthread封装的线程类
- 从一个实例看javascript几种常用格式的转换
- Elasticsearch5.X IN Windows 10 系列文章(4)
- Eclipse 浏览(Navigate)菜单
- 【HDU 5305】Friends 多校第二场(双向DFS)
- Asp.net 基于Cookie简易的权限判断