ubuntu之路——day16 只用python的numpy在底层检验神经网络的优化算法
2024-08-31 02:50:45
首先感谢这位博主整理的Andrew Ng的deeplearning.ai的相关作业:https://blog.csdn.net/u013733326/article/details/79827273
开一个我的github传送门,可以看到代码。
https://github.com/VVV-LHY/deeplearning.ai/tree/master/improveNeuralNetwork/optimalNN
待分类的点集:
普通的梯度下降法GradientDescent(带minibatch)的模型训练过程:
动量梯度下降法(带minibatch):
Adam梯度下降法(带minibatch):
三种算法在训练集上的准确率:
对比普通的梯度下降GD、动量梯度下降法momentum、Adam三种方法可知:
- GD和momentum的准确率accuracy都为0.797,Adam的准确率为0.94。这说明在相同的迭代次数即时间花费下,Adam的收敛速度最快,对算法的效率有明显提升。
- GD和momentum相对于Adam有明显的预热过程,即不会在刚开始突然加快梯度下降速度,而是会慢慢迭代。而Adam在第1000次迭代的时候就已经快要收敛。
- 通常来说momentum也具备很好的效果,但是本实验的点集很小且迭代次数不够多,所以无法体现momentum对普通梯度下降的优势。
- GD和momentnum的迭代震荡幅度要高于Adam,Adam的收敛范围更小更平滑。
最新文章
- 【Win 10应用开发】手动调用WCF服务
- 1不等于1?numeric、decimal、float 和 real 数据类型的区别
- 用wget扒站时遇到电信劫持
- python学习2 lambda表达式
- [转帖]DAS、NAS、SAN、iSCSI 存储方案概述
- Linux下访问网站
- 在Windows Server 2012的Task Scheduler里面配置自动发送邮件
- BCP 命令
- WinForm窗体设置
- 利用Linux命令行进行文本按行去重并按重复次数排序
- 初学者最易懂的git教程在这里!
- 从零开始学安全(三十七)●VM汇编环境搭建
- Ubuntu 16.04更新grub-pc提示脚本/var/lib/dpkg/info/grub-pc.postinst 执行错误
- centos 阿里云 安装VNC Viewer
- 5 -- Hibernate的基本用法 --4 8 外连接抓取属性
- ps和fireworks切图网页优化,jpg为80时
- Spark分析之BlockManager
- POJ 2407 Relatives 欧拉函数题解
- perl I/O和缓存的关系
- Python if判断语句
热门文章
- 【开发工具】- Java开发必知工具
- 如何解决div背景色半透明,里面的图片不透明问题
- 【DBAplus】SQL优化:一篇文章说清楚Oracle Hint的正确使用姿势
- redis 订阅者与发布者(命令行)
- PHP实现微信对账单处理
- jQuery知识梳理20190817
- vue中引入mui报Uncaught TypeError: 'caller', 'callee', and 'arguments' properties may not be accessed on strict mode functions or the arguments objects for calls to them的错误
- sql null+字符=null
- python面试题&;练习题之运算符与if控制
- Windows10安装Redis过程