【ML】关于神经网络优化问题的随笔记
2024-10-20 18:48:53
1. 为什么不去试着最大化正确分类的图像数量而使用二次代价函数?
在神经网络中,被正确分类的图像数量所关于权重和偏置的函数并不是一个平滑的函数。大多数情况下,对权重和偏执做出的微小变动完全不会影响被正确分类的图像的数量。这会导致我们很难去解决如何改变权重和偏置来取得改进的性能。而用⼀个类似⼆次代价的平滑代价函数则能更好地去解决如何⽤权重和偏置中的微⼩的改变来取得更好的效果。只有先专注于最小化二次代价,之后才能测试分类精度。
注:平滑函数,在数学中特指无穷阶连续可导的函数,若一函数是连续的,则称其为C^0函数;若函数存在导函数,且其导函数连续,即连续可导,则称其为C^1函数;若一函数n阶可导,并且其n阶导函数连续,则为函数C^n。而光滑函数是对所有n都属于C^n的函数,特称其为C∞函数。优化过程中,如果目标函数是光滑函数,那么有一些最优化方法可以保证优化时得到全局最优解
2.
最新文章
- 【Hello CC.NET】CC.NET 实现自动化集成
- 系统升级日记(2)- 升级到SharePoint Server 2013
- picasso-强大的Android图片下载缓存库
- 阿里前CEO卫哲用自己10余年经历,倾诉B2B的三差、四率、两大坑
- 高效的网络流dinic算法模版
- KVC/KVO总结
- hdu 5612 Baby Ming and Matrix games
- Linux标准输入、输出和错误和文件重定向(转) --- good
- 基于Servlet、JSP、JDBC、MySQL的一个简单的用户注冊模块(附完整源代码)
- Wamp之mysql密码故事
- 2017 Multi-University Training Contest - Team 1 1011&;&;HDU 6043 KazaQ's Socks【规律题,数学,水】
- vedio-js的视频插件用法
- How to delete VSTS Project
- DOM知识点总结
- tfs项目管理
- idea连接操作数据库
- JNative 传递参数bug
- MySQL--Checkpoint基础
- windows mysql主 Linux mysql 从 主从同步,读写分离
- php 通过 strtr 方法来替换文本中指定的内容
热门文章
- spring BeanFactory加载xml配置文件示例
- 【BZOJ2741】【FOTILE模拟赛】L 分块+可持久化Trie树
- 第一章 MATLAB数字图像处理编程基础
- Discrete Function(简单数学题)
- 小团队Git协作流程
- WINDOWS的用户和用户组说明
- recognition rate generalization识别率 泛化
- Python菜鸟之路:Python基础-Socket基础-1
- CSS 布局实例系列(三)如何实现一个左右宽度固定,中间自适应的三列布局——也聊聊双飞翼
- linux c编程:信号(三) sigprocmask和sigpending函数