吴恩达老师机器学习课程chapter03——过拟合与正则化
2024-10-21 05:08:05
吴恩达老师机器学习课程chapter03——过拟合与正则化
本文是非计算机专业新手的自学笔记，欢迎指正与其他任何合理交流。
本文仅作速查备忘之用，对应吴恩达(AndrewNg)老师的机器学期课程第七章。
基本概念
特征选取过多，hθ(x)会对训练集学习得过好，以至于对新的样本的判断结果很差。
解决方法有二：
- 减少特征数目
- 手动选择
- 模型选择算法
- 正则化
- 减少某些特征的参数θ，即降低其权重。
正则化
线性回归中的正则化
修改代价函数：
\[J(\theta)=\frac{1}{2 m}\left[\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}
+\lambda \sum_{}^{} \theta_{j}^{2}\right]
\]
+\lambda \sum_{}^{} \theta_{j}^{2}\right]
\]
于是，进行梯度下降法时候，对于需要参与正则化的θj，其迭代也要做相对的修改，改为：
\[\theta_{j}=\theta_{j}-\alpha\left[\frac{1}{m}
\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}+
\frac{\lambda}{m} \theta_{j}\right]
\]
\sum_{i=1}^{m}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}+
\frac{\lambda}{m} \theta_{j}\right]
\]
进行正规方程法时候，需要作出修改如下:
\[\theta =(X^TX+\lambda diag(a_{1}\cdots a_{m} ))^{-1}X^Ty
\]
\]
其中diag表示对角矩阵，若第j个参数不参与正则化，则aj=0；否则，aj=1。
分类中的正则化
与线性中的同理：
最新文章
- Atitit 常用二维码对比(QR、PDF417、DM、汉信码 Aztec code maxicode
- 将List下载到本地保存为Excel
- .htacess的url重写(支持伪静态)
- MVC之过滤器
- centos7 memcached+memagent 集群
- HTML5在移动端开发的12大特性
- Play!中使用HTTP异步编程
- Bank，我只是来完成作业的
- iOS开发---集成百度地图完善版
- AssetBundle系列——场景资源之解包（二）
- 【HeadFirst设计模式】13.与设计模式相处
- 15_动态SQL
- 【LeetCode】289. Game of Life
- Spring Security 入门（1-9）国际化的使用
- ruby轻松自删除代码
- 491. Increasing Subsequences
- ansbile Tags && Block
- php如何实现图片点击下载，并保存本地？-----本例子为二维码的生成图片，并支持点击下载
- Flink--基于mysql的sink和source
- Activiti For Eclipse(Mars）插件配置