Coursera在线学习---第四节.过拟合问题
2024-10-20 00:46:48
一、解决过拟合问题方法
1)减少特征数量
--人为筛选
--靠模型筛选
2)正则化(Regularization)
原理:可以降低参数Θ的数量级,使一些Θ值变得非常之小。这样的目的既能保证足够的特征变量存在(虽然Θ值变小了,但是并不为0),还能减少这些特征变量对模型的影响。换言之,这些特征对于准备预测y值依然能发挥微小的贡献,这样也避免了过拟合问题。(个别Θ值过大,容易过拟合,如果Θ=0,等于缺少个别特征变量,对模型依然不好)
二、具体实例
通常我们并不知道具体使哪些Θ值变小,所以我们就让Θ1,Θ2,...,Θ100 都变小,不包括Θ0。
λ为正则化参数
有了正则化参数 λ就能使后面的Θ1-Θj变小了,因为如果后面的Θ值不变小,J(Θ)的值就会太大了,所以在减小J(Θ)值的过程中会逼着减小Θ的值。
λ值过大,会让Θ1-Θj的值变得非常非常小,这样就只有Θ0的值非常大,几乎变成了y=Θ0一条直线了,会造成欠拟合问题。所以,λ的值应该比较合理才行。另外,正则化参数过多也会出现该问题,可以适时减少参与正则化的参数,例如从Θ2-Θj开始参与正则化等等。
备注:如果模型在训练样本上就表现不好,说明模型欠拟合,需要增加更多的特征变量,可以引入多项式回归(Θ0+Θ1*X+Θ2*X^2+Θ3*X^3),多项式回归方程能让曲线更加弯曲以适应训练样本。这样能更好的拟合训练样本,或者减少正则化参数(例如:从Θ2开始正则化)
最新文章
- 过滤器Filter
- java 配置文件读取
- 什么是WeakHashMap--转
- Yii2命名规则
- PRML读书会第二章 Probability Distributions(贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等)
- jquery uploadify 使用
- leetcode:Invert Binary Tree
- C#操作MySQL数据库-----HelloWorld
- NOIP2011 计算系数
- Java之 AtomicInteger
- linux 文件内容的复制
- android如何调用显示和隐藏系统默认的输入法(一)
- Android应用截图嵌入到真实设备
- QT update和repaint的区别
- JavaScript插件——标签页
- linear-grident的属性和使用以及对颜色后面参数(百分比)的理解
- Easy to Remember Color Guide for Non-Designers
- SpringMVC+ Mybatis 配置多数据源 + 自动数据源切换 + 实现数据库读写分离
- 【Java入门提高篇】Day24 Java容器类详解(七)HashMap源码分析(下)
- MySQL——优化ORDER BY语句