solving the problem of overfitting:regularization

  • 发生的在linear regression上面的overfitting问题

  • 发生在logistic regression上面的overfitting

  • 怎么解决overfitting

  • regularization: cost function of linear regression

    • parameters小的话，这样hypothesis就会变得简单，这样就不会overfitting
    • 一般不会对θ0进行regularization
    • 上式是进行regularization的linear regression的cost function,要使上式的值取最小值
  •  对这个cost function 的分析

    • 由两个式子(两个目标)组成，第一个式子是为了对trainning data更好的拟合（fitting the training data），第二个式子是为了避免overfitting
    • 第二个式子叫regularization term, λ叫regularization parameter, λ是为了平衡两个目标用的
    • 如果 λ非常大的话(这时θ1-θn几乎为0,hypothesis变得很简单，只有常数)，就会出现underfitting,对trainning data/ new data很低的fitting
    • 所以并不是regularization在任何情况下(当 λ非常大的情况下),都能使model更适应new data或者training data
    • The regularization term puts a penalty on the cost J，随着模型参数的增多，the penalty increases as well.

最新文章

  1. web 打开子窗口提交数据或其他操作后 关闭子窗口且刷新父窗口实现
  2. git操作之常见问题解决方案
  3. hdu4690 EBCDIC ——水题，考耐心
  4. .net环境下从PDF文档中抽取Text文本的一些方法汇总
  5. php--mongodb的安装
  6. HDU 1004 Let the Balloon Rise（AC代码）
  7. 基于RDBMS的BI设计
  8. 性能测试指标&说明 [解释的灰常清楚哦！！]
  9. 在一台电脑访问另一台电脑的mysql数据库
  10. Android ContentProvider 简介
  11. Go语言环境配置 Sublime Text + GoSublime+ gocode + MarGo组合
  12. Resetting Frame Animation
  13. gradle配置国内镜像
  14. 43 【redis cluster】
  15. UWP Button添加圆角阴影（二）
  16. CCParallaxNode
  17. RNN实现字符级语言模型 - 恐龙岛(自己写RNN前向后向版本+keras版本)
  18. hadoop配置文件的参数含义说明
  19. Alpha 冲刺报告8
  20. Android-自定义开关

热门文章

  1. qmake持续学习
  2. python开发【学习目录】:目录
  3. [转帖]微软击败亚马逊 赢得五角大楼的100亿美元JEDI云合同
  4. Cookie，Session，Token详解
  5. JDBC预编译statement（preparedstatement）和statement的比较、execute与executeUpdate的区别
  6. Mysql的多机配置（主从、主主等）
  7. Python重要配置大全
  8. 【Qt】Qt5.12连接MySQl5.7(亲自测试成功)
  9. Hibernate持久化，生命周期
  10. java.lang.AbstractMethodError: null