Bias and Variance
2024-10-18 07:27:39
以下内容参考 cousera 吴恩达 机器学习课程
1. Bias 和 Variance 的定义
Bias and Variance 对于改进算法具有很大的帮助作用，在bias和Variance的指引之下，我们可以有方向性的对算法进行改进。
模型较简单时，可能导致Bias,相反模型较为复杂的时候，容易导致high Variance。
如下图所示，随着模型复杂度的增加，训练数据集上的误差将会减小，而交叉验证集上的误差是先减小后增大。所以根据在训练集和交叉验证集上的误差大小就可以判断模型是除了bias问题还是variance问题。
2. 正则化与Bias和Variance
正则化的时候，如果lamda特别大，容易导致欠拟合，high bias
如果lamda较小，或者说没有引入正则化，容易导致过拟合high variance
所以可以画出学习曲线来表征正则化参数lamda和Error的关系：
如上图所示，lamda较小的时候，容易产生过拟合，high variance，当lamda较大的时候，容易产生欠拟合high variance。我们的目标是找到途中测试集上Error最小的点。
3. 绘制学习曲线
绘制样本数量与 Error 的关系，得到不同的虚线，暗示了模型可能存在的Bias和Variance的问题。
4. Debuging Learning Model
最新文章
- 02.JavaScript 面向对象精要--函数
- Shell中取得文件的最后修改时间
- 封装、调用ajax
- View.setTag(key,object)异常：The key must be an application-specific resource id.
- python+urllib+beautifulSoup实现一个简单的爬虫
- study topics
- Java基础(40):Java中的集合介绍---Collection与Map
- WordPress 非插件实现拦截无中文留言
- POJ 2986 A Triangle and a Circle 圆与三角形的公共面积
- vue 使用总结
- Jquery学习笔记：删除节点的操作
- [0] Devexpress 控件参数集合
- PowerEdge R430 机架式服务器安装( Ubuntu server 14.04.1 、PHP5.5.9、PHP-redis2.8、Phalcon3.1)
- java中几种加/解密API
- RfcConfig 类 主要解决Tomcat 报 The valid characters are defined in RFC 7230 and RFC 3986
- BAT批处理中的字符串处理详解(字符串截取)
- C_使用clock（）函数获取程序执行时间
- Python+Pycharm—学习—pip
- 洛谷P4344 [SHOI2015]脑洞治疗仪(ODT)
- 如何从windows中拷贝文件到linux (ubuntu)？？