2.7 Structured Regression Models
2024-10-14 19:04:19
$RSS(f)=\sum_i^N \left(y_i-f(x_i)\right)^2$
当数据量足够大时，数据存在相同$x_i$，不同$y_{il},l=1\cdots t$
则得到的f即为条件均值$E(y|X=x)$的无偏估计任意的一个$\hat{f}$都可以是一个特定的解，所以有无限多个解
其中会有有些解在训练集上表现不错，而在测试集上表现不好
为了得到可行的解，需要加上一些限制
对函数f的限制，比如linear regression限制函数为线性的;KNN限制为在某邻居区域内，函数为常数
对邻居区域的限制，KNN限制为k个邻居所在的区域；linear regression则没有做限制
邻居区域越大，所加的限制就越强，解对于限制就越敏感
比如没有对领居区域进行限制，此时用不同函数拟合差别很大
而当邻居区域小时，用常数表示或用线性函数拟合，差别并不大不同邻居区域不同函数的解决方法，受维度诅咒，比如KNN
最新文章
- jQuery实用小技巧--输入框文字获取和失去焦点
- ORACLE 实例及RAC
- nginx下搭建 Yii框架
- (转)将win7电脑无线网变身WiFi热点,让手机、笔记本共享上网
- IE6-11使用location.href提交时的链接复制到firefox或chrome时出现乱码
- Android Studio AVD和SDK Manager灰色不能点击的问题。
- Codeforces Round #237 (Div. 2) B. Marathon（卡long long）
- Relay log read failure
- POJ 3734
- iOS在UITableViewController里使用UISearchDisplayController报错"[UISearchResultsTableView dequeueReusableCellWithIdentifier:forIndexPath:]"
- JavaEE中的MVC（四）AOP代理
- Docker 编辑网络配置文件
- Linux(CentOS7)yum安装卸载命令，离线下载安装包
- Linux Shell下”>/dev/null 2>&1“相关知识说明
- 『土地征用 Land Acquisition 斜率优化DP』
- <input>标签单、复选相关查询地址
- Ubuntu系统安装Transmission
- Part-One
- golang结构体、接口、反射
- ubuntu安装scrapy方法