吴恩达Machine Learning学习笔记（二）--多变量线性回归
2024-09-03 05:26:41
回归任务
多变量线性回归
公式
h为假设，theta为模型参数（代表了特征的权重），x为特征的值
参数更新
梯度下降算法
影响梯度下降算法的因素
（1）加速梯度下降：通过让每一个输入值大致在相同的范围可以加速梯度下降，因为theta在x的范围比较小的时候收敛更快，
x的范围不平整时收敛慢且会发生震荡。即对变量进行标准化处理，方法为减均值，除标准差
（2）学习速率：alpha太小，能收敛但速度太慢；alpha太大不能保证每一步都会使代价函数下降，且可能会导致不收敛
改善特征和假设函数的方法--多项式回归
（1）把多个特征混合为一个特征，如x1*x2作为一个特征
（2）通过对特征取平方，立方，平方根或其他形式来改变曲线的形状（此时对特征变量进行标准化处理很重要）
显式求解theta--正规方程
| 梯度下降 | 正规方程 | |
| alpha | y | n |
| 迭代 | y | n |
| 复杂度 | O(kn^2) | O(n^3) |
| 当n很大时 | 较快 | 很慢 |
正规方程可能存在不收敛的情况，比如
a.有冗余特征（特征变量之间线性相关） b.特征太多
此时应该删除多余特征
最新文章
- 更新maven库
- 今日推荐：10款在 Web 开发中很有用的占位图片服务
- [转] MongoDB shell 操作 (查询)
- PHP 自动生成导航网址的最佳方法 v20130826
- linux_nand_driver
- 【单峰函数，三分搜索算法(Ternary_Search)】UVa 1476 - Error Curves
- WebStorm shortcuts.
- 浅谈CSS3 box-reflect 属性
- redis实现分布式可重入锁
- unity零基础开始学习做游戏（四）biu~biu~biu发射子弹打飞机
- WinForm中DataGridView对XML文件的读取
- sql 随笔更新
- HDU 2008 数值统计
- pwn学习日记Day2 基础知识积累
- nodejs笔记之初识node
- Git的小总结
- python服务器环境搭建Flask，uwsgi和nginx
- C51中的关键字和ANSIC标准关键字
- C#学习笔记（二十）：C#总结和月考讲解
- C++ 类的隐式转换