Andrew Ng机器学习课程笔记--week2(多元线性回归&正规公式)
2024-10-18 23:34:27
1. 内容概要
- Multivariate Linear Regression(多元线性回归)
- 多元特征
- 多元变量的梯度下降
- 特征缩放
- Computing Parameters Analytically
- 正规公式(Normal Equation )
- 正规公式非可逆性(Normal Equation Noninvertibility)
2. 重点&难点
1)多元变量的梯度下降
2) 特征缩放
为什么要特征缩放
首先要清楚为什么使用特征缩放。见下面的例子
- 特征缩放前
由图可以知道特征缩放前,表示面积的x1变量的值远大于x2,因此J(θ)图像表示就是椭圆的,导致在梯度下降的过程中,收敛速度非常慢。
- 特征缩放后
对各变量特征缩放后绘制出来的损失函数J(θ)明显收敛更快,这也是为什么需要特征缩放的原因了。
实现方法
- feature scaling
\[
\begin{equation}
x_i := \frac{x_i}{x_\max - x_\min}
\end{equation}
\]
每个输入值除以(max - min)
- mean normalization
\[
\begin{equation}
x_i := \frac{x_i - μ_i}{s_i}
\end{equation}
\]
μi: 均值
si: max - min
3) Normal Equation 正规方程式
Normal Equation
\[
\begin{equation}
θ = (X^T·X)^{﹣1}·X·Y
\end{equation}
\]
具体推理过程详见掰开揉碎推导Normal Equation
与梯度下降方法进行比较
梯度下降 | 正规方程式 |
---|---|
需要选择步长α | 不需要选择步长α |
需要迭代训练很多次 | 一次都不需要迭代训练 |
O(kn2) | O(n3,计算(XT·X)-1需要花费较长时间 |
即使数据特征n很大,也可以正常工作 | n如果过大,计算会消耗大量时间 |
4) 正规方程不可逆
当XT·X不可逆时,很显然此时正规方程将不能正常计算,常见原因如下:
- 冗余特征,在两个特点紧密相关(即它们呈线性关系,例如面积和(长,宽)这两个特征线性相关)
- 太多的特征(例如:m≤n)。 在这种情况下,可以删除一些特征或使用"regularization"。
补充:
- A是可逆矩阵的充分必要条件是 |A|≠0
最新文章
- 信息安全-2:python之hill密码算法[原创]
- 关于在Xcode的OC工程中相对路径失败的原因
- javascript_获取iframe框架中元素节点的属性值
- KIP-32 Add timestamps to Kafka message
- 使用tdcss.js轻松制作自己的style guide
- 如何成为一名优秀的web前端工程师(前端攻城师)?
- ASP.NET,Razor语句中@符号的意义
- linux实用指令---持续更新
- 史上最详细SharePoint 2013安装步骤图解新手教程
- winsock编程IOCP模型实现代码
- android上的JAVA8:使用retrolambda
- [目标检测]YOLO原理
- 内置函数:filter函数
- JavaScript(六)
- ftp 两台服务器传输文件 apache
- svn 的truck、tag、 merge
- 三次样条插值算法C++实现
- PKM(个人知识管理)类软件收集(偶尔更新列表)
- 每天一个linux命令(3):du命令
- 2.1_Scikit-learn数据集
热门文章
- python基础(7):元祖类型(赋值补充)
- Phpcms安装前后域名默认访问路径
- 富文本编辑器UEditor自定义工具栏(一、基础配置与字体、背景色、行间距、超链接实现)
- 漫谈格兰杰因果关系(Granger Causality)——第一章 野火烧不尽,春风吹又生
- vue2中component父子组件传递数据props的使用
- lfcp——PB使用
- opnet仿真过程中SEED的概念问题 分类: opnet 2014-11-02 15:25 69人阅读 评论(0) 收藏
- DDD理论学习系列(13)-- 模块
- MySQL优化 - 性能分析与查询优化
- rabbitmq重装之后无法加入原有cluster的bug解析