吴恩达老师机器学习课程01——序言+线性回归

本文是非计算机专业新手的自学笔记，欢迎指正与其他任何合理交流。

本文仅作速查备忘之用，对应吴恩达(AndrewNg)老师的机器学期课程第一章、第二章、第四章。

序言

机器学习中两种最基本的类别：

- 监督学习(Supervised learning)

	- 回归(Regression)

	- 分类(Classification)

- 无监督学习(Unsupervised learning)

	- 聚类(Cluster)

例题如下：

m：训练集中样本数量；

i：样本序号；

x：输入；

y：输出；

θ：为待定参数组成的向量，一般记成列向量。

单特征（x为一维向量）线性规划中：

\[h_{\theta} (x ) = \theta _{0} x_{0}+\theta _{1} x_{1}
\]

其中x0=1，可以用$\theta _{0} x_{0}$表示常数。

问题：如何确定θ？

定义代价函数$J(θ)$：

\[J(θ)=\frac{1}{2m} \sum_{i=1}^{m} \left ( h_{\theta} (x^{(i)} ) -y^{(i)} \right ) ^2
\]

不同的θ会导致$J(θ)$大小变化。

例如：

(1)

(2)

认为$J(θ)$越小，拟合效果越好。

故问题转化为优化问题如下：

此处不推导梯度下降法，直接使用。

这里使用的梯度下降法，为Batch Gradient Descent，即每一步下降使用了所有训练样本。

利用梯度下降法解该最优问题的表达式如下：

\[\theta _{j} = \theta _{j} -\alpha \frac{\partial }{\partial \theta _{j}}J\left (\theta \right )
\]

其中，α表示步长，机器学习中称之为学习率(learning rate)。

学习率的选取很重要：过大会导致发散，无法收敛；过小会导致算法步数过多，花费时间长。吴恩达老师建议，可以如“0.03，0.1，0.3,1……”这样取值。

梯度下降法在编程时应当注意同步更新θ：

特征的向量x不再是一维向量。

例题如下：

因此要做出以下改变：

正规方程方法的推导如下（不包含矩阵与向量求导的推导）：

特征的缩放(Feature Scaling)

特征的数量级差别过大会导致梯度下降步数过多。可以通过$x=\frac{x-\mu }{max(x_{i} )-min(x_{i} )} $的方法进行规格化。

正规方程法中就不需要了。
多项式回归(Polynomial Regression)

可以将x、x^2、x^3……视为不同特征，进行多特征拟合，得到多项式回归结果，进行非线性拟合。
正规方程中不可求逆

求逆(inv)时，出现矩阵不可逆很可能是因为特征出现冗余，不同特征之间线性相关。可以删除部分特征。无法删除时可以求其伪逆(pinv)。
正规方程法很直接，但是在n很大时，求矩阵乘法和逆的过程运算会变慢。