线性回归的Cost function实现

此处使用Octave来实现

线性方程的代价函数： $h(x) = \theta_0 + \theta_1X$

代价函数：

$J(\theta_0, \theta_1)=\frac{1}{2m}\sum_{i=1}^{m}(h(X^{(i)})-y^{(i)})^{2}$

X 是测试值，假设用矩阵表示为 $\begin{bmatrix} 0.3 \\ 0.25 \\ 0.4 \\ 0.2 \end{bmatrix}$ 为了方便用矩阵计算我们把X加一列 1 : $\begin{bmatrix} 1& 0.3 \\ 1 & 0.25 \\ 1 &0.4 \\ 1& 0.2 \end{bmatrix}$ 同时 $\theta = \begin{bmatrix} \theta_0 \\ \theta_1 \end{bmatrix}$

那么h(X)的合就可以用矩阵乘法来计算 $X * \theta = \begin{bmatrix} 1& 0.3 \\ 1 & 0.25 \\ 1 &0.4 \\ 1& 0.2 \end{bmatrix} * \begin{bmatrix} \theta_0 \\ \theta_1 \end{bmatrix} = \begin{bmatrix} 1*\theta_0+0.3*\theta_1 \\ 1*\theta_0+0.25*\theta_1 \\ 1*\theta_0+0.4*\theta_1 \\ 1*\theta_0+0.2*\theta_1 \end{bmatrix}$

平方就可以用 y' * y, 因为要平方之后把所有向量内的项加到一起，原理就是每一项跟自己相乘然后相加到一起还是矩阵相乘。

最后代价函数J就可以表示为： $((X * \theta - y)'*(X * \theta - y))/(2m)$

巴特西

线性回归的Cost function实现

最新文章

热门文章