Set_ML

参考资料：斯坦福（http://cs231n.github.io/linear-classify/；http://cs231n.stanford.edu/slides/2017/）

　　　　　Mastering Machine Learning With scikit-learn

假设函数（Hypothesis Function）模型的知识表达：

　　然后利用已知的数据对其中的参数进行求解，再将该函数用于新数据的预测，其中参数的求解过程称为“训练（Training） or 学习（Learning）”

待优化参数 θ₀，θ₁
损失函数(loss function)，或叫代价函数(cost function)

　　损失函数越小，就代表模型拟合的越好。

损失函数最小目标转换为经验风险最小化

　　由于我们输入输出的 $(X,Y)$ 遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集， $f(X)$ 关于训练集的平均损失称作经验风险(empirical risk)，即 $\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))$ ，所以我们的目标就是最小化 $\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))$ ，称为经验风险最小化。

结构风险

　　为了平衡经验风险最小化目标与模型的复杂性（模型对数据的记性）引入结构风险，常用方法L1和L2范数。

目标函数

最终的优化函数是： $min\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i}))+\lambda J(f)$ ，即最优化经验风险和结构风险，而这个函数就被称为目标函数。

线性可分

线性回归与分类

　　变换后：

　　线性回归

LinearRegression 回归

模型—线性最小二乘法（linear least squares）
函数表示—f(xi,W,b)=Wxi+b
损失函数—残差平方和（residual sum of squares）损失函数

　　多元

　　多项式回归

　　线性分类

二分类

Logistic 分类器

模型—Bernoulli（伯努利）分布
函数表示—logistic函数（sigmoid函数）

多类

SVM

损失函数—折叶损失（hinge loss）

softmax

损失函数 —交叉熵损失（cross-entropy loss）

巴特西

Set_ML

假设函数（Hypothesis Function）模型的知识表达：

待优化参数 θ₀，θ₁

损失函数(loss function)，或叫代价函数(cost function)

损失函数最小目标转换为经验风险最小化

结构风险

目标函数