机器学习：SVM（SVM 思想解决回归问题）

一、SVM 思想在解决回归问题上的体现

回归问题的本质：找到一条直线或者曲线，最大程度的拟合数据点；
怎么定义拟合，是不同回归算法的关键差异；

线性回归定义拟合方式：让所有数据点到直线的 MSE 的值最小；
SVM 算法定义拟合的方式：在距离 Margin 的区域内，尽量多的包含样本点；

SVM 的思路解决回归问题：

在 Margin 区域内的样本点越多，则 Margin 区域越能够较好的表达样本数据点，此时，取 Margin 区域内中间的那条直线作为最终的模型；用该模型预测相应的样本点的 y 值；
在具体训练 SVM 算法模型解决回归问题时，提前指定 Margin 的大小，算法引入的超参数：ε，表示 Margin 区域的两条直线到区域中间的直线的距离，如图：

SVM 解决回归问题的思路与解决分类问题的思路相反，解决分类问题时，希望 Margin 区域内没有样本点或者样本点尽可能的少；

LinearSVC、SVC、LinearSVR、SVR ：

LinearSVC：使用线性 SVM 的思路解决分类问题；
SVC：使用非线性 SVM 的思路解决分类问题；（多项式核、高斯核）
LinearSVR：使用线性 SVM 的思路解决回归问题；
SVR：使用非线性 SVM 的思路解决回归问题；（使用不同的核函数）

二、scikit-learn 中的 SVM 算法：LinearSVR、SVR 解决回归问题

LinearSVR、SVR 的使用方式与 LinearSVC、SVC 一样

import numpy as np

import matplotlib.pyplot as plt

from sklearn import datasets

boston = datasets.load_boston()

X = boston.data

y = boston.target

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)

from sklearn.svm import LinearSVR

from sklearn.svm import SVR

from sklearn.preprocessing import StandardScaler

from sklearn.pipeline import Pipeline

def StandardLinearSVR(epsilon=0.1):

    return Pipeline([

        ('std_scaler', StandardScaler()),

        ('linearSVR', LinearSVR(epsilon=epsilon))

        # 此处使用超参数 C 的默认值;

        # 如果使用 SVR()，还需要调节参数 kernel；

    ])

svr = StandardLinearSVR()

svr.fit(X_train, y_train)

svr.score(X_test, y_test)

# 准确率：0.6353520110647206

巴特西

机器学习：SVM（SVM 思想解决回归问题）

一、SVM 思想在解决回归问题上的体现

二、scikit-learn 中的 SVM 算法：LinearSVR、SVR 解决回归问题

LinearSVR、SVR 的使用方式与 LinearSVC、SVC 一样

最新文章

热门文章