快速入门Sklearn

主要确定sklearn的基本流程，然后把sklearn当做螺丝刀来用就行了，需要什么查什么。

基本流程

首先我们回顾一下机器学习的基本流程：

特征工程，包括了数据清洗，数据标准版化，特征选取，特征降维
选取模型，这里还包括了，超参数确定
模型验证，利用各种不同指标对模型性能进行检验

这里有一个利用KNN进行分类的例子。

from sklearn import neighbors, datasets, preprocessing

from sklearn.cross_validation import train_test_split

from sklearn.metrics import accuracy_score

iris = datasets.load_iris() # 数据集加载

X, y = iris.data[:, :2], iris.target

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=33) # 训练集测试集切分

scaler = preprocessing.StandardScaler().fit(X_train) # 数据标准化处理

X_train = scaler.transform(X_train)

X_test = scaler.transform(X_test)

knn = neighbors.KNeighborsClassifier(n_neighbors=5) # 初始化一个空的模型

knn.fit(X_train, y_train) # 模型训练

y_pred = knn.predict(X_test)

accuracy_score(y_test, y_pred) # 计算准确率

特征工程

列举了一些数据预处理的用法。详细的特征工程处理请翻阅参考。

其他用法翻阅速查表。

归一化：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler().fit(X_train)

standardized_X = scaler.transform(X_train)

standardized_X_test = scaler.transform(X_test)

正则化：

from sklearn.preprocessing import Normalizer

scaler = Normalizer().fit(X_train)

normalized_X = scaler.transform(X_train)

normalized_X_test = scaler.transform(X_test)

模型选择

模型选择这里有一张速查表可以使用。

超参数

对于那些可以学习得到参数我们很好处理，那么那些不能通过学习的到参数的正确选择是非常困难的，也是确定模型最难的一步。

一种方法是使用超参数搜索：

import numpy as np

from sklearn.linear_model import Ridge

from sklearn.grid_search import GridSearchCV

# 设定不同超参数值

alphas = np.array([1,0.1,0.01,0.001,0.0001,0])

# 设定模型

model = Ridge()

grid = GridSearchCV(estimator=model, param_grid=dict(alpha=alphas))

grid.fit(X, y)

print(grid)

# 对超参数进行遍历，查看其表现

print(grid.best_score_)

print(grid.best_estimator_.alpha)

评估方法

对模型的评估基本都在sklearn.metrics包里面。

准确率：

# 模型自带

knn.score(X_test, y_test)

# 导入metrics包

from sklearn.metrics import accuracy_score

accuracy_score(y_test, y_pred)

回归的f1等其他值。

from sklearn.metrics import classification_report

print(classification_report(y_test, y_pred))

速查表

参考

特征工程待完成

巴特西

快速入门Sklearn

基本流程

特征工程

模型选择

超参数

评估方法

速查表

参考

最新文章

热门文章