PCA降维识别手写数字

关注公众号“轻松学编程”了解更多。

PCA 用于数据降维，减少运算时间，避免过拟合。
PCA(n_components=150,whiten=True)

n_components参数设置需要保留特征的数量，如果是小数，则表示保留特征的比例;

设为大于零的整数，会自动的选取n个主成分-
whiten: 默认为False，若为True表示做白化处理，白化处理主要是为了使处理后的数据方差都一致

PCA降维识别手写数字

导包

import numpy as np

import pandas as pd

import time

from pandas import Series,DataFrame

from sklearn.svm import SVC

#主成分分析

from sklearn.decomposition import PCA

# 交叉验证

from sklearn.model_selection import GridSearchCV

from IPython.display import display

import matplotlib.pyplot as plt

%matplotlib inline

读取数据

data = pd.read_csv('./data/digits.csv')

data.head()

data.shape

一共有42000张图片。

plt.figure(figsize=(2,2))

plt.imshow(data.loc[0][1:].values.reshape(28,28))

# 图片之所以显示不同数字，因为像素值pixel 不同

data中label一列中的值代表的是哪个数字。

#特征数据

X = data.iloc[:,1:]

#目标数据

y = data.label

有些属性都是一样的，对分类起不到作用，可以把它们从特征属性中剔除，从而达到降维的效果，缩短模型训练时间，提高准确率。

降维处理

# 784属性降维到150

X.shape

#自动选取150个主成分特征

pca = PCA(n_components=150,whiten=True)

#训练模型

pca.fit(X)

#降维处理

X_pca = pca.transform(X)

X_pca.shape

使用交叉验证获取算法模型最优参数

'''gamma : float, optional (default='auto')

    Kernel coefficient for 'rbf', 'poly' and 'sigmoid'.

    If gamma is 'auto' then 1/n_features will be used instead.'''

#gamma = 1/150 = 0.00667

g = [0.001,0.003,0.006,0.01,0.05]

c = [0.5,0.8,1,1.5,3]

#创建支持向量机算法模型。内核函数默认使用'rbf

svc = SVC()

#寻找算法最优参数：5个属性（5个参数）组合条件 5^5 = 3125个组合

gCV = GridSearchCV(svc,

                   param_grid={

                        'C': c,

             # C是SVC中的错误惩罚系数，值越大，模型就越不能容忍错误，

             #训练次数就越多，也越容易过拟合

                        'gamma':g  # gamma是SVC中调整曲线形状的系数

                    })

start = time.time()

#训练模型

gCV.fit(X_pca[:5000],y[:5000])

end = time.time()

print((end-start)/60,'分钟')

获取最优模型

#获取模型

svc_best_ = gCV.best_estimator_

svc_best_

对最优模型评分

gCV.best_score_

训练模型并评分

#训练模型

svc_best_.fit(X_pca[:5000],y[:5000])

#预测

y_ = svc_best_.predict(X_pca[-40:])

display(y_,y[-40:].values)

svc_best_.score(X_pca[-5000:],y[-5000:])

不进行降维比较

# 不进行降维：准确率降低

start = time.time()

svc_best_.fit(X[:5000],y[:5000])

end = time.time()

acu = svc_best_.score(X[-5000:],y[-5000:])

print('不进行降维，准确率： %0.4f'%(acu))

print((end-start)/60,'分钟')

后记

【后记】为了让大家能够轻松学编程，我创建了一个公众号【轻松学编程】，里面有让你快速学会编程的文章，当然也有一些干货提高你的编程水平，也有一些编程项目适合做一些课程设计等课题。

也可加我微信【1257309054】，拉你进群，大家一起交流学习。
如果文章对您有帮助，请我喝杯咖啡吧！

公众号

关注我，我们一起成长~~

巴特西

python机器学习使用PCA降维识别手写数字

PCA降维识别手写数字

导包

读取数据

降维处理

使用交叉验证获取算法模型最优参数

获取最优模型

对最优模型评分

训练模型并评分

不进行降维比较

后记

最新文章

热门文章