Python机器学习算法 — K-Means聚类

K-Means简介

K-Means（K-均值聚类）算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。

K-Means算法属于非监督学习(Unsupervised Learning)。

该算法认为：

簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

距离公式

该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。

K-Means的原理

K-Means的原理：

1）从D中随机取k个元素，作为k个簇的各自的中心；

2）分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇；

3）根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数

4）将D中全部元素按照新的中心重新聚类；

5）重复第4步，直到每个簇的中心基本不再变化；

6）将结果输出。

K-Means的说明

如图所示，数据样本用圆点表示，每个簇的中心点用叉叉表示：

(a)刚开始时是原始数据，杂乱无章，没有label，看起来都一样，都是绿色的。

(b)假设数据集可以分为两类，令K=2，随机在坐标上选两个点，作为两个类的中心点。

(c-f)演示了聚类的两种迭代：

先划分，把每个数据样本划分到最近的中心点那一簇；

划分完后，更新每个簇的中心，即把该簇的所有数据点的坐标加起来去平均值。

这样不断进行”划分—更新—划分—更新”，直到每个簇的中心不在移动为止。

K-Means代码实现

#使用K-Means算法聚类消费行为特征数据

import pandas as pd

#参数初始化

inputfile = 'C:/Users/Lsqin/Desktop/consumption_data.xls' #销量及其他属性数据

outputfile = 'C:/Users/Lsqin/Desktop/data_type.xls' #保存结果的文件名

k = 3 #聚类的类别

iteration = 500 #聚类最大循环次数

data = pd.read_excel(inputfile, index_col = 'Id') #读取数据

data_zs = 1.0*(data - data.mean())/data.std() #数据标准化

from sklearn.cluster import KMeans

model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration) #分为k类，并发数4

model.fit(data_zs) #开始聚类

#简单打印结果

r1 = pd.Series(model.labels_).value_counts() #统计各个类别的数目

r2 = pd.DataFrame(model.cluster_centers_) #找出聚类中心

r = pd.concat([r2, r1], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目

r.columns = list(data.columns) + [u'类别数目'] #重命名表头

print(r)

#详细输出原始数据及其类别

r = pd.concat([data, pd.Series(model.labels_, index = data.index)], axis = 1)  #详细输出每个样本对应的类别

r.columns = list(data.columns) + [u'聚类类别'] #重命名表头

r.to_excel(outputfile) #保存结果

def density_plot(data): #自定义作图函数

  import matplotlib.pyplot as plt

  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签

  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号

  p = data.plot(kind='kde', linewidth = 2, subplots = True, sharex = False)

  [p[i].set_ylabel(u'密度') for i in range(k)]

  plt.legend()

  return plt

pic_output = '../tmp/pd_' #概率密度图文件名前缀

for i in range(k):

  density_plot(data[r[u'聚类类别']==i]).savefig(u'%s%s.png' %(pic_output, i))

巴特西