watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3BfcHJvZ3JhbW1lcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" style="font-size:10.5pt; line-height:19.5pt">

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3BfcHJvZ3JhbW1lcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

可是其实一些这种数据，看起来并没有非常好的分开，分成几个簇。

比方如上图。一个关于T恤大小的样例。如果你是T桖制造商。你找到了一些人，想把T恤卖给他们。然后你搜集了一些人的身高和体重的数据，我们如果身高体重更重要些的，然后你可能收集到一些数据，一些关于身高体重的数据如右上图，然后你想确定下T恤的大小，如果我们要设计三种不同的大小的t恤。小号、中号和大号，那么小号、中、大号分别应该多大呢？有一种方法。在这些数据上使用K均值算法进行聚类，然后将这些数据聚成几个簇，所以虽然这些数据刚開始没有非常明显的形成三个簇。可是K均值算法仍然能将数据分成几个类。然后我们分别对这三个簇。设计小、中、大号衣服，这其实就是一个细分市场(Market
Segmentation)问题，当你用K-Means将你的市场分为三个不同的部分。你就能区分对待你三类不同的顾客群体，更好的适应他们的不同需求。

综上所述，这就是K-Means算法，并且你如今应该怎样去实现K-Means并且利用它来解决一些问题，下一节我们会更深入的探讨K-Means，以及怎样能让K-Means表现的更好一些。

（三）、Optimization Objective

大多数监督性学习算法。正如我们所学过的，比方线性回归、逻辑斯蒂回归等等。全部这些算法都有优化对象(代价函数)，尝试最小化这个损失函数。事实证明。K-Means相同有优化对象或者说是损失函数，我们尝试取最小化这个对象。这一小节就让我们来学习下这个优化对象(代价函数)，一来了解和学习K-Means代价函数有助于我们Debug学习算法，保证K-Means算法的正确执行，二来更重要的一点是我们能够利用这个代价函数使得K-Means的聚类效果更好，避免局部最优。

以下让我们来看看K-Means的CostFunction，我们有常常称作Distortion CostFunction。例如以下图所看到的：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3BfcHJvZ3JhbW1lcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

J(Cm,Uk)就是我们要minimize的CostFuntion，其意义为最小化全部数据与其相相应(如Xi被染成红色。那么我们就计算其与红色点聚类中心的距离)的聚类中心的欧氏距离的和。

我们来回顾下上节中所讲的K-Means算法的流程例如以下图：

这一步是依据固定(初始)类中心U。优化C，初步确定Xi类别

这一步是优化聚类中心U，然后这两步不停地迭代执行。直到CostFuntion J(Cm,Uk)收敛。

提问：

这里大家注意，回归问题中有可能由于学习率设置过大产生随着迭代次数添加。cost function反倒增大的情况。但聚类是不会产生这种问题的，由于每一次聚类都保证了使J下降，且无学习率做參数。

综上我们已经知道，K-Means算法正是通过最小化这个CostFunction J(Cm,Uk)来帮助算法有更好的效果，以下小节我们将进一步探讨怎样帮助K-Means算法更好的聚类和避免局部最优。

有几种不同的方法我们能够用来初始化聚类中心，可是事实证明有一种比其它大多数可能考虑到的方法更加被推荐，接下来让我们一起认识下它。例如以下图，我们展示了通常我们是怎样初始化我的聚类中心的。

当执行一个K-Means算法时，我们首先须要知道一个聚类中心数值K，K值要比样本的数量m小。

我们随机挑选K个训练样本，然后我们设定U1，U2…UK让它们等于这K个样本。

如上图。我们最好还是设K=2，然后我们随机取2个样本，如上面图那两点，这是我们令初始聚类中心就是这两点。然后我们通常不是这么幸运地(恰好能随机找到这两个簇中点分别作为初始聚类中心)，我们有时挑选的初始样本例如以下图，

以上这样的方法在你实现K均值聚类的时候可能会用到。可是我们会发现初始聚类中心的不同，其聚类结果也会大有不同，尤其是假设K均值方法落在局部最优的时候，假设给一些数据，例如以下图。看起来好像3个聚类，那么假设我们的初始化聚类中心不同可能会得到不同的结果，这是由于聚类中心的初始值造成了局部最优。

怎样避免K-Means陷入局部最优呢。我们能够尝试多次随机的初始化，而不是只初始化一次K均值，就希望它得到非常好的结果。我们须要多次(50-1000次)随机的初始化聚类中心。并行执行在这些初始化下的K-Means算法。找到全局最优。也就是找到一个使得代价函数最小的。详细流程例如以下图：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3BfcHJvZ3JhbW1lcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

注意当K值比較小时 2-10，这样的方法效果非常明显。当K过大时，这样的方法影响就不大了。

练习：

综上，这就是随机初始化的K均值方法，假设你尝试学习的聚类数目相对较小，用这样的多次随机初始化。有时能帮助你找到更好的数据聚类结果，可是虽然你有非常多聚类数目初始化，这样的随机的方法会给K-Means一种合理的起点来開始并找到一个好的聚类结果。

（五）、Choosing the Number of Clustrers

在这一小节我们将具体讨论K均值方法聚类中怎样去选择聚类类别数目，或者说是怎样去选择參数K，事实上，没有一个很好的方法回答这个问题，或者可以自己主动做这件事情，到眼下为止，确定聚类数目最经常使用的方法，任然是通过看可视化的图或者通过查看聚类算法的输出结果或者其它一些东西来手动地决定聚类的类别数目。

为什么确定聚类数目比較难？一部分原因是通常在数据集中有多少个聚类是不清晰的。这也是非监督学习的特点。由于数据没有标签，因此聚类数目的多少总没有一个清晰的答案。

当人们谈及怎么选择聚类数目K时，常常谈起的方法叫作Elbow method(“肘部法则”)，那让我们认识下这个法则。认识下它的优缺点，例如以下图所看到的：

我们分别计算K值确定(K=1,2,3,4….)条件下，全部样本的CostFunction J的值，然后我们将这些值连成一条曲线如上图(左)所看到的，随着聚类数目的增多，畸变(代价)函数的值是怎样下降的，你会发现其畸变函数值会随着      K值增多极速下降，当到达K=3时。畸变值就会下降的非常慢，K=3正好也是曲线的”肘”点，因此我们选3为K的值。在你应用肘部法则的时候左上方的图确实能够比較清晰的帮我们确定K值。但事实证明，肘部法则并不那么经常使用，当中一个原因是，有时间你画出的曲线并没有明显的肘点，(右上图)此时肘部法则选择聚类数目将变得较为困难。

练习：

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvc3BfcHJvZ3JhbW1lcg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

最后有第二种方法引导你怎样确定K值。通常人们用K均值聚类方法是为了得到聚类结果后用于后面的一些用途。比方你会用K-Means方法来做市场切割，如我们之前谈到的T恤大小问题，或者是你用来做电脑聚类等等，假设兴许的目的是比如市场切割，那能给你一个评估标准。那么通常更好的方式来决定聚类的数量是。观察不同的聚类数值是否能为兴许的目的提供更好的结果，比方我们继续来看看T恤大小的样例，例如以下图。

如图所看到的，Tshirt的size。能够聚成{L,M,S}三类，也能够分为{XL。L。M，S，XS}5类。须要大家兴许的目的和详细情况详细分析了~

总结一下，对于大部分时候，聚类数目仍然是通过手动人工输入。或我们的经验来决定。一种能够尝试的方法是肘部原则。可是我们并不能总是期望它能非常有效果，我们更好的想法是思考怎样去选择聚类，基于聚类数目能为兴许分析和研究提供价值的大小来确定聚类数目。

这一章主要学习了无监督学习中的聚类问题。特别是学习了K-Means这样的聚类算法，探讨了聚类问题的CostFunction，以及初始聚类中心和聚类个数K值得选择，这些方法在聚类问题中较为通用，希望在日后的学习工作中灵活应用。