降维、特征提取与流形学习--非负矩阵分解（NMF）

非负矩阵分解(NMF)是一种无监督学习算法，目的在于提取有用的特征（可以识别出组合成数据的原始分量），也可以用于降维，通常不用于对数据进行重建或者编码。

NMF将每个数据点写成一些分量的加权求和（与PCA相同），并且分量和系数都大于0，
只能适用于每个特征都是非负的数据（正负号实际上是任意的）。

1、将NMF应用于模拟数据

应用NMF时，我们必须保证数据是正的

如图

两个分量的NMF：分量指向边界，所有的数据点都可以写成这两个分量的正数组合。
一个分量的NMF：分量指向平均值，指向这里可以对数据做出最好的解释。

在NMF中，不存在“第一非负分量”，所有分量地位平等，减少分量个数会删除一些方向。NMF使用了随机初始化，根据随机种子的不同可能会产生不同的结果。

2、将NMF应用于人脸图像

NMF的主要参数（n_components参数）：想要提取的分量个数。这个数字通常要小于输入特征的个数（否则将每个像素作为单独的分量就可以解释数据）。

（1）先观察一下运用NMF找到的15个分量长什么样

  from sklearn.datasets import fetch_lfw_people

  from sklearn.decomposition import PCA

  from sklearn.model_selection import train_test_split

  import numpy as np

  from matplotlib import pyplot as plt

  people = fetch_lfw_people(min_faces_per_person=40,resize=0.7)

  image_shape = people.images[0].shape

  #每个人最多有50张照片，防止数据偏斜

  mask = np.zeros(people.target.shape,dtype=bool)

  for target in np.unique(people.target):

      mask[np.where(people.target==target)[0][:50]]=1

  X_people = people.data[mask]

  y_people = people.target[mask]

  X_train, X_test, y_train, y_test = train_test_split(X_people,y_people,stratify=y_people,random_state=42)

  #画出nmf模型训练得到的各个分量（这里指定15个），每个分量都是一张有点人形的图片（因为每个分量保留了所有的原始特征）。

  #所有的数据点都可以写成这些分量的加权求和

  from sklearn.decomposition import NMF

  nmf = NMF(n_components=15,random_state=0)

  nmf.fit(X_train)

  X_train_nmf = nmf.transform(X_train)

  X_test_nmf = nmf.transform(X_test)

  fix,axes = plt.subplots(3,5,figsize=(15,12),subplot_kw={'xticks':(),'yticks':()})

  for i ,(component,ax) in enumerate(zip(nmf.components_,axes.ravel())):

      ax.imshow(component.reshape(image_shape))

      ax.set_title("{}.component".format(i))

（2）、按照某个分量，重建数据点

  #将数据样本点按照第10个分量排序，绘制数据点中前10张图片

  compn = 10

  inds = np.argsort(X_train_nmf[:,compn])[::-1] #按照第三个分量排序

  fig,axes = plt.subplots(2,5,figsize=(15,8),subplot_kw={'xticks':(),'yticks':()})

  for i ,(ind,ax) in enumerate(zip(inds,axes.ravel())):

      ax.imshow(X_train[ind].reshape(image_shape))

可以看出在所有数据点中，分量10排名前10的数据点长什么样（它们的具有分量10提取的特点，脸有点歪）
每个分量提取了数据的不同模式，将这些分量叠加（加权求和）就能重构出训练集中的每一张图像。

3、应用于具有叠加结构的数据（信号源数据）

（1）先了解一下数据集

  S = mglearn.datasets.make_signals()

  plt.figure(figsize=(10,2))

  plt.plot(S,'-')

  plt.xlabel("Time")

  plt.ylabel("Signal")

  print(S.shape)

  print(S)

  #输出

  (2000, 3)

  [[2.65408203 2.48908887 1.07757433]

   [2.94981947 3.45507031 0.79929765]

   [2.97649958 3.65235694 0.73473133]

   ...

   [2.22337048 1.33481395 4.31421863]

   [2.36722058 1.56522921 4.53698235]

   [1.77945297 1.62362822 0.47660599]]

可以看出该数据具有2000条，每条有对应三个信号源的数据

（2）将混合信号分解为原始分量

我们假设有100台测量装置来观测混合信号，得到了2000条具有100维特征的信号数据X

#将数据混合成100维的状态

A = np.random.RandomState(0).uniform(size=(100,3))

X = np.dot(S,A.T)

print(X)

print(X.shape)

应用NMF还原这个混合信号

#用nmf还原这三个信号被混合成100维的信号X

nmf = NMF(n_components=3,random_state=42)

S_nmf =nmf.fit_transform(X)

#用于对比的pca

pca = PCA(n_components=3,random_state=42)

S_pca = pca.fit_transform(X)  #S_pca就是H

#画图

models = [X,S,S_nmf,S_pca]

names = ["Obsevations(first measurements)",

        "Ture sourses",

        "NMF recovered signals",

        "PCA recovered signals"]

fig, axes = plt.subplots(4,figsize=(10,5),gridspec_kw={'hspace':.5},subplot_kw={'xticks':(),'yticks':()})

for model,name,ax in zip(models,names,axes):

    ax.set_title(name)

    ax.plot(model,'-')

NMF在发现原始信号源时得到了不错的结果，而PCA失败了（PCA不适合这种叠加数据结构）
NMF生成的分量是没有顺序的，如果分量顺序和原始信号完全相同（线的颜色）只是偶然。

4、参考文献

《Pyhon机器学习基础教程》P120-P126

巴特西