from numpy import *

 import matplotlib.pyplot as plt

 # 加载数据  返回数据和目标值

 def loadDataSet(fileName):

     numFeat = len(open(fileName).readline().split('\t')) - 1

     dataMat = []; labelMat = []

     fr = open(fileName)

     for line in fr.readlines():

         lineArr =[]

         curLine = line.strip().split('\t')

         for i in range(numFeat):

             lineArr.append(float(curLine[i]))

         dataMat.append(lineArr)

         labelMat.append(float(curLine[-1]))

     return dataMat,labelMat

 # 利用公式计算回归系数

 def standRegres(xArr,yArr):

     xMat = mat(xArr); yMat = mat(yArr).T

     xTx = xMat.T*xMat               # 公式步骤

     if linalg.det(xTx) == 0.0:

         print("行列式为0，奇异矩阵，不能做逆")

         return

     ws = xTx.I * (xMat.T*yMat)  #解线性方程组

     # ws = linalg.solve(xTx,xMat.T*yMat)  # 也可以使用函数来计算 线性方程组

     return ws

 # 局部加权线性回归 返回该条样本预测值

 def lwlr(testPoint,xArr,yArr,k=1.0):

     xMat = mat(xArr); yMat = mat(yArr).T

     m = shape(xMat)[0]

     weights = mat(eye((m)))     # 创建为单位矩阵，再mat转换数据格式     因为后面是与原数据矩阵运算，所以这里是为了后面运算且不带来其他影响

     for j in range(m):                      # 利用高斯公式创建权重W     遍历所有数据，给它们一个权重

         diffMat = testPoint - xMat[j,:]                         # 高斯核公式1

         weights[j,j] = exp(diffMat*diffMat.T/(-2.0*k**2))       # 高斯核公式2    矩阵*矩阵.T 转行向量为一个值    权重值以指数级衰减

     xTx = xMat.T * (weights * xMat)                             # 求回归系数公式1

     if linalg.det(xTx) == 0.0:      # 判断是否有逆矩阵

         print("行列式为0，奇异矩阵，不能做逆")

         return

     ws = xTx.I * (xMat.T * (weights * yMat))                    # 求回归系数公式2

     return testPoint * ws

 # 循环所有点求出所有的预测值

 def lwlrTest(testArr,xArr,yArr,k=1.0):  # 传入的k值决定了样本的权重，1和原来一样一条直线，0.01拟合程度不错，0.003纳入太多噪声点过拟合了

     m = shape(testArr)[0]

     yHat = zeros(m)

     for i in range(m):

         yHat[i] = lwlr(testArr[i],xArr,yArr,k)      # 返回该条样本的预测目标值

     return yHat

 xArr,yArr = loadDataSet('ex0.txt')

 # 求所有预测值

 yHat = lwlrTest(xArr,xArr,yArr,0.01)

 print(yHat)

 # 绘制数据点和拟合线（局部加权线性回归）

 xMat = mat(xArr)

 srtInd = xMat[:,1].argsort(0)   # 画拟合线 需要获得所有横坐标从小到大的下标

 xSort = xMat[srtInd][:,0,:] # 获得排序后的数据

 fig = plt.figure()

 ax = fig.add_subplot(111)

 ax.plot(xSort[:,1],yHat[srtInd],color='red')

 ax.scatter(xMat[:,1].flatten().A[0],mat(yArr).T.flatten().A[0])

 plt.show()