机器学习实战（1）- KNN

KNN：k近邻算法-在训练样本中找到与待测样本距离相近的N个样本，并用这N个样本中所属概率最大的类别作为待测样本的类别。

算法步骤：

1、对训练中的样本数据的不同属性进行归一化处理。

2、计算待测样本到训练样本集中的距离。（欧拉距离或曼哈顿距离）；

3、找到N个距离最小的样本属于不同类别的概率。

4、取最大的概率作为待测样本的类别。

例子1：相亲

相亲考虑的条件：

1）每年飞行公里

2）每周打的游戏时长

3）每周消耗的ice cream

态度用1,2,3表示：1表示little like 2表示much like 3表示pass

数据集路径https://github.com/pbharrin/machinelearninginaction

matlab 代码：大神请给优化。。。。。

clc,clear;

%1)加载数据

TEST = load('datingTestSet2.txt');

r1 = find(TEST(:,4) == 1);

r2 = find(TEST(:,4) == 2);

r3 = find(TEST(:,4) == 3);

% 1)绘制原始数据

plot3(TEST(r1,1),TEST(r1,2),TEST(r1,3),'.b');

hold on

plot3(TEST(r2,1),TEST(r2,2),TEST(r2,3),'.g');

hold on

plot3(TEST(r3,1),TEST(r3,2),TEST(r3,3),'.r');

xlabel('plane');

ylabel('game');

zlabel('ice');

%对不同属性的数据归一化处理

maxr1 = max(TEST(:,1))

minr1 = min(TEST(:,1));

maxr2 = max(TEST(:,2))

minr2 = min(TEST(:,2));

maxr3 = max(TEST(:,3));

minr3 = min(TEST(:,3));

length = size(TEST(:,1))

TESTB = zeros(length,3);

TESTB(:,1) = (TEST(:,1) - minr1) ./ (maxr1 - minr1);

TESTB(:,2) = (TEST(:,2) - minr2) ./ (maxr2 - minr2);

TESTB(:,3) = (TEST(:,3) - minr3) ./ (maxr3 - minr3);

% 待测数据

DATA = [1000,10,0.5];

DATA(1,1) = (DATA(1,1)- minr1) / (maxr1- minr1);

DATA(1,2) = (DATA(1,2)- minr2) / (maxr2- minr2);

DATA(1,3) = (DATA(1,3)- minr3) / (maxr3- minr3);

% 计算距离 N =5

data = repmat(DATA,[length,1]);

dis = TESTB -data;

dis = dis .* dis;

dis = dis * [1;1;1];

sortData = sort(dis);

ndata = sortData(5,1);

list = find(dis <= ndata);

result = TEST(list,4);

a1 = find(result == 1)

a2 = find(result == 2)

a3 = find(result == 3)

if(size(a1,1) > size(a2,1))

    if(size(a1,1)>size(a3,1))

       disp(' little like');

    else

        disp('pass');

    end

else

    if(size(a2,1)>size(a3,1))

       disp(' much like');

    else

        disp('pass');

    end

end

python 3代码：函数都不怎么会用磨磨唧唧的写了一些实现。

import numpy as npy

import matplotlib

import matplotlib.pyplot as plt

import copy

# 读取文件

#手动转换文件，复制到excel让python能正确读取。

data = npy.loadtxt('data.txt',delimiter = ',');

likeindex = npy.where(data[:,3] == 1);

muchlikeindex = npy.where(data[:,3]==2);

passindex = npy.where(data[:,3] == 3);

# 绘制图形(不会绘制三维的)

fig = plt.figure()

ax = fig.add_subplot(111)

ax.scatter(data[likeindex,0],data[likeindex,1],data[likeindex,3],c ='b');

ax.hold('on')

ax.scatter(data[muchlikeindex,0],data[muchlikeindex,1],data[muchlikeindex,3],c ='g',marker ='*');

ax.plot()

plt.show()

# 数据归一化

length = len(data[:,0]);

maxr = npy.zeros((3,1));

minr = npy.zeros((3,1));

for i in range(0,3) :

    maxr[i,0] =  npy.max(data[:,i]);

    minr[i,0] =  npy.min(data[:,i]);

normalData = npy.zeros((length,3));

# 待测数据                

test = npy.matrix([1056560,60,12]);

for i in range(0,3):

    normalData[:,i] = (data[:,i] - minr[i,0]) / (maxr[i,0] - minr[i,0]);

test[0,0] =(test[0,0] - minr[0,0]) / (maxr[0,0] - minr[0,0]);

test[0,1]=(test[0,1] - minr[0,0]) / (maxr[0,0] - minr[0,0]);

test[0,2] =(test[0,2] - minr[0,0]) / (maxr[0,0] - minr[0,0]);

# 测试数据与训练数据的距离

testarry = npy.tile(test,(length,1));

dis2 = (normalData - testarry);

dis = npy.multiply(dis2,dis2);

one = npy.mat([[1],[1],[1]]);

dis = dis*one;

# 深度copy 原数据

org = copy.copy(dis);

datat = dis.T;

datat.sort()

door = datat[0,5]; # k =5

nearindex =  npy.where(org[:,0] < door);

print (nearindex)  # 这个nearindex 不知道为啥会有两行                      

#用索引计算 所属类别的频率

巴特西

机器学习实战（1）- KNN

最新文章

热门文章