第二章--k-近邻算法(kNN)
2024-10-07 12:55:39
一、k-近邻算法(kNN)
采用测量不同特征值之间的距离方法进行分类
工作原理:
存在一个样本数据集合(训练样本集),并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征醉相思数据(最近邻)的分类标签。
一般来说,我们只选择样本数据集中前k个最相似的数据,(k的来源),通常k<=20的整数,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
一般流程:收集-准备-分析数据-训练-测试-使用算法。
1.使用Python导入数据
from numpy import *#科学计算包
import operator #运算符模块 def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','B','B']
return group,labels def classify0(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
#距离计算
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2 #平方
sqDistances = sqDiffMat.sum(axis=1) #根号下平方相加
distances = sqDistances**0.5 #根号
sortedDistIndicies = distances.argsort() #排序
classCount={}
#选择距离最小的k个点
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
#排序,将classCount字典分解为元祖列表,导入itemgeeter方法,按照第二个元素的次序对元祖进行排序
#此处排序为逆序,即从大到小排序,最后返回发生频率最高的元素标签。
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
return sortedClassCount[0][0]
# 为预测数据所在分类:kNN.classify0([0,0], group, labels, 3)
执行命令:
>>>import kNN
>>>group,labels = kNN.createDataSet()
>>>group
array([[1. , 1.1],
[1. , 1. ],
[0. , 0. ],
[0. , 0.1]])
>>>labels
['A', 'A', 'B', 'B']
>>>kNN.classify0([0,0], group, labels, 3)
'B'
出现的错误:
AttributeError: module 'KNN' has no attribute 'classify0'
原因:python2和python3不兼容
解决方法:将iteritems()改为items(),然后重启PyCharm
最新文章
- 黑马程序员——【Java高新技术】——代理
- 掌握GCD以及后台永久运行的代码 (使用GCD处理后台线程和UI线程的交互)
- MySql 去重且指定某字段在前的排序方法
- offsetLeft,Left,clientLeft的区别
- Interview----链表的倒数第K个元素
- WPF DragDrop事件元素跟随
- [原创]谷歌插件 - YE启动助手(YeLauncher)
- [Locked] Read N Characters Given Read4 &; Read N Characters Given Read4 II - Call multiple times
- 设计模式之建造者模式(Builder)
- jenkins 使用注意
- 配置mysql为主主复制步骤
- test only
- SDP(10):文本式大数据运算环境-MongoDB-Engine功能设计
- Vue(day6)
- CentOS 7 系统下 GitLab 搭建
- SQL 表值函数/标量函数
- [BJOI2019] 删数
- oracle基础语句练习
- java34
- Redis学习-hash数据类型