[机器学习实战]K-近邻算法

小说:手机开微店要钱吗作者:陵宗扁平更新时间:2018-12-10字数:49786

[机器学习实战]K-近邻算法


1. K-近邻算法概述(k-Nearest Neighbor,KNN)

K-近邻算法采用测量不同的特征值之间的距离方法进行分类。该方法的思路是:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

  • 优点:精度高、对异常数据不敏感、无数据输入假定。
  • 缺点:计算复杂度高、空间复杂度高。
  • 适用数据范围:数值型和标称型。

KNN工作原理是:存在一个样本数据集合(训练样本集),并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似的数据(最近邻)的分类标签。

一般来说我们只选择样本数据集中前k个最相似的数据。通常k是不大于20的整数。最后选择k个最相似数据中出现次数最多的分类,作为新数据的分类。

KNN的一般流程:

1.收集数据:可使用任何方法。
2.准备数据:距离计算所需要的数值,最好是结构化的数据格式。
3.分析数据:可使用任何方法。
4.训练算法:此步骤不适用与K-近邻算法
5.测试算法:计算错误率。
6.使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。

2. 准备数据集

在构造完整的k-近邻算法之前,我们还需要编写一些基本的通用函数,新建KNN.py文件,新增以下代码:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
from numpy import *

"""
函数说明:创建数据集

Parameters:
    无
Returns:
    group - 数据集
    labels - 分类标签
"""
def createDataSet():
    #四组二维特征
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    #四组特征的标签
    labels = ["A","B","C","D"]
    return group, labels

if __name__ == "__main__":
    #创建数据集
    group, labels = createDataSet()
    #打印数据集
    print(group)
    print(labels)

3. k-近邻算法实现

对未知类别属性的数据集中的每个点一次执行以下操作:

  1. 计算已知类别数据集中的点与当前点之间的距离;
  2. 按照距离增序排序;
  3. 选取与当前点距离最近的k个点;
  4. 决定这k个点所属类别的出现频率;
  5. 返回前k个点出现频率最高的类别作为当前点的预测分类。

# -*- coding: UTF-8 -*-
from numpy import *
import operator

"""
函数说明:kNN算法,分类器

Parameters:
    inX - 用于分类的数据(测试集)
    dataSet - 用于训练的数据(训练集)
    labes - 分类标签
    k - kNN算法参数,选择距离最小的k个点
Returns:
    sortedClassCount[0][0] - 分类结果
"""
def classify0(inX, dataSet, labels, k):
    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = dataSet.shape[0]
    #在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加,sum(0)列相加,sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开方,计算出距离
    distances = sqDistances**0.5
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = distances.argsort()
    #定一个记录类别次数的字典
    classCount = {}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        #计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #python3中用items()替换python2中的iteritems()
    #key=operator.itemgetter(1)根据字典的值进行排序
    #key=operator.itemgetter(0)根据字典的键进行排序
    #reverse降序排序字典
    sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别
    return sortedClassCount[0][0]

计算距离时直接使用了欧式距离公式,计算两个向量点之间的距离:

image

计算完所有点之间的距离后,可以对数据按照从小到大的次序排序。然后,确定前k个距离最小元素所在的主要分类,输入k总是正整数;最后,将classCount字典分解为元组列表,然后按照第二个元素的次序对元组进行排序,最后返回发生频率最高的元素标签。

预测数据所在分类:

>>> kNN.classify([0, 0], group, labels, 3)

输出结果应该是B。

4. 测试分类器

为了测试分类器的效果,我们可以使用已知答案的数据,当然答案不能告诉分类器,检验分类器给出的结果是否符合预期结果。通过大量的测试数据,我们可以得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。错误率是常用的评估方法,主要用于评估分类器在某个数据集上的执行效果。完美分类器的错误率为0,最差分类器的错误率是1.0,在这种情况下,分类器根本就无法找到一个正确答案。然而错误率几乎不会达到1.0,因为即使是随机猜测,也会有一定概率猜对的。因此,错误率一般存在一个上限,且具体的值会与各类型之间的比例关系直接相关。


[1]KNN维基百科:
https://zh.wikipedia.org/wiki/%E6%9C%80%E8%BF%91%E9%84%B0%E5%B1%85%E6%B3%95

当前文章:http://www.leetaemin.cn/ao90ktwgio.html

发布时间:2018-12-10 02:37:27

免费注册打码网站 如何开手机淘宝店铺 微信辅助佣金 微信怎么开微店 淘宝客的佣金怎么算 2018年农村投资项目 72券可以赚佣金吗 初中学生党赚钱 大城市宝妈怎么赚钱 给小学生解答问题挣钱

97571 36892 20890 18714 68181 8521331625 66853 98309

我要说两句: (0人参与)

发布