使用Levenshtein计算相似度距离,装下模块,调用下函数就好。

拿idf还得自己去算权重,而且不一定准确度高,一般做idf还得做词性归一化,把动词形容词什么全部转成名词,很麻烦。

Levenshtein.distance(str1,str2)

计算编辑距离(也称Levenshtein距离)。是描述由一个字串转化成另一个字串最少的操作次数,在其中的操作包括插入、删除、替换。如

例如将eeba转变成abac:

① eba(删除第一个e)

② aba(将剩下的e替换成a)

③ abac(在末尾插入c)

所以eeba和abac的编辑距离就是3

备注:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#python-levenshtein

1. Levenshtein.hamming(str1, str2)

计算汉明距离。要求str1和str2必须长度一致。是描述两个等长字串之间对应位置上不同字符的个数。如

2. Levenshtein.distance(str1, str2)

计算编辑距离(也成Levenshtein距离)。是描述由一个字串转化成另一个字串最少的操作次数,在其中的操作包括插入删除替换。如

算法实现 参考动态规划整理:http://www.cnblogs.com/kaituorensheng/archive/2013/05/15/3080990.html

3. Levenshtein.ratio(str1, str2)

计算莱文斯坦比。计算公式  r = (sum - ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和,ldist是类编辑距离

注意:这里的类编辑距离不是2中所说的编辑距离,2中三种操作中每个操作+1,而在此处,删除、插入依然+1,但是替换+2

这样设计的目的:ratio('a', 'c'),sum=2,按2中计算为(2-1)/2 = 0.5,’a','c'没有重合,显然不合算,但是替换操作+2,就可以解决这个问题。

4. Levenshtein.jaro(s1, s2)

计算jaro距离,

其中的m为s1, s2的匹配长度,当某位置的认为匹配 当该位置字符相同,或者在不超过

t是调换次数的一半

5. Levenshtein.jaro_winkler(s1, s2)

计算Jaro–Winkler距离

最新文章

  1. Linux下MySQL/MariaDB Galera集群搭建过程
  2. SQL2005语句实现行转列,列转行
  3. poj1274(匈牙利算法)
  4. express-16 与生产相关的问题2
  5. dbcp/c3p0连接池设置mysql会话变量
  6. css3太极图效果+自动旋转
  7. 面试题:m个长度为n的ordered array,求top k 个 数字
  8. Delphi TdxBarDockControl 用法
  9. AngularJS track by $index引起的思考
  10. cocos2d-x anchorPoint
  11. [Android学习笔记]View的measure过程学习
  12. ABP官方文档翻译 3.1 实体
  13. Linux创建普通用户以及权限的分配
  14. JumpServer1.0 服务搭建
  15. OJ:自己实现一个简单的 priority_queue
  16. 3、JPA-API
  17. Spring Data JPA框架
  18. 《Linux内核分析》第三周学习报告
  19. 解题:POI 2009 Fire Extinguishers
  20. Machine Learning Trick of the Day (2): Gaussian Integral Trick

热门文章

  1. 转 HTTP/2: The Long-Awaited Sequel
  2. 【C++11】新特性 之 auto的使用
  3. oracle10g精简版安装步骤
  4. 移植SDL最新版本(转)
  5. CentOS下用yum配置php+mysql+apache
  6. JWPlayer快速入门指南(中文)
  7. postman-3断言
  8. 关于centos6升级python3.6无法使用pip的问题
  9. Windows常用内容渗透命令
  10. C#调用Oracle带输出数据集的存储过程