将原始jieba字典中的空格更改为 @@
  1.原来:雅不可攀 3 nr
  2.现在:雅不可攀@@3@@nr

将自定义用户词典加入的词与词性中间的空格更改为@@

   1.原来:牵连关系 50 n

   2.现在:牵连关系@@50@@n

更改jieba根目录下的__init__.py文件下代码:

   1.原来:re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)

   2.现在:re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)

   1.原来:re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%]+)", re.U)

   2.现在:re_han_default = re.compile("(.+)", re.U)

   1.原来:word, freq = line.split(' ')[:2]

   2.现在:word, freq = line.split('\u0040\u0040')[:2]

   1.原来:self.user_word_tag_tab[word] = tag

   2.现在:self.user_word_tag_tab[word] = tag.replace('\u0040\u0040', '')

   1.在word, freq, tag = re_userdict.match(line).groups()下加入一行代码

   2.freq = freq.replace('\u0040\u0040', '')

更改jieba根目录下posseg文件下的__init__.py下代码:

   1.原来:re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")

   2.现在:re_han_internal = re.compile("(.+)", re.U)

   1.原来:word, _, tag = line.split(" ")

   2.现在:word, _, tag = line.split("\u0040\u0040")

 
 

最新文章

  1. iOS runtime实用篇解决常见Crash
  2. Join two DataTables in C#
  3. 转载:java程序员如何拿到2万月薪
  4. Cannot find class for bean with name '/hello' defined in ServletContext resource
  5. Android 判断app是否在前台运行
  6. paper 54 :图像频率的理解
  7. Java中传值与传引用
  8. hadoop 异常及处理总结-01(小马哥-原创)
  9. 第三十篇、iOS开发中常用的宏
  10. String str 与 String str=new String("") 区别
  11. CDN调度器HAProxy、Nginx、Varnish
  12. hive、impala集成ldap
  13. C3P0 WARN: Establishing SSL connection without server's identity verification is not recommended
  14. nginx80端口被占用,启动失败。
  15. Myeclipse插件快速生成ssh项目并配置注解 在action层注入service的超详细过程
  16. javascript数据基本类型和引用数据类型区别
  17. 3.Jmeter参数化
  18. js实例属性和原型属性
  19. 虚拟机安装Linux中常见异常及解决办法
  20. react篇章-React State(状态)-将生命周期方法添加到类中

热门文章

  1. (线段树 区间合并更新)Tunnel Warfare --hdu --1540
  2. PAT甲 1006. Sign In and Sign Out (25) 2016-09-09 22:55 43人阅读 评论(0) 收藏
  3. 评论:一套Developer Express控件包 For Delphi7
  4. 【算法34】蓄水池抽样算法 (Reservoir Sampling Algorithm)
  5. python的数据存储
  6. 如何使用linq读取DataTable集合?AsQueryable() 和 AsEnumerable()区别?
  7. 隐式等待-----Selenium快速入门(九)
  8. 程序媛计划——mysql 插入、查找、修改、删除数据
  9. 【新题】OCP 062题库出现很多新题-6
  10. Reservoir Sampling-382. Linked List Random Node