jieba分词加入特殊字符和空格
将原始jieba字典中的空格更改为 @@
1.原来:雅不可攀 3 nr
2.现在:雅不可攀@@3@@nr
将自定义用户词典加入的词与词性中间的空格更改为@@
1.原来:牵连关系 50 n
2.现在:牵连关系@@50@@n
更改jieba根目录下的__init__.py文件下代码:
1.原来:re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)
2.现在:re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)
1.原来:re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%]+)", re.U)
2.现在:re_han_default = re.compile("(.+)", re.U)
1.原来:word, freq = line.split(' ')[:2]
2.现在:word, freq = line.split('\u0040\u0040')[:2]
1.原来:self.user_word_tag_tab[word] = tag
2.现在:self.user_word_tag_tab[word] = tag.replace('\u0040\u0040', '')
1.在word, freq, tag = re_userdict.match(line).groups()下加入一行代码
2.freq = freq.replace('\u0040\u0040', '')
更改jieba根目录下posseg文件下的__init__.py下代码:
1.原来:re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")
2.现在:re_han_internal = re.compile("(.+)", re.U)
1.原来:word, _, tag = line.split(" ")
2.现在:word, _, tag = line.split("\u0040\u0040")
最新文章
- iOS runtime实用篇解决常见Crash
- Join two DataTables in C#
- 转载:java程序员如何拿到2万月薪
- Cannot find class for bean with name '/hello' defined in ServletContext resource
- Android 判断app是否在前台运行
- paper 54 :图像频率的理解
- Java中传值与传引用
- hadoop 异常及处理总结-01(小马哥-原创)
- 第三十篇、iOS开发中常用的宏
- String str 与 String str=new String(";";) 区别
- CDN调度器HAProxy、Nginx、Varnish
- hive、impala集成ldap
- C3P0 WARN: Establishing SSL connection without server's identity verification is not recommended
- nginx80端口被占用,启动失败。
- Myeclipse插件快速生成ssh项目并配置注解 在action层注入service的超详细过程
- javascript数据基本类型和引用数据类型区别
- 3.Jmeter参数化
- js实例属性和原型属性
- 虚拟机安装Linux中常见异常及解决办法
- react篇章-React State(状态)-将生命周期方法添加到类中
热门文章
- (线段树 区间合并更新)Tunnel Warfare --hdu --1540
- PAT甲 1006. Sign In and Sign Out (25) 2016-09-09 22:55 43人阅读 评论(0) 收藏
- 评论:一套Developer Express控件包 For Delphi7
- 【算法34】蓄水池抽样算法 (Reservoir Sampling Algorithm)
- python的数据存储
- 如何使用linq读取DataTable集合?AsQueryable() 和 AsEnumerable()区别?
- 隐式等待-----Selenium快速入门(九)
- 程序媛计划——mysql 插入、查找、修改、删除数据
- 【新题】OCP 062题库出现很多新题-6
- Reservoir Sampling-382. Linked List Random Node