python库--jieba(中文分词)
2024-09-22 08:17:33
| import jieba | ||
| 精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 | ||
| .cut() | sentence | 需要分词的字符串 |
| cut_all=F | 是否采用全模式(否则使用精确模式) | |
| HMM=T | 是否使用HMM模型(可识别不在词典中的词) | |
| .cut_for_search() | (sentence, HMM=T) 搜索引擎模式 | |
| .load_userdict(f) | 载入词典, f为自定义词典的路径词典格式和dict.txt一样, 一个词占一行; 每一行分三部分, 一部分为词语, 另一部分为词频（可省略, 词频越高成词几率越大），最后为词性（可省略）, 用空格隔开 | |
| .suggest_freq() | 使用建议的单词频率强制一个单词中的字符拆分或连接 | |
| .add_word() | word | 需要修改词频或词性的词 |
| freq=N | 设置词频 | |
| tag=N | 设置词性 | |
| import jieba.analyse | ||
| .extract_tags | 基于TF-IDF算法的关键词抽取 | |
| sentence | 待提取的文本 | |
| topK=20 | 返回多少个TF/IDF权重最大的关键词 | |
| withWeight=F | 是否一并返回关键词权重值(word, weight) | |
| allowPOS=() | 仅包括指定词性的词, 默认不筛选 | |
| withFlag=F | 当 allowPOS不为空,是否返回对象(word, weight),类似posseg.cut | |
最新文章
- Javascript练习
- TCP发消息续传文件
- 两轮自平衡小车双闭环PID控制设计
- The data is said to include information from networks
- 动态调用webservice，不需要添加Web References
- 为什么重写equals方法还要重写hashcode方法？
- 【BZOJ 1053】[HAOI2007]反素数ant
- 李洪强漫谈iOS开发[C语言-027]-自增与自减运算符
- Javascript或jQuery方法产生任意随机整数
- 苹果iOS苹果公司的手机用户都有权索赔
- Java程序输出打字
- mybatis学习一
- C#-之属性（2）
- idea搭建springboot
- 外网访问VMware虚拟机
- Python_每日习题_0005_三数排序
- git-搭建企业git服务器
- 语义SLAM的数据关联和语义定位（一）
- python之函数用法get()
- 转发：RocketMQ与kafka的对比