jieba（结巴）—— Python 中文分词
2024-10-02 01:17:02
学术界著名的分词器：
- 中科院的 ICTCLAS，代码并不十分好读
- 哈工大的 ltp，
- 东北大学的 NIU Parser，
另外，中文 NLP 和英文 NLP 不太一致的地方还在于，中文首先需要分词，针对中文的分词问题，有两种基本的解决思路：
- 启发式（Heuristic）：查字典
- 机器学习/统计方法：HMM、CRF
jieba 分词是python写成的一个算是工业界的分词开源库，其 github 地址为：https://github.com/fxsjy/jieba
jieba 分词虽然效果上不如 ICTCLAS 和 ltp，但是胜在 python 编写，代码清晰，扩展性好，对 jieba 有改进的想法可以很容易的自己写代码进行魔改。
0. install
有两种方式：
- 进入 cmd：
pip install jiebe - 在 https://pypi.python.org/pypi/jieba/，下载 jieba-0.38.zip
- 解压后，执行
python setup.py install
- 解压后，执行
1. jieba 的特色
- 支持三种分词模式：
- 精确模式，试图将句子最精确地切开，适合文本分析；
- 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
- 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
- 支持繁体分词
- 支持自定义词典
- MIT 授权协议
2.
最新文章
- 1.初始Windows Server 2012 R2 Hyper-V + 系统安装详细
- 【IDEA 2016】intellij idea tomcat jsp 热部署
- HttpClient (POST GET PUT)请求
- Asp.net MVC 路由基础
- @ModelAttribute 注解及 POJO入参过程
- NLS_LANG参数说明
- sizeof运算符来获取各种数据类型在内存中所占字节数--gyy整理
- adb getprop setprop watchprop用法
- [原理][来源解析]spring于@Transactional,Propagation.SUPPORTS,以及 Hibernate Session,以及jdbc Connection关联
- 关于中文乱码的解决方法（URL方式）
- 读取cc2530节点的设备类型、协调器、路由器、终端。
- 【python学习笔记】5.条件、循环和其他语句
- Lastpass——密码管理工具
- 如何在Git中撤销一切 | 干货
- python学习日记（OOP——@property）
- python 之 configparser 模块
- android recovery升级过程中掉电处理
- [Umbraco] 自定义DataType中Data Editor Setting Type
- 手机wap适配
- OGG_GoldenGate安装和环境搭建（案例）