paip.中文分词 ---paoding 3.1 的使用

作者Attilax 艾龙， EMAIL:1466519819@qq.com

来源：attilax的专栏

地址：http://blog.csdn.net/attilax

paoding 3.1 下载:

Paoding分词器基于Lucene4.x

设置字典路径

/paodinProj/src/paoding-dic-home.properties 默认不用更改..

/paodinProj/dic

public static void main(String[] args) throws IOException {

String text = "我的QQ号码是1466519819";

text="一生当中，真正的朋友只有那么一两个！可以为自己的友情做个加减法！";

Analyzer analyzer = new PaodingAnalyzer();

TokenStream ts = analyzer.tokenStream("text", new StringReader(text));

//添加工具类注意：以下这些与之前lucene2.x版本不同的地方

CharTermAttribute offAtt = (CharTermAttribute) ts.addAttribute(CharTermAttribute.class);

// 循环打印出分词的结果，及分词出现的位置

while (ts.incrementToken()) {

System.out.print(offAtt.toString() + "\t");

实现类： PaodingAnalyzer

使用方法：主要通过lucene的接口实现, Analyser#tokenStream方法

切词效果：传统/意义/意义上/上的/几何/几何学/研究/图形/形的/形状/大/大小/等/性质

备注： paoding的切词会漏字（食字），上面的结果就食了 ‘在’ 字；

总会进行最小粒度切分，只要在词库里有的词组，都会出现。如：之前-->前/之前

效果不如ik,Ictclas4j

}