paip.中文 分词 ---paoding 3.1 的使用
paip.中文 分词 ---paoding 3.1 的使用
作者Attilax 艾龙, EMAIL:1466519819@qq.com
来源:attilax的专栏
地址:http://blog.csdn.net/attilax
paoding 3.1 下载:
http://git.oschina.net/zhzhenqin/paoding-analysis.git
原项目见 https://code.google.com/p/paoding/
设置字典路径
/paodinProj/src/paoding-dic-home.properties 默认不用更改..
/paodinProj/dic
测试代码
*/
public static void main(String[] args) throws IOException {
String text = "我的QQ号码是1466519819";
text="一生当中,真正的朋友只有那么一两个!可以为自己的友情做个加减法!";
Analyzer analyzer = new PaodingAnalyzer();
TokenStream ts = analyzer.tokenStream("text", new StringReader(text));
//添加工具类 注意:以下这些与之前lucene2.x版本不同的地方
CharTermAttribute offAtt = (CharTermAttribute) ts.addAttribute(CharTermAttribute.class);
// 循环打印出分词的结果,及分词出现的位置
while (ts.incrementToken()) {
System.out.print(offAtt.toString() + "\t");
结论:
实现类: PaodingAnalyzer
使用方法: 主要通过lucene的接口实现, Analyser#tokenStream方法
切词效果: 传统/意义/意义上/上的/几何/几何学/研究/图形/形的/形状/大/大小/等/性质
备注: paoding的切词会漏字(食字),上面的结果就食了 ‘在’ 字;
总会进行最小粒度切分,只要在词库里有的词组,都会出现。如:之前-->前/之前
效果不如ik,Ictclas4j
}
}
相关文章
- Microsoft Office 2007 中文专业版密钥
- Adobe Photoshop 2022 v23.5.2 ACR15 中文一键安装版 X64
- Photoshop 2023 for mac中文永久激活版
- 解决Linux系统中文乱码问题(解决linux中文乱码)
- 【25字中文文章标题】 Linux名称排序:一个完整、有序的列表(linux名称排序)
- MySQL中文手册专为中文用户量身定制(.mysql中文手册)
- Oracle中文问号替换技术实践(oracle中文问号替换)
- 名Oracle数据库如何处理中文表名(oracle 中文表)
- JSP中文字符处理代码
- php中强制下载文件的代码(解决了IE下中文文件名乱码问题)
- php和mysql中uft-8中文编码乱码的几种解决办法
- firefox下jQueryUIAutocomplete1.8.*中文输入修正方法
- PHP-redis中文文档介绍
- php截取中文字符串不乱码的方法