AI 智能搜索 开源hanlp实现
AI智能搜索
通过网络资源可知有很多种开源方式实现智能搜索,其中hanlp在GitHub中响应居高
参考链接:
Java版:https://github.com/hankcs/HanLP
Python版:https://github.com/hankcs/pyhanlp
https://hanlp.hankcs.com/docs/api/restful_java.html
http://www.hankcs.com/nlp/hanlp.html
https://github.com/hankcs/HanLP/releases
浅谈拙见
Hanlp说明
想要调用hanlp,首先需要有相应jar包,具体下载地址已在参考链接中
其次,hanlp中包含一个配置文件hanlp.properties
如果想进行相似对比,文本推荐等需要hanlp语料库的支持,故还需语料库文件data-for-1.7.5.zip
由于现有需求,需要将jar包转换为dll文件在.net core 文件中引用
转换dll的方法可自行百度,但注意,.net framework 和.net core所需的dll并非是同一种,不然会报错。
稍后我将我转换的dll文件上传,链接后补
https://files.cnblogs.com/files/zwbsoft/hanlp-core-1.8.3.dll.zip?t=1668498093 记得去掉zip后缀
所有准备工作完成,将相当于jvm的文件IKVM.OpenJDK.Core.dll和将jar包解析出来的hanlp-core-1.8.3.dll同时引用到.net core 项目中
具体使用如下,相关使用参考官网文档
本人core程序,实践可行几种方式如下
- nlp分词
static void Main(string[] args)
{
Console.WriteLine("Hello World!");
try
{
java.lang.System.getProperties().setProperty("java.class.path", @"E:\\install\\hanlp");
Console.WriteLine(HanLP.segment("你好,欢迎在CSharp中调用HanLP的API! "));}
catch (Exception ex)
{
Console.WriteLine(ex);
}
}
说明一下“E:\\install\\hanlp”需要把jar包和配置文件,及解压后的data语料库文件夹放在同一目录,该方法其实是通过jvm调用java,使得.net core 能够对其进行方法调用
- 关键字提取
Console.WriteLine(HanLP.extractKeyword("商品和服务",2));
输出结果
- 汉字转拼音
private static void py()
{
string stringpy = "每个青年都应当有远大的抱负";
//var z = HanLP.convertToPinyinString("报复","",true);
//Console.WriteLine(z);
//汉字转拼音搜索
var listpy = HanLP.convertToPinyinList(stringpy);
Console.WriteLine(listpy);
foreach (var item in listpy.toArray())
{
Console.WriteLine(item);
}
var firstpyt = HanLP.convertToPinyinFirstCharString(stringpy, "", true);
Console.WriteLine(firstpyt);
var firstpyf = HanLP.convertToPinyinFirstCharString(stringpy, " ", false);
Console.WriteLine(firstpyf);
//拼音转汉字
String text = "重载不是重任";
java.util.List pinyinList = HanLP.convertToPinyinList(text);
Console.WriteLine("原文,");
foreach (char c in text.ToCharArray())
{
Console.WriteLine("%c,", c);
}
Console.WriteLine();
Console.WriteLine("拼音(数字音调),");
foreach (Pinyin pinyin in pinyinList.toArray())
{
Console.Write("%s,", pinyin);
}
Console.WriteLine();
Console.WriteLine("拼音(符号音调),");
foreach (Pinyin pinyin in pinyinList.toArray())
{
Console.Write("%s,", pinyin.getPinyinWithToneMark());
}
Console.WriteLine();
Console.WriteLine("拼音(无音调),");
foreach (Pinyin pinyin in pinyinList.toArray())
{
Console.WriteLine("%s,", pinyin.getPinyinWithoutTone());
}
Console.WriteLine();
Console.WriteLine("声调,");
foreach (Pinyin pinyin in pinyinList.toArray())
{
Console.Write("%s,", pinyin.getTone());
}
}
- 繁简互转
string fttext = "知識沒有盡頭,就像海沒有邊際";
Console.WriteLine(HanLP.convertToSimplifiedChinese(fttext));
效果如下
- 文本推荐,耗时最长,如有解决,烦请指教(未成功)
文本推荐原理
假设“你爱我们”和“我们爱你”进行相似度计算,计算机会将每一句话的每个词,根据语料库进行计算,算出词向量值,在通过对每个词向量进行累加就变成了句向量,再将两个计算的句向量值,进行cos余弦计算,最终得出相似匹配度
先贴代码后赘述
public static Vector query(string content)
{
if (content == null || content.Length == 0)
{ Console.WriteLine("-------------------");return null; }
//对句子进行分词,我爱你们--->["我"、"爱"、"你们"]
object z = NotionalTokenizer.segment(content);//
java.util.List termList = NotionalTokenizer.segment(content);
Vector result = new Vector(200);
int n = 0;
//WordVectorModel wordVectorModelss = new WordVectorModel("en-vectors.txt");
WordVectorModel wordVectorModelss = new WordVectorModel("E:\\install\\hanlp\\data\\model\\sogouyuliaoku.txt");
foreach (Term term in termList.toArray())
{
//从word2vec词典中查出这个词的 词向量
Vector vector = wordVectorModelss.vector(term.word);
if (vector == null)
{
//如果这是一个oov词,则直接忽略
continue;
}
++n;
//将 句子分词后的每个词 的词向量 相加
result.addToSelf(vector);
}
if (n == 0)
{
Console.WriteLine("-------------------");
return null;
}
//归一化
result.normalize();
//句子--->分词--->查询词向量--->词向量相加作为"句向量"
Console.WriteLine(result);
return result;
}
/**
* 文档相似度计算
* @param what
* @param with
* @return
*/
public static float similarity(string what, string with)
{
//what 文档的 向量
Vector A = query(what);
if (A == null) return -1f;
//to 文档的 向量
Vector B = query(with);
if (B == null) return -1f;
//计算余弦相似度
return A.cosineForUnitVector(B);
}
其他均可运行,但通过java.Util对其进行获取WordVectorModel wordVectorModelss = new WordVectorModel("E:\\install\\hanlp\\data\\model\\sogouyuliaoku.txt");
指定语料库时,报错,报错信息如图
Unable to cast object of type 'java.util.PropertyResourceBundle' to type 'sun.util.resources.OpenListResourceBundle'.
对其无法追究其根本,故从java中进行测试,能获取到文件,但同样会报错
报错信息如下
查询具体报错是,大致意思是说足彩这种从文本中获取的文字数据无法计算词向量,计算出的值为-1就报异常,但其实应该是0-9之间的区间值。
最新文章
- 篇三:访问JSON静态文件
- css3相册图片3D旋转展示特效
- ZeroMQ接口函数之 :zmq_ctx_new – 创建一个新的ZMQ 环境上下文
- Daily Scrum 12.12
- Linux防火墙规则的查看、添加、删除和修改
- Ext4.0 获取选中行及遍历
- 2337:[HNOI2011]XOR和路径 - BZOJ
- Windows下安装破解JIRA6.3.6
- Can't connect to MySQL server on localhost (10061)解决方法
- cookingk配置项中的chunk:true含义
- MVC3.0 提交表单的方法
- Robot Framework selenium2library 常用关键字
- Struts2 文件下载
- C#的Split用法
- 使用Sybmol模块来构建神经网络
- SSM-网站后台管理系统制作(3)---Google的reCaptcha验证码
- MySql使用笔记
- Python+Selenium学习--打印当前页面的title及url
- shiro实战系列(九)之Web
- MySQL 错误1418
热门文章
- 解决多行文本超出显示省略号webpack打包后失效的问题
- 同一个tomcat的项目跳转
- Idea2020.2.3 创建JavaWeb项目(部署Tomcat)方法
- go环境 依赖管理 基本命令
- 2022-05-10内部群每日三题-清辉PMP
- Junit单元测试简单使用
- cenots7 rpm 包升级ssh
- java.lang.UnsatisfiedLinkError:【Linux运行JAVA调用JNA重新,so,SO报错】
- Docker私服(Registry)
- PHP_工厂模式