Lucene的初步了解和学习
Lucene的学习
一,什么是全文检索
1.数据的分类
1.结构化数据
格式固定,长度固定,数据类型固定。
例如:数据库中的数据;
2.非结构化数据
word文档,pdf文档,邮件,html,txt
格式不固定,长度不固定,数据类型也不固定
2.数据的查询
1,结构化数据的查询
Sql语句,查询结构化数据的方法。简单,速度快。
2.非结构化数据的查询
例如:从文本文件中找出包含spring的单词的文件
1.目测
2.使用程序代码来实现,把文件读取到内存中,匹配字符串,顺序扫描。
3.把结构化数据变成结构化数据
(先根据空格进行字符串拆分,得到一个单词列表,基于单词列表创建一个索引 )
索引:一个为了提高查询速度,创建某种数据结构的集合
然后 查询索引,根据单词和文档对应关系找到文档列表,这个过程就叫全文检索
3.全文检索
先创建索引,然后查询索引的过程,就叫做全文检索。(创建索引时间较长,但是一次创建可以多次使用,平均每次查询的速度就提高了速度)
二,全文搜索的应用场景
1,搜索引擎
百度,360搜索,谷歌,搜狗
2,站内搜索
论坛搜索,微博搜索,文章搜索
3,电商搜索
淘宝搜索,京东搜索
4,只要是有搜索的地方,就可以使用到全文检索技术
三,什么是Lucene
Lucene是一个基于java开发的全文检索工具包,java开发中Lucene首选。
四,Lucene实现全文检索的流程。
1,创建索引
1)获得文档
原始文档:要基于那些数据来进行搜索,那么这些数据就是原始文档
搜索引擎:使用爬虫获得原始文档
站内搜索:数据库中的数据。使用jdbc到数据库中取
案列:直接使用io流读取磁盘上的文件。
2)构建文档对象
对应每个原始文档,来创建Document对象。
每个Document对象中包含多个域(Field)
域中保持原始文档的数据。
域的名称;域的值;
每个文档都有一个文档的编号,就是文档id
3)分析文档
就是分词的过程
1.根据空格进行拆分,得到一个单词列表
2.把单词统一转化成大写或者小写
3.去掉标点符号
4.去掉停用词(停用词:无意义的词;如:and)
每个关键词都封装成一个Term对象中,Term中包含两部分内容:关键词包含的域;关键词本身;(不同的域中拆分出来的关键词是不同的Term)
4)创建索引
基于关键词列表来创建一个索引,保存到磁盘中,保存到索引库中。
索引库中包含:
索引
Document对象
关键词和文档的对应关系
通过词语找文档,这种索引的结构就叫倒排索引结构
2,查询索引
1)用户查询接口
用户输入查询条件的地方
例如:百度的搜索框
2)把关键词封装成一个查询对象
要查询的域
要搜索的关键词
3)执行查询
根据要查询的关键词到对应的域中进行搜索
找到关键词,根据关键词来找到对应的文档
4)渲染结果
根据文档的id找到文档的对象
对关键词进行高亮显示
分页显示
最终展示出给用户展示
五,入门程序
1,创建索引
环境:
需要下载Lucene
http://lucene.apache.org/
目前的版本lucene-7.4.0
最低要求jdk1.8版本
工程搭建:
创建一个java工程
添加jar:
lucene-analyzers-common-7.4.0.jar
lucene-cone-7.4.0.jar
commons-io.jar
步骤:
1,创建一个Directory对象,指定索引保存的位置
2,基于一个IndexReader对象
3,读取磁盘上的文件,对应每个文件创建一个文档对象
4,向文档对象中添加域
5,把文档对象写入索引库
6,关闭indexWriter对象
public void createIndex() throws Exception {
//1、创建一个Director对象,指定索引库保存的位置。
//把索引库保存在内存中
//Directory directory = new RAMDirectory();
//把索引库保存在磁盘
Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
//2、基于Directory对象创建一个IndexWriter对象
IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
IndexWriter indexWriter = new IndexWriter(directory, config);
//3、读取磁盘上的文件,对应每个文件创建一个文档对象。
File dir = new File("C:\\A0.lucene2018\\05.参考资料\\searchsource");
File[] files = dir.listFiles();
for (File f :files) {
//取文件名
String fileName = f.getName();
//文件的路径
String filePath = f.getPath();
//文件的内容
String fileContent = FileUtils.readFileToString(f, "utf-8");
//文件的大小
long fileSize = FileUtils.sizeOf(f);
//创建Field
//参数1:域的名称,参数2:域的内容,参数3:是否存储
Field fieldName = new TextField("name", fileName, Field.Store.YES);
//Field fieldPath = new TextField("path", filePath, Field.Store.YES);
Field fieldPath = new StoredField("path", filePath);
Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
//Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
Field fieldSizeValue = new LongPoint("size", fileSize);
Field fieldSizeStore = new StoredField("size", fileSize);
//创建文档对象
Document document = new Document();
//向文档对象中添加域
document.add(fieldName);
document.add(fieldPath);
document.add(fieldContent);
//document.add(fieldSize);
document.add(fieldSizeValue);
document.add(fieldSizeStore);
//5、把文档对象写入索引库
indexWriter.addDocument(document);
}
//6、关闭indexwriter对象
indexWriter.close();
}
2,使用luke查看索引库中的内容(luke的使用对jdk版本有要求)
版本:luke-7.4.0(要求版本在jdk1.9)
3,查询索引库
步骤:
1,创建一个Directory对象,指定索引库的位置
2,创建一个IndexReader
3,创建一个IndexSearcher对象,构造方法中的参数indexReader对象
4,一个Query对象,TremQuery对象
5,执行查询,得到一个TopDocs对象
6,取查询结果的总记录数
7,取文档列表
8,打印文档中的内容
9,关闭IndexReader对象
public void searchIndex() throws Exception {
//1、创建一个Director对象,指定索引库的位置
Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
//2、创建一个IndexReader对象
IndexReader indexReader = DirectoryReader.open(directory);
//3、创建一个IndexSearcher对象,构造方法中的参数indexReader对象。
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//4、创建一个Query对象,TermQuery
Query query = new TermQuery(new Term("name", "spring"));
//5、执行查询,得到一个TopDocs对象
//参数1:查询对象 参数2:查询结果返回的最大记录数
TopDocs topDocs = indexSearcher.search(query, 10);
//6、取查询结果的总记录数
System.out.println("查询总记录数:" + topDocs.totalHits);
//7、取文档列表
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
//8、打印文档中的内容
for (ScoreDoc doc : scoreDocs) {
//取文档id
int docId = doc.doc;
//根据id取文档对象
Document document = indexSearcher.doc(docId);
System.out.println(document.get("name"));
System.out.println(document.get("path"));
System.out.println(document.get("size"));
//System.out.println(document.get("content"));
System.out.println("-----------------寂寞的分割线");
}
//9、关闭IndexReader对象
indexReader.close();
}
六,分析器
默认使用的是标准分析器StandardAnalyzer
1,查看分析器的分析效果
使用Analyzer对象的tokenS他ream方法返回一个TokenStream对象,词对象包含最终分词结果
实现步骤:
1)创建一个Analyzer对象,StandrdAnalyzer对象
2)使用分析器对象的tokenStream方法获取一个TokenStream对象
3)向TokenStream对象中设置一个引用,相当于设置一个指针
4)调用TokenStream对象中的rest方法,如果不调用抛异常
5)使用while循环遍历TokenStream对象
6)关闭TokenStream对象
public void testTokenStream() throws Exception {
//1)创建一个Analyzer对象,StandardAnalyzer对象
// Analyzer analyzer = new StandardAnalyzer();
Analyzer analyzer = new IKAnalyzer();
//2)使用分析器对象的tokenStream方法获得一个TokenStream对象
TokenStream tokenStream = analyzer.tokenStream("", "公安局Lucene是一款高性能的、可扩展的信息检索(IR)工具库。信息检索是指文档搜索、文档内信息搜索或者文档相关的元数据搜索等操作。");
//3)向TokenStream对象中设置一个引用,相当于数一个指针
CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
//4)调用TokenStream对象的rest方法。如果不调用抛异常
tokenStream.reset();
//5)使用while循环遍历TokenStream对象
while(tokenStream.incrementToken()) {
System.out.println(charTermAttribute.toString());
}
//6)关闭TokenStream对象
tokenStream.close();
}
2,IKAnalyze的使用方法
1)把IKAnalyze的jar包添加到工程中去
2)把配置文件和扩展词典添加到工程的classpath下
注意:扩展词典严禁使用windows记事本编辑,必须扩展词典的编码格式是utf-8
扩展词典:添加一些新词
停用词词典:无意义的词或者敏感词汇
public void createIndex() throws Exception {
//1、创建一个Director对象,指定索引库保存的位置。
//把索引库保存在内存中
//Directory directory = new RAMDirectory();
//把索引库保存在磁盘
Directory directory = FSDirectory.open(new File("C:\\temp\\index").toPath());
//2、基于Directory对象创建一个IndexWriter对象
IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());
IndexWriter indexWriter = new IndexWriter(directory, config);
//3、读取磁盘上的文件,对应每个文件创建一个文档对象。
File dir = new File("C:\\A0.lucene2018\\05.参考资料\\searchsource");
File[] files = dir.listFiles();
for (File f : files) {
//取文件名
String fileName = f.getName();
//文件的路径
String filePath = f.getPath();
//文件的内容
String fileContent = FileUtils.readFileToString(f, "utf-8");
//文件的大小
long fileSize = FileUtils.sizeOf(f);
//创建Field
//参数1:域的名称,参数2:域的内容,参数3:是否存储
Field fieldName = new TextField("name", fileName, Field.Store.YES);
//Field fieldPath = new TextField("path", filePath, Field.Store.YES);
Field fieldPath = new StoredField("path", filePath);
Field fieldContent = new TextField("content", fileContent, Field.Store.YES);
//Field fieldSize = new TextField("size", fileSize + "", Field.Store.YES);
Field fieldSizeValue = new LongPoint("size", fileSize);
Field fieldSizeStore = new StoredField("size", fileSize);
//创建文档对象
Document document = new Document();
//向文档对象中添加域
document.add(fieldName);
document.add(fieldPath);
document.add(fieldContent);
//document.add(fieldSize);
document.add(fieldSizeValue);
document.add(fieldSizeStore);
//5、把文档对象写入索引库
indexWriter.addDocument(document);
}
//6、关闭indexwriter对象
indexWriter.close();
}
七,索引库的维护
1,添加文档
private IndexWriter indexWriter; @Before
public void init() throws Exception {
//创建一个IndexWriter对象,需要使用IKAnalyzer作为分析器
indexWriter =
new IndexWriter(FSDirectory.open(new File("C:\\temp\\index").toPath()),
new IndexWriterConfig(new IKAnalyzer()));
} @Test
public void addDocument() throws Exception {
//创建一个IndexWriter对象,需要使用IKAnalyzer作为分析器
IndexWriter indexWriter =
new IndexWriter(FSDirectory.open(new File("C:\\temp\\index").toPath()),
new IndexWriterConfig(new IKAnalyzer()));
//创建一个Document对象
Document document = new Document();
//向document对象中添加域
document.add(new TextField("name", "新添加的文件", Field.Store.YES));
document.add(new TextField("content", "新添加的文件内容", Field.Store.NO));
document.add(new StoredField("path", "c:/temp/helo"));
// 把文档写入索引库
indexWriter.addDocument(document);
//关闭索引库
indexWriter.close();
} @Test
public void deleteAllDocument() throws Exception {
//删除全部文档
indexWriter.deleteAll();
//关闭索引库
indexWriter.close();
} @Test
public void deleteDocumentByQuery() throws Exception {
indexWriter.deleteDocuments(new Term("name", "apache"));
indexWriter.close();
}
2,删除文档
1)删除全部
@Test
public void deleteAllDocument() throws Exception {
//删除全部文档
indexWriter.deleteAll();
//关闭索引库
indexWriter.close();
}
2)根据查询,关键词删除文档
@Test
public void deleteDocumentByQuery() throws Exception {
indexWriter.deleteDocuments(new Term("name", "apache"));
indexWriter.close();
}
3,修改文档
修改的原理是先删除后添加
@Test
public void updateDocument() throws Exception {
//创建一个新的文档对象
Document document = new Document();
//向文档对象中添加域
document.add(new TextField("name", "更新之后的文档", Field.Store.YES));
document.add(new TextField("name1", "更新之后的文档2", Field.Store.YES));
document.add(new TextField("name2", "更新之后的文档3", Field.Store.YES));
//更新操作
indexWriter.updateDocument(new Term("name", "spring"), document);
//关闭索引库
indexWriter.close();
}
八,索引库查询
1,使用Query的子类
1)TermQuery
根据关键词进行查询
需要指定查询的域以及要查询的关键字
2)RangeQuery
范围查询
private IndexReader indexReader;
private IndexSearcher indexSearcher;
@Before
public void init() throws Exception {
indexReader = DirectoryReader.open(FSDirectory.open(new File("C:\\temp\\index").toPath()));
indexSearcher = new IndexSearcher(indexReader);
} @Test
public void testRangeQuery() throws Exception {
//创建一个Query对象
Query query = LongPoint.newRangeQuery("size", 0l, 100l);
printResult(query);
} private void printResult(Query query) throws Exception {
//执行查询
TopDocs topDocs = indexSearcher.search(query, 10);
System.out.println("总记录数:" + topDocs.totalHits);
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
for (ScoreDoc doc:scoreDocs){
//取文档id
int docId = doc.doc;
//根据id取文档对象
Document document = indexSearcher.doc(docId);
System.out.println(document.get("name"));
System.out.println(document.get("path"));
System.out.println(document.get("size"));
//System.out.println(document.get("content"));
System.out.println("-----------------寂寞的分割线");
}
indexReader.close();
}
2,使用QueryPaser进行查询
可以要对查询的内容先分词,然后基于分词的结果进行扫描
添加一个jar包
luncene-queryparser-7.4.0.jar
@Test
public void testQueryParser() throws Exception {
//创建一个QueryPaser对象,两个参数
QueryParser queryParser = new QueryParser("name", new IKAnalyzer());
//参数1:默认搜索域,参数2:分析器对象
//使用QueryPaser对象创建一个Query对象
Query query = queryParser.parse("lucene是一个Java开发的全文检索工具包");
//执行查询
printResult(query);
}
最新文章
- Hello Spring Framework——源(Resources)
- Android课程---Android ImageView的scaleType属性与adjustViewBounds属性(转)
- Linux 批量替换文件名
- React对话框组件实现
- js:语言精髓笔记2--表达式
- 性能tips
- .Net面試題
- devm_kzalloc and kmalloc
- Google map v3 using simple tool file google.map.util.js v 1.2
- stackoverflow,stackexchange,zhihu,ilewen,segmentfault,answerhub,question2answer,,
- Sereja and Bottles
- jae.jd
- java 格式化输出方法
- Mditor 发布「桌面版」了 - http://mditor.com
- NodeJs系列一:神奇的nodejs
- Java AOP (1) compile time weaving 【Java 切面编程 (1) 编译期织入】
- pylot网站压力测试
- .NET Core GC 的设计
- 数值计算 的bug:(理论)数学上等价,实际运行未必等价
- 20155206 2016-2017-2 《Java程序设计》第6周学习总结