Python elasticsearch 使用心得
2024-09-08 18:01:04
一、配置
python == 3.6/3.8
# 更高版本的elasticsearch会出现doc_type被统一成_doc导致旧版语句报错的情况
pip install elasticsearch==7.8.0
二、连接es
from elasticsearch import Elasticsearch
es = Elasticsearch('ip:port')
三、查看索引是否存在，删除索引
# 浏览器查看索引
# ip:路由地址；port:运行端口(默认9200)；index_name:要查看
# 查看所有索引
http://ip:port/_cat/indices?v&pretty
# 查看单个索引
http://ip:port/index_name/_settings?pretty
# 查看单个索引的数据结构
http://ip:port/index_name/?pretty
# python查看elasticsearch是否存在
# es.indices.exists(index="index_name")
# 删除索引
# es.indices.delete(index='index_name', ignore=[400, 404])
三、创建索引与映射
# 索引参数设置
# 索引的静态参数一旦被设置，不能改变;动态参数可以改变
def create_index(es, index_name):
settings = {
'settings':
{
"number_of_shards": 5, # 设置主索引的主分片数，静态参数
"number_of_replicas": 0, # 设置主索引的副本数，动态参数
"max_result_window": 10000000, # 设置一次检索最大返回数量
"track_total_hits": True, # 使最大返回设置生效的参数
}
}
if es.indices.exists(index_name):
print(u"%s 已存在" % index_name)
else:
es.indices.create(index=index_name, body=settings)
print(index_name + "索引创建成功")
res = es.indices.create(index='index_name', ignore=400)
print(res)
# 创建映射(索引内每一个字段的设置)
"""
分词器主要有两种情况会被使用：
第一种是插入文档时，将text类型的字段做分词然后插入倒排索引，对应analyzer
第二种就是在查询时，先对要查询的text类型的输入做分词，再去倒排索引搜索，对应search_analyzer
如果想要让 索引 和 查询 时使用不同的分词器，ElasticSearch也是能支持的，只需要在字段上加上search_analyzer参数
在索引时，只会去看字段有没有定义analyzer，有定义的话就用定义的，没定义就用ES预设的
在查询时，会先去看字段有没有定义search_analyzer，如果没有定义，就去看有没有analyzer，再没有定义，才会去使用ES预设的
"""
mapping = {
'properties': {
# 简单设置
'title': {
'type': 'string',
'analyzer': 'jieba',
},
# 较复杂的设置
'content': {
'include_in_all': True, # 控制_all查询时是否需要查询该字段，默认True，若是false将不会被_all查询
'analyzer': 'jieba', # 查询和索引统一的分词器
# 'searchAnalyzer': 'jieba', # 单独设置查询分词器
'index': "analyzed", # 控制字段怎样建索引或查询。no不能被查询；not_analyzed只存储原始值，不分词；analyzed分词存储
'boost': 2, # 控制该字段的查询权重，大于1会增加相对权重
'term_vector': 'with_positions_offsets', # 存储完整的term vector信息，包括field terms、position、offset
'type': 'string', # 旧版支持。从ElasticSearch 5.x开始不再支持string，由text和keyword类型替代。
},
}
}
# 设置mapping信息：可以指定字段的类型、是否进行分词、默认值、是否被索引
# 分词器analyzer和搜索分词器search_analyzer。ik_max_word为默认的英文分词器,jieba等其他分词器需要额外安装。
result = es.indices.put_mapping(index='index_name', doc_type='doc', body=mapping)
print(result)
四、查询索引
1、match_all查询所有
body = {
"query": {
"match_all": {},
},
"size": 50, # size不设置会默认返回5条
}
result = es.search(index='index_name', doc_type='doc_type', body=body)
2、分词相关查询
| 关键词 | keyword类型 | text类型 | 是否支持分词 |
|---|---|---|---|
| term | 完全匹配 | 查询条件中关键词不会被分词，它必须整个关键词和document中的某个分词匹配，才能搜索到，多个分词时必须连续，顺序不能颠倒。 | 是 |
| match | 完全匹配 | match分词结果和text的分词结果有相同的即可 | 否 |
| match_phrase | 完全匹配 | match_phrase的分词结果必须在text字段分词中都包含，而且顺序必须相同，而且必须都是连续的。 | 是 |
| query_string | 完全匹配 | query_string中和match_string基本一样，区别是它不考虑顺序 | 是 |
# term是代表完全匹配，即不进行分词器分析，文档中必须包含整个搜索的词汇
body = {
"query": {
"term": {
"content": "汽车保养"
"from": 1, # 从第几个开始返回
"size": 30, # 一次返回多少个
}
}
}
# match 分词,部分匹配查询，包含文本分词后的一个或多个词即符合条件
body = {
"query": {
"match": {"title": "宝马法拉利兰博基尼"},
},
}
# match_phrase 分词,完全匹配查询，包含文本分词后的所有词才符合条件，且匹配词的顺序必须完全按照分词前的顺序
# 例如分词后为宝马、法拉利、兰博基尼，匹配顺序宝马必须在法拉利之前，法拉利必须在兰博基尼之前
body = {
"query": {
"match_phrase": {"title": "宝马法拉利兰博基尼"},
},
}
# query_string,分词，不考虑顺序
body = {
"query": {
"query_string": {
"fields": ["title", "content"],
"query": text,
}
}
}
3、bool组合查询
"""
bool能将多个简单查询组合起来。
使用 must、should、must_not、filter 选项来表示简单查询之间的逻辑，每个选项都可以出现 0 次到多次。
must：文档必须匹配，该选项下的查询条件，相当于逻辑运算的 AND，且参与文档相关度的评分。
should：文档可以匹配 should 选项下的查询条件也可以不匹配，相当于逻辑运算的 OR，且参与文档相关度的评分。
must_not：与 must 相反，匹配该选项下的查询条件的文档不会被返回；需要注意的是，must_not 语句不会影响评分，它的作用只是将不相关的文档排除。
filter：和 must 一样，匹配 filter 选项下的查询条件的文档才会被返回，但是 filter 不评分，只起到过滤功能，与 must_not 相反。
"""
# 例子
{
"query": {
"bool": {
"filter": {
"term": { "status": 1 } # 必须status为1，但是不评分
},
"must_not": {
"range": { "price": { "gte": 70 } } # print必须不大于等于70
},
"must": {
"match": { "title": "java" } # 必须模糊匹配标题title包含java的内容
},
"should": [
{
"match": { "description": "虚拟机" } # 如果description包含虚拟机也匹配
},
{
"match": { "content": "计算公式" } # 如果content包含计算公式也匹配
}
]
}
}
}
"""
控制精度
must 语句必须匹配，但有多少 should 语句应该匹配呢？默认情况下，没有 should 语句是必须匹配的，只有一个例外，那就是当没有 must 语句的时候，至少有一个 should 语句必须匹配。
此外可以通过 minimum_should_match 参数控制需要匹配的 should 语句的数
计算规则
bool 查询采用“匹配越多越好（more_matches_is_better）”的机制，因此满足 must 和 should 子句的文档将会合并起来计算分值。
在 filter 子句查询中，分值将会都返回 0。
must_not 子句并不影响得分，它们存在的意义是排除已经被包含的文档。
如上所述，bool 查询的计算得分主要是 must 和 should 子句，它们的计算规则是，把所有符合 must 和 should 的子句得分加起来，然后乘以匹配子句的数量，再除以子句的总数。
"""
# 个人方法记录:
def diffWordOrQuery(field, size, texts, boolnext=[], boolnext2=[]):
"""
作用: 构建bool查询query查询体
field:str.要检索的字段
size:int.单次检索要返回的数量
texts:list.对检索文本进行分词后的词列表
boolnext:list.bool的下一级key,对每个texts要采取的匹配策略
boolnext2:list.bool的下下一级key，对应match、term、range
"""
if len(boolnext) < len(texts):
for i in range(len(texts) - len(boolnext)):
boolnext.append("should")
if len(boolnext2) < len(texts):
for i in range(len(texts) - len(boolnext2)):
boolnext2.append("should")
body = {
"query": {
"bool": {
},
},
"size": size,
}
for i, text in enumerate(texts):
if text == " ":
continue
method = boolnext[i]
method2 = boolnext2[i]
sonlst = body["query"]["bool"].get(method, None)
if not sonlst:
body["query"]["bool"][method] = {method2: {field: text}}
else:
son = body["query"]["bool"][method]
if type(son) == dict:
for key1, value1 in son.items():
for key2, value2 in value1.items():
body["query"]["bool"][method] = [{key1: {key2: value2}}, {method2: {field: text}}]
else:
son.append({method2: {field: text}})
return body
texts = ["阅读", "语文", "英语", "数学", "政治"]
boolnext = ["must", "must_not", "must"]
boolnext2 = ["term", "match"]
body = diffWordOrQuery("title", 50, texts, boolnext, boolnext2)
print(body)
最新文章
- linux小技巧
- 省市联动sql脚本
- Stanford CS1 Compilers PA2J notes
- [No000060]冷读热读：读书九问
- scanf函数与输入缓冲区
- 六个字符，带你领略JavaScript （js的艺术编写）
- 浅析十三种常用的数据挖掘的技术&五个免费开源的数据挖掘软件
- HDU 3336 Count the string（KMP的Next数组应用+DP）
- source insight项目文件列表固定嵌入右侧
- centos 使用mutt 命令发送邮件，随笔非教程
- JAVA实现上传下载共享文件
- poj 3154 Graveyard 贪心
- Android进阶(二十一)创建Android虚拟机
- 在Ubuntu/CentOS/Debian系统下，使用CPU挖Monero (XMR)币
- 【转】完美解决Python与anaconda之间的冲突问题
- Springboot集成ES启动报错
- js 零散知识总结
- windows安装anaconda 报错failed to create anacoda menu ？
- 课程设计个人报告——基于ARM实验箱的Android交友软件的设计与实现
- 关于"架构"