集群

健康值的三种状态

Green：所有索引的所有分片均可用 primary 和 replice 均可用。
Yellow 至少有一个 replice不可以用，但是所有的 primary 正常。
Red 至少有一个 primary 不可用。

健康值查询

GET _cat/health?v   # 列表的形式查看

GET _cluster/health # json的格式查看 (推荐使用)

kibana 集群 -> 堆栈监控里可视化查看

健康值查询详情

{

  "cluster_name" : "docker-cluster",   # 集群名称

  "status" : "green",

  "timed_out" : false,

  "number_of_nodes" : 1,               # 总节点数

  "number_of_data_nodes" : 1,          # 存储数据节点

  "active_primary_shards" : 13,        # 总切片数

  "active_shards" : 13,

  "relocating_shards" : 0,

  "initializing_shards" : 0,

  "unassigned_shards" : 0,

  "delayed_unassigned_shards" : 0,

  "number_of_pending_tasks" : 0,

  "number_of_in_flight_fetch" : 0,

  "task_max_waiting_in_queue_millis" : 0,

  "active_shards_percent_as_number" : 100.0

}

全文检索

全文检索，是索引系统通过扫描文章中的每个词，对每个词都建立索引，并指出在文章中出现的次数和位置，当用户查找时，索引系统会根据事先建立的索引进行查找，并将查到的结果反馈给用户的检索方式。

id	title	desc
1	are you kidding ?	你是凯迪吗？
2	No im sure china	不，我是秀儿
3	made in china	麦迪在中国

are you kidding ? No im sure made in china

term index (词项索引)	term dictionary (词项字典)	Posting List (倒排表)
	im	2
	are	1
	china	2,3
	No	2

分词

大颗粒度的分词

GET _analyze

{

  "analyzer": "ik_smart",

  "text": ["我喜欢刘德华的歌"]

}

更小颗粒度的分词

GET _analyze

{

  "analyzer": "ik_max_word",

  "text": ["我喜欢刘德华的歌"]

}

压缩算法

FOR、RoaringBitmap ：倒排表
FST 词项索引，接近于 hash 算法

其他重要概念

节点

一个节点就是一个 es 实例
一个节点并不是一个物理机，但是建议一台机器上安装只启动一个节点
节点的角色分为选举节点、数据节点、冷节点、热节点等。

分片

es7 以后默认只有一个主分片，主分片的数量一旦确认就不能更改。但是副本可以任意修改数量
es 可以自动的进行分片的再平衡
一个 doc 不可能存在于多个主分片中，但是可以存在于多个副本中
每个主分片和其副分片不能存在与同在一个节点上。

索引

查看索引的健康值

GET _cat/indices?v

查看某一个的索引信息

GET kibana_sample_data_logs/_search

删除索引

DELETE /shopping?pretty

映射

映射方式分为两种：

动态映射（自动映射）
静态映射（手动映射）

es 的支持的具体的数据类型，建议去 es 官网查看

数字类型。 long、integer、short、double、float 。
keyworlds: 适合于索引结构化数据，可以应用于过滤、排序、聚合。 keyword 类型的字段只能通过精确值搜索到。索引的 id 应该使用 keyworld 类型。
dates 时间类型。
text: 字段是可以全文检索的、不用于排序，很少用于聚合。text 默认只创建倒排索引，不会创建倒正排索引。
object：创建单个的 JSON 对象
nested: 用于JSON 对象的字符数组。

　为什么不能给 text 类型创建正排索引？是因为加载高基数的 text 的时候，字段索引一旦加载到堆中，就会一直在那里。

默认映射类型

整数：long
浮点：float
true|false boolean
日期：date
数组：取决于数组中的第一个字段
对象：object
字符串：不是数字和日期类型，就会被映射成 text和 keyword 两个类型。

J除上述类型外，其余类型必须显示指名

查看映射

get /product/_mapping

创建 mobile_phone 索引

PUT /mobile_phone

{

  "mappings": {

    "properties": {

      "classify": {

        "properties": {

          "color": {

            "type": "text",

            "fields": {

              "keyword": {

                "type": "keyword",

                "ignore_above": 256

              }

            }

          },

          "memory": {

            "type": "text"

          }

        }

      },

      "des": {

        "type": "text",

        "analyzer": "ik_max_word"

      },

      "isdel":{

        "type": "boolean"

      },

      "name": {

        "type": "text",

        "fields": {

          "keyword": {

            "type": "keyword",

            "ignore_above": 256

          }

        }

      },

      "price": {

        "type": "long"

      },

      "publish_time": {

        "type": "date"

      },

      "tags": {

        "type": "text",

        "fields": {

          "keyword": {

            "type": "keyword",

            "ignore_above": 256

 }}}}}}

创建 person 索引

索引中，height 是不能被检索的

PUT /person

{

  "mappings": {

    "properties": {

      "name": {

        "type": "text",

        "index": true

      },

      "sex": {

        "type": "keyword",

        "index": true

      },

      "height": {

        "type": "long",

        "index": false

      }

    }}}

查询

添加数据

GET shopping/_search

DELETE shopping?pretty

PUT shopping

{

  "mappings": {

    "properties": {

      "name":{

        "type": "text",

        "analyzer": "ik_max_word",

        "fields": {

          "keyword":{

             "type": "keyword",

            "ignore_above": 256

          }

        }

      },

      "category":{

        "type": "keyword"

      },

      "price":{

        "type": "double"

      }

    }

  }

}

POST shopping/_doc/1

{

  "name":"小米 12s pro",

  "category":"手机",

  "price":"5399.00"

}

POST shopping/_doc/2

{

  "name":"小米 12x",

  "category":"手机",

  "price":"2869.00"

}

POST shopping/_doc/3

{

  "name":"红米 Note11",

  "category":"手机",

  "price":"1199.00"

}

POST shopping/_doc/4

{

  "name":"红米 K40s",

  "category":"手机",

  "price":"2149.00"

}

POST shopping/_doc/5

{

  "name":"红米 buds4",

  "category":"耳机",

  "price":"199.00"

}

POST shopping/_doc/6

{

  "name":"红米 buds3",

  "category":"耳机",

  "price":"169.00"

}

POST shopping/_doc/7

{

  "name":"华为 Mate 50 Pro",

  "category":"手机",

  "price":"7799.00"

}

POST shopping/_doc/8

{

  "name":"华为HUAWEI FreeBuds 4E",

  "category":"耳机",

  "price":"579.00"

}

POST shopping/_doc/9

{

  "name":"华为HUAWEI FreeLace Pro",

  "category":"耳机",

  "price":"399.00"

}

更改数据

将华为手机的价格改为 5499

POST /shopping/_update/Wu_7y4AB4H2nHiu3of8g

{

  "doc":{

    "price":5499

  }

}

简单查询

match_all: 没有任何查询条件。
match：匹配查询，会将查询条件进行分词，多个分词查询以后是 or 的关系。
multi_match：与match类似，不同的是可以在多个字段中查询
term：精确匹配，不会对查询条件进行分词
terms：支持多个关键字精确查询
range：范围查询
match_phrase： 1.查询条件分词后都必须匹配，类似match中的operator=and；2.文档匹配的顺序必须与查询条件分词匹配后一致

详细参考:https://blog.csdn.net/LeoHan163/article/details/126433158

查询示例

# 查询所有数据，默认最多10个。

GET shopping/_search

{

  "query": {

    "match_all": {}

  }

}

# match 会将查询条件分词。然后进行查询;而且不的词之间是 or 的关系

GET shopping/_search

{

  "query": {

    "match": {

      "name": "华为小米"

 }}}

# 查询条件分词，但是存储数据不分词。

GET shopping/_search

{

  "query": {

    "match": {

      "name.keyword": "小米 12x"

  }}}

# 多字段查找；多个字段是 and的关系

GET shopping/_search

{

  "query": {

    "multi_match": {

      "query": "华为手机",

      "fields": ["name","category"]

 }}}

# term 精确匹配

GET shopping/_search

{

  "query": {

    "term": {

      "name": {

        "value": "小米"

 }}}}

# match_phrase

GET shopping/_search

{

  "query": {

    "match_phrase": {

      "name": "小米"

 }}}

# terms 的多字段查询

GET shopping/_search

{

  "query": {

    "terms": {

      "name": [

        "小米",

        "华为"

 ]}}}

# 查询价格在 1000 到 2000 之间的。

GET shopping/_search

{

  "query": {

    "range": {

      "price": {

        "gte": 1000,

        "lte": 2000

  }}}}

对搜索结果,数量进行限制，只取两个

GET shopping/_search

{

  "query": {

    "match": {

      "name": "手机"

    }

  },

  "from": 1,

  "size": 2

}

对查询结果限制、排序

# 只想取某一个字段

GET shopping/_search

{

  "query": {

    "match_all": {}

  }

  , "_source": ["name"]

}

# 对查询结果数量限制

GET shopping/_search

{

  "query": {

    "match_all": {}

  },

  "from": 1,

  "size": 2

}

# 对价格进行排序

GET shopping/_search

{

  "query": {

    "match_all": {}

  },

  "sort": [

    {

      "price": {

        "order": "desc"

      }

    }

  ]

}

范围查找；搜索价格从 100 到 1000 之间的电子产品

GET shopping/_search

{

 "query": {

   "bool": {

     "filter": {

       "range": {

         "price": {

           "gte": 100,

           "lte": 1000

         }

}}}}}

# 对于时间格式的查询

GET website/_search

{

    "query": {

        "range": {

            "post_date": {

                "gte": "2/1/2018",

                "lte": "2019",

                "format": "dd/MM/yyyy||yyyy"

}}}}

bool 查询

must 必须满足的条件，会计算评分
must not 必须不满足，不会计算评分
should 满不满足无所谓，但会计算评分
filter 必须满足条件，但是不会计算评分

bool 查询示例

# 查看属于手机，但不是小米的数据

GET shopping/_search

{

  "query": {

    "bool": {

      "filter": [

        {"term": {

          "category": "手机"

        }}

      ],

      "must_not": [

        {

          "match": {

            "name": "小米"

}}]}}}

对查询结果高亮显示

GET shopping/_search

{

  "query": {

    "match": {

      "name": "华为手机"

    }

  },

  "highlight": {

    "fields": {

      "name":{}

  }}

}

聚合

es 的聚合查询流程，一般分为两步

分组
组内聚合

聚合索引的示例

GET shopping/_search

{

  "size": 0,  //不需要返回数据

  "aggs": {

    "iphone-sum": { //给聚合索引起个名，手机总价

      "sum": {

        "field": "price" //计算总价

      }

    },

    "iphone-min":{

      "min": {

        "field": "price"

      }

    },

    "iphone-max":{

      "max": {

        "field": "price"

}}}}

GET shopping/_search

{

    "size": 0,

    "aggs": {

        "group-category": {  // 先给桶聚合起个名

            "terms": {

                "field": "category", // 选择分桶的字段

                "size": 10,   // 最多显示多少条

                "order": {

                    "_count": "desc" //根据每个桶内样例个数正排

                }

            },

            "aggs": {

                "avg-price": {   // 每个桶内继续子聚合

                    "avg": {

                        "field": "price"

                    }

                },

                "hits": {

                    "top_hits": {   // 每个桶内，显示一个样例数据

                        "size": 1,

                        "_source": [

                            "src_ip",

                            "user_id"

                                  ]

}}}}}}

巴特西

ES 基础操作

集群