【Prometheus】第三篇：配置alertmamager

监控系统中非常重要的一环，就是告警，系统得在故障发生的第一时间将事件发送出来，通知干系人，prometheus提供了alertmanager来实现这个功能。

第一步：prometheus.yml配置文件，配置alertmanager地址

第二步：编写触发器，也就是在什么情况下产生告警。

Prometheus.yml填写触发器配置文件路径

alert_rule.yml内容

groups:

- name: node

  rules:

  - alert: node_cpu>80%

    expr: (1-rate(node_cpu_seconds_total{mode="idle"}[1m]))*100 > 80

    labels:

      severity: 3

  - alert: node_mem_availble<%

    expr: node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes*100 < 20

    labels:

      severity: 3

  - alert: node_cpu_load>10

    expr: node_load1 > 10

    labels:

      severity: 3

  - alert: node_disk<%

    expr: node_filesystem_avail_bytes{device!='nsfs'}/node_filesystem_size_bytes{device!='nsfs'}*100 < 20

    labels:

      severity: 3

- name: docker

  rules:

  - alert: docker_cpu>50%

    expr: rate(container_cpu_usage_seconds_total{image!=''}[1m])*100 > 50

    labels:

      severity: 3

  - alert: docker_restarted

    expr: changes(container_start_time_seconds[1m]) != 0

    labels:

      severity: 4

其中expr就是产生告警的条件，即当这个语句条件成立时，触发告警，下面的labels是告警内容中的标签，这里添加了一个标签，即告警等级severity，可以自定义1-5，来区分不同级别的告警。

第三步：产生的告警怎么处理，是发消息？发送给谁？通过什么发送？都是在这里配置。alertmanager.yml配置文件

内容如下：

global:

  resolve_timeout: 5m

route:

  group_by: ['alertname']

  group_wait: 10s

  group_interval: 10s

  repeat_interval: 1h

  receiver: 'wechat'

  routes:

    - match_re:

        severity: 1|2|3|4|5

      receiver: 'wechat'

      continue: true

    - match:

        severity: 5

      receiver: 'message'

      continue: true

    - match:

        severity: 5

      receiver: 'call'

      continue: true

receivers:

- name: 'wechat'

  webhook_configs:

  - url: 'http://localhost/alert_wechat'

- name: 'message'

  webhook_configs:

  - url: 'http://localhost/alert_message'

- name: 'call'

  webhook_configs:

  - url: 'http://localhost/alert_call'

inhibit_rules:

  - source_match:

      severity: 'critical'

    target_match:

      severity: 'warning'

    equal: ['alertname', 'dev', 'instance']

这里用了一个receiver，即web_hook，Prometheus会把告警内容post到指定的url地址。

巴特西

【Prometheus】第三篇：配置alertmamager

最新文章

热门文章