Prometheus监控学习笔记之Prometheus如何热加载更新配置
2024-10-19 21:33:47
0x00 概述
当 Prometheus 有配置文件修改,我们可以采用 Prometheus 提供的热更新方法实现在不停服务的情况下实现配置文件的重新加载。
0x01 热更新
热更新加载方法有两种:
#1. kill -HUP pid
#2. curl -X POST http://IP/-/reload
当你采用以上任一方式执行 reload 成功的时候,将在 promtheus log 中看到如下信息:
如果因为配置信息填写不正确导致更新失败,将看到类似信息:
ERRO[0161] Error reloading config: couldn't load configuration (-config.file=prometheus.yml): unknown fields in scrape_config: job_nae source=main.go:146
提示:
- 我个人更倾向于采用 curl -X POST 的方式,因为每次 reload 过后, pid 会改变,使用 kill 方式需要找到当前进程号。
- 从 2.0 开始,hot reload 功能是默认关闭的,如需开启,需要在启动 Prometheus 的时候,添加
--web.enable-lifecycle
参数。
0x02 热更新源码对比
下面我们再来探讨下这两种方式内部实现原理。
第一种:通过 kill 命令的 HUP (hang up) 参数实现:
首先 Prometheus 在 cmd/promethteus/main.go
中实现了对进程系统调用监听,如果收到 syscall.SIGHUP 信号,将执行 reloadConfig 函数。
代码类似:
hup := make(chan os.Signal)
signal.Notify(hup, syscall.SIGHUP)
go func() {
for {
select {
case <-hup:
if err := reloadConfig(cfg.configFile, reloadables...); err != nil {
log.Errorf("Error reloading config: %s", err)
}
}
}
}()
第二种:通过 web 模块的 /-/reload
请求实现:
- 首先 Prometheus 在 web(web/web.go) 模块中注册了一个 POST 的 http 请求
/-/reload
, 它的 handler 是web.reload
函数,该函数主要向web.reloadCh
chan 里面发送一个error
。 - 在 Prometheus 的
cmd/promethteus/main.go
中有个单独的 goroutine 来监听web.reloadCh
,当接受到新值的时候会执行 reloadConfig 函数。
代码类似:
hupReady := make(chan bool) go func() {
<-hupReady
for {
select {
case rc := <-webHandler.Reload():
if err := reloadConfig(cfg.configFile, reloadables...); err != nil {
log.Errorf("Error reloading config: %s", err)
rc <- err
} else {
rc <- nil
}
}
}
}()
Prometheus 内部提供了成熟的 hot reload 方案,这大大方便配置文件的修改和重新加载,在 Prometheus 生态中,很多 Exporter 也采用类似约定的实现方式。
0x03 参考
最新文章
- “ifstream” 未声明的标识符
- MVC ActionResult视图结果
- TM4C123GH6PM程序
- 华为过滤字符串(java)
- SQL Server 在生产环境中这样写存储过程的坑都避免了吗?
- 一个高性能异步socket封装库的实现思路 (c#)
- socket(TCP-粘包)通讯之Python实现
- 旅游类App的原型制作分享-Klook
- 生产者、消费者模型---Queue类
- Python之json使用
- Github + Hexo 搭建个人博客
- LINUX系统一一CentOS6.5之安装JDK
- 在debug模式下引入一些性能检测工具
- LeetCode--198--打家劫舍
- JavaScript中函数和构造函数的区别
- Qt:表格 tableWidget
- bzoj 2321 数学
- hdu 1087 Super Jumping! Jumping! Jumping!(动态规划DP)
- 【贪心】【堆】bzoj2590 [Usaco2012 Feb]Cow Coupons
- golang slice 切片原理