Prometheus监控学习笔记之Prometheus查询无数据或者Grafana不显示数据的诡异问题
0x00 概述
Prometheus和Grafana部署完成后,网络正常,配置文件正常,抓取agent运行正常,使用curl命令获取监控端口数据正常,甚至Prometheus内的targets列表内都是全绿,Grafana数据源配置也是全绿;
但是Prometheus查询界面(在Windows的浏览器上)无法查询出数据,Grafan展示页面(在Windows的浏览器上)也不显示相关的监控曲线和数据。。。。。。
0x01 排查与异常
排查Prometheus agent运行状态, Prometheus Server运行状态, Grafana Sever运行状态,一切正常,网络正常,curl获取数据正常;
结果发现是用来打开Prometheus web界面和Grafana web界面的Windows机器上的时间是西五区,并不是东八区。。。。。。
将该Windows机器上的时间调整为东八区后,Prometheus web的查询和Grafana web展示一切恢复正常
0x02 总结
Prometheus监控各个节点对时间要求严格,在部署服务之前务必将所有机器的时间进行同步,包括用来展示和查询的windows机器。
相关请查看该issue https://github.com/prometheus/prometheus/issues/1022