2017.2.6Redis连接问题排查
2024-10-11 03:00:15
现象:早8:15起开始收到redis主从不停切换的报警短信,某系统连接流控redis报超时。
排查:1、查看zabbix,看流控系统的redis服务器是否正常——正常;
2、查看redis监控,redis服务可用,连接数也正常;
3、查看应用实时日志,从流控jboss到流控redis连接也报超时;
4、查看网络问题,从流控和其他系统的jboss Ping流控的redis存在问题:ping不同或者部分包丢失或者时间过长
5、最终确定原因是由于交换机故障,导致此交换机下的虚机都存在问题,经过一个晚上的维修,还是没有成功。在此交换机上的虚机均需要迁移。
流控有4组redis虚机+2台jboss虚机+1台mysql虚机在这台交换机下,需要迁移。由于jboss和mysql都存在集群中,可以暂时不迁移。
4组Redis需要进行迁移,由于迁移过程中需要停掉redis服务,所以8台Redis不可以同时迁移(每个分片有1主1从),将其中4台从机进行迁移。
6、迁移过程:1)停应用;2)redis从机关机迁移,迁移时间与redis磁盘大小有关,因为我这4台都是0,所以速度很快。
7、迁移过程中出现的问题:在4台从机迁移过程中,各应用系统异常量瞬间暴增,怀疑是在从机闪断过程中,各应用系统请求失败(写主机,读主从随机)。《注:主从切换 会很快切过去,但错误会一直到另外一台恢复才会结束。因为我们redis策略默认是读随机》
最新文章
- AsyncTask的初步了解
- 控件 UI: 字体的自动继承的特性, Style, ControlTemplate
- [转]gitHub客户端Desktop的安装使用总结 ---基础篇
- ftp断点续传
- LeetCode39 Combination Sum
- Oracle 11g服务
- js获取浏览器滚动条距离顶端的距离
- E. Riding in a Lift(Codeforces Round #274)
- Python开发目录
- poj1830:开关问题
- AMS的适用场景
- VUE路由新页面打开的方法总结
- Linux 驱动——Button8(输入子系统)
- material palette
- Mac idea激活
- Java编程常见缺陷汇总(一)
- rails 杂记 - render and layout
- 经典算法问题的java实现 (一)
- selenum threding多线程运行 实例
- Python Django 之 静态文件存放设置