云监控怎么配才不吵?告警规则的四条经验
刚上云时兴冲冲配了一堆告警,结果每天收到几十条短信,一周后全员把告警群静音。等真的出故障,反而没人看。
经验一:只对「需要人立刻行动」的指标告警。CPU超过百分之九十持续五分钟,值得叫人;磁盘使用率百分之七十,不需要半夜打电话,白天处理就行。
经验二:设置合理的持续时间。瞬时尖刺非常常见,要求持续三到五个周期才触发,能过滤掉绝大部分误报。
经验三:分级。P1级走电话和短信,比如核心站点不可用;P2级走企业微信,比如响应时间超过两秒;P3级只进日报,比如磁盘增长趋势。级别不同,打扰方式不同。
经验四:告警要带上下文。只发一句「CPU高」,收到的人还得自己登录查。把实例名、当前值、近一小时趋势、关联的最近变更一起推过去,处理效率差别很大。
必配的几项基础告警:站点可用性、CPU持续高负载、内存使用率、磁盘使用率、公网带宽跑满、数据库连接数、慢查询数、证书到期。这八项覆盖了八成常见故障。
证书到期特别值得单独设,很多站点出事都是因为证书过期,而这种问题完全可以提前三十天预警。
告警发出去要有人认领。建议设一个值班表,谁值班谁负责初步判断,避免所有人都以为是别人的事。
监控配好之后,每月复盘一次误报率。误报超过三成的规则,要么调阈值,要么干脆删掉。具体模板可以在【技术讨论QQ群:546946590,资深云服务专家微信:cloud7591】里索取。
