一个指标超过阈值并不天然值得叫醒维护者。高质量告警需要说明用户影响、持续时间和接收者能够采取的动作。
从症状而不是原因告警
单次 CPU 峰值可能没有影响,而持续错误率和延迟上升通常直接影响用户。原因指标适合看板和诊断,症状指标更适合触发通知。
给波动留出窗口
使用持续时间和恢复条件避免频繁抖动。阈值应参考历史基线,而不是复制其他系统的默认数字。
每条告警附带动作
告警说明中至少包含服务、影响范围、相关看板和第一步排查命令。长期无人处理的告警应该删除或降级,而不是继续积累。
一个指标超过阈值并不天然值得叫醒维护者。高质量告警需要说明用户影响、持续时间和接收者能够采取的动作。
单次 CPU 峰值可能没有影响,而持续错误率和延迟上升通常直接影响用户。原因指标适合看板和诊断,症状指标更适合触发通知。
使用持续时间和恢复条件避免频繁抖动。阈值应参考历史基线,而不是复制其他系统的默认数字。
告警说明中至少包含服务、影响范围、相关看板和第一步排查命令。长期无人处理的告警应该删除或降级,而不是继续积累。