看不到就修不了。测试你对可观测性、主动监控和构建优雅降级系统的理解。
覆盖可观测性三支柱:指标、日志、链路追踪。
讨论告警哲学:可操作告警、避免告警疲劳。
描述仪表盘和值班实践。
分享监控早期发现问题的例子。
我围绕三个支柱构建监控:指标(CPU、内存、延迟百分位、错误率)、结构化日志用于调试、分布式链路追踪理解跨服务请求流。告警遵循两条规则:每个告警必须可操作,触发时必须有人需要做些什么。我使用基于SLO的告警——当错误预算消耗过快时告警,而非基于单个指标。这大幅减少噪音。在上一个岗位,我将200+告警(大部分被忽略)精简到30个高信号告警。值班响应时间从45分钟降到5分钟以内。
强调减少告警疲劳——告警太多和太少一样糟糕。
提到SLO和错误预算展示现代方法。
讨论运维手册——每个告警应链接到解决指南。
Prometheus+Grafana做指标,ELK或Loki做日志,Jaeger或Datadog做链路追踪。PagerDuty或OpsGenie做告警。根据规模和预算选择。
不是基于原始阈值告警,而是定义服务级别目标,当错误预算消耗率过高时告警。这聚焦于用户可见的影响而非基础设施噪音。
每季度审计告警:删除无人响应的告警、调整阈值、分组相关告警、确保每个告警有运维手册。如果告警多次触发无人处理,修复或删除它。