通知が多すぎて読まなくなる

レン

監視の通知が毎日何十件も来て、もう全部無視するようになっちゃった…

プロクラ

それは監視が壊れている状態だよ。届いていても読まれないなら、設定していないのと同じ。むしろ「監視しているつもり」になるぶん、危ない。

なぜ増えるのか

• しきい値が厳しすぎて、正常な変動でも鳴る
• 一時的な状態でも即座に通知している
• 同じ問題について、何度も繰り返し通知される
• 対処のしようがないものまで通知している

プロクラ

4つめが盲点だよ。「知っても何もできない」通知は、届く価値が無い。通知の条件を決めるときは「これが来たら自分は何をするか」を考えてみて。答えが無いなら、通知しなくていい。

減らす方法

• 一定時間続いたときだけ通知する（瞬間的な変動を無視する)
• 同じ問題の再通知に、間隔を空ける
• 復旧したときにも通知して、状態を閉じる
• しきい値を、平常時の値を見てから決め直す

プロクラ

1つめが最も効くよ。CPUが一瞬跳ねただけで通知が来ると、すぐ埋もれる。5分続いたら、といった条件にするだけで、通知の量は劇的に減る。

重要度で分ける

プロクラ

すべてを同じ扱いにすると、大事なものが埋もれる。すぐ動くべきものと、後で見ればいいものを分けよう。

• すぐ対応: サイトが見えない、証明書が切れた
• その日のうち: ディスクが80%を超えた、バックアップが失敗した
• 気づいたときで良い: 使用量の傾向が変わった
• 届け先を分けると、なお分かりやすい

通知が来ない日を作る

プロクラ

理想は「通知が来たら何かが起きている」という状態だよ。何も起きていない日は静かであるべき。逆に、静かすぎるときは監視自体が止まっていないかも、時々確かめよう。

• 平常時に通知が来ないよう調整する
• 月に一度、意図的に条件を満たして通知が届くか試す
• 届け先のメールアドレスが有効かを確認する
• 「静か」には、正常と故障の2種類がある

レン

これが来たら何をするか。それが無いなら通知しなくていいんだね。

しきい値の決め方

プロクラ

最初から数字を決めようとしても、根拠が無い。まずは記録だけを取って、平常時がどのくらいかを見てから決めるのが確実だよ。

• 1〜2週間、通知せずに記録だけ取る
• 平常時の範囲を把握する
• そこから明らかに外れる値を、しきい値にする
• 運用しながら、鳴りすぎるなら緩める

プロクラ

「いつもは0.3なのに3.0になった」と言えるようになるのが目標だね。絶対値だけを見ても、それが異常かどうかは判断できない。

通知を止めたくなったら

プロクラ

うるさいから止める、を選ぶ前に、なぜ鳴っているかを一度だけ確認して。本当に問題が続いていることもある。読まずに止めるのが、いちばん危ない対応だよ。