「再起動したら直った」で終わらせない

レン

サーバーが重かったけど、再起動したら直った！よかった〜

プロクラ

直ってよかったね。でも、そこで終わりにすると、また同じことが起きるよ。再起動で直るというのは「何かが溜まっていて、それが消えた」ということだからね。

再起動で直る、が意味すること

プロクラ

再起動は、溜まっていたものを全部捨てる操作だよ。だから何が溜まっていたかによって、原因が分かれる。

• メモリが解放された → 使用量が増え続ける問題があった
• プロセスが作り直された → 処理が詰まって動かなくなっていた
• 接続が切れた → 使われない接続が溜まっていた
• 一時ファイルが消えた → 溜まってディスクを圧迫していた

プロクラ

どれも、時間とともに悪化して、再起動でリセットされる型だね。放置すると、周期的に同じことが起きる。しかも間隔がだんだん短くなることが多い。

後からでも調べられる

プロクラ

再起動してしまった後でも、記録は残っている。次に備えて、今のうちに見ておこう。

• dmesg や journalctl で、再起動前の記録を追う（前回分を指定して見られる）
• 強制終了された形跡（Out of memory）が無いか
• アプリのログに、その時刻の異常が残っていないか
• アクセスログで、直前にリクエストが急増していないか

プロクラ

1つめが特に有用だよ。再起動をまたいで過去の記録を参照できる設定になっていれば、前回何が起きていたかを読める。設定されていなければ、まずそこを有効にしておこう。

次に備える

• 重くなったときに、その時点の状態を自動で記録する仕組みを入れる
• メモリ・ディスク・接続数を、時系列で残す
• 再起動する前に、top と free の結果だけでも控えておく
• いつ再起動したかを記録する（間隔が縮んでいれば悪化の証拠）

プロクラ

3つめは、次に困ったときの自分への贈り物だよ。慌てて再起動する前に、画面を1枚残すだけでいい。それだけで、原因の特定がまったく変わる。

再起動が必要な場面もある

プロクラ

誤解しないでほしいのは、再起動そのものが悪いわけではないこと。カーネルの更新を適用するには再起動が必要だし、月に一度は再起動する運用にも意味がある。問題なのは「原因を調べずに再起動だけを繰り返す」ことだよ。

レン

再起動する前に、画面を1枚残す。それだけならできそう。

自動で再起動させる場合の注意

プロクラ

落ちたら自動で再起動する設定は有用だけど、それだけに頼ると問題が見えなくなる。裏で何度も再起動していることに、気づけなくなるからね。

• 再起動した回数を記録し、増えていないか見る
• 短時間に繰り返す場合は、上限を設けて止める
• 止まったときだけでなく、再起動したときにも通知を出す
• 「動いているから大丈夫」と「落ちては起き上がっている」は違う