データベースの書き出しが途中で失敗する

レン

データベースのバックアップが、途中で止まってしまう…

プロクラ

データが増えてくると出てくる問題だね。原因はいくつかあるけれど、まずエラーの文言を確認しよう。何で止まったかによって、対処がまったく違う。

原因1：ディスクの空きが足りない

• 書き出し先に、データベースと同程度の空きが要る
• 圧縮しながら書き出せば、必要な容量を減らせる
• 同じサーバー内に置くと、そもそも容量を二重に使う
• 外部の保管先へ直接送る構成にすると、この問題は消える

プロクラ

2つめは効果が大きいよ。書き出しの結果をそのまま圧縮に渡せば、途中の大きなファイルが作られない。空き容量が厳しい環境では必須の書き方だね。

原因2：時間切れ

• 接続が切れて、処理も止まる（SSHの切断が原因のことが多い）
• 画面を保持する仕組みの中で実行すると、切れても続く
• データベース側の待ち時間の設定に引っかかることもある
• 定期実行から動かす場合は、この問題は起きにくい

プロクラ

手で実行するときは、必ず画面を保持する仕組みの中でやろう。長い処理の途中で接続が切れると、それまでの時間が無駄になる。

原因3：権限とロック

• 書き出しに必要な権限が、そのユーザーに無い
• テーブルをロックする権限が足りない
• ロックすると、その間サイトの書き込みが止まる
• 止めたくない場合は、ロックしない方式を選ぶ

プロクラ

3つめは運用に直結するよ。既定の動きでは、書き出しの間テーブルがロックされることがある。夜間ならともかく、日中に実行すると利用者に影響が出る。

大きくなってきたら

• データベースごと、テーブルごとに分けて取る
• 変更の少ないテーブルは、頻度を下げる
• 履歴やログ系のテーブルは、そもそも整理する
• 全体を取る方式が限界なら、別の仕組みを検討する

失敗に気づける状態にする

プロクラ

いちばん怖いのは、失敗していることに気づかないまま何か月も過ぎることだよ。出力を捨てる設定にしていると、まさにそうなる。

• 実行結果を記録し、失敗したら通知が来るようにする
• 作られたファイルのサイズを確認する（極端に小さければ異常）
• 取得日時が更新されているかを、時々見る
• 月に一度、実際にファイルを開いてみる

レン

圧縮しながら書き出す、画面を保持する仕組みで実行する。覚えた。

取得中もサイトを止めない

プロクラ

利用者が居るサイトでは、取得中に書き込みが止まると困る。データベースの種類と構成によっては、ロックせずに一貫性を保って取れる方式が使えるよ。

• テーブルの形式によって、使える方式が変わる
• ロックしない方式では、取得中も読み書きが続けられる
• その代わり、取得に少し余分な負荷がかかる
• アクセスの少ない時間に実行するのが基本であることは変わらない