スクレイピング・自動巡回をVPSで動かす前に

レン

情報を自動で集める処理を、VPSで動かしたいんだ！

プロクラ

技術的にはVPSが向いている用途だよ。ただ、この話題は技術より先に確認することがある。そこを飛ばすと、動いた後で困ることになる。

先に確認すること

技術的にできるかどうかより先に、相手の規約と robots.txt を読んでください。禁止されている場合、続ければ規約違反になり、遮断や法的な問題に繋がります。公開されているデータであることと、自由に集めてよいことは別です。

• 相手サイトの利用規約に、自動取得を禁じる条項が無いか
• robots.txt が、その経路を許可しているか
• 取得したものを、どう使うつもりか（転載は著作権の問題になる）
• どのくらいの頻度で取りに行くか

プロクラ

1つめは見落とされやすいよ。robots.txtだけを見て判断する記事が多いけれど、規約に書かれていればそちらが優先される。両方を見る必要がある。

ウィルスン

…短い間隔で叩き続ける巡回は、相手から見れば攻撃と区別がつかん。遮断されるだけならまだしも、事業者へ通報されることもあるぞ。

プロクラ

そこが4つめの話だね。頻度は、必要な分まで落とすこと。当サイトも各社の料金を取得しているけれど、月に2回に留めている。毎日取る必要が無いからだよ。

ヘッドレスブラウザは重い

プロクラ

技術面でいちばん詰まるのがここ。画面を持たないブラウザを動かす方式は、実質ブラウザを1つ起動するのと同じだから、想像よりメモリを使う。

• 1つ起動するだけで、まとまったメモリを消費する
• 同時に複数動かすと、すぐに足りなくなる
• 小さいプランでは、起動しただけで落ちることもある
• ページを閉じ忘れると、使用量が積み上がっていく

プロクラ

4つめが実務での落とし穴だよ。エラーで処理が中断したときに、開いたブラウザが残る。それが積み重なって、数日後にメモリ不足で落ちる。必ず閉じる書き方にしよう。

落ちるときに見るところ

• dmesg に Out of memory の記録が無いか
• 共有メモリ領域が小さすぎないか（コンテナでは特に起きやすい）
• 同時実行数を1に落として、それでも落ちるか試す
• ブラウザを使わず、HTMLを取得するだけで済まないかを検討する

プロクラ

4つめが本命の対処だったりするよ。JavaScriptで組み立てられるページでなければ、ブラウザを起動する必要は無い。単純な取得で済むなら、資源も手間も桁違いに小さい。

行儀よく動かす

間隔を空ける、同時接続を絞る、相手の負荷が高い時間帯を避ける。これらは相手のためだけでなく、自分のためでもあります。無遠慮に叩けば遮断され、IPアドレスごと弾かれます。ゆっくり確実に集めるほうが、結果として早く終わります。

• 誰が取りに来ているか分かる名乗り方をする（連絡先を含める）
• 間隔を空ける。同時接続を増やさない
• エラーが続いたら止める（相手が落ちている可能性がある）
• 取得したデータの扱いも、あらかじめ決めておく

プロクラ

1つめは自分を守ることにもなるよ。素性の分かる名乗り方をしていれば、問題があったときに連絡してもらえる。黙って叩き続けるより、ずっと健全な関係になる。

レン

規約が先で、技術は後なんだね。頻度も落とせるだけ落とす。