Web屋のネタ帳

立ち読みするだけのつもりだったのについ買ってしまった。

Spidering hacks―ウェブ情報ラクラク取得テクニック101選 Kevin Hemenway, Tara Calishain, 村上 雅章

米国で出版されたものの日本語訳なので、 日本国内向きの話はほとんど無いだろうと思っていたらとんでもない。

• Hack#52 Yahoo!テレビを使って番組の検索を行う
• Hack#87 Yahoo!オークションの検索
  （検索するとき何度も「次の20件」をクリックする面倒を解消する）
• Hack#88 レストランクーポン情報の取得
  （ぐるなびに登録されているレストランのクーポン情報を取得する）

といった感じで面白そうな事例がぞろぞろ載っている。

ほとんどの例がperlスクリプトだが、一部PHPもあるようだ。 先日記事で紹介したコマンドラインでピザを注文するperlスクリプトも "Spidering Hack" のひとつと言えるだろう。

ただ、この本を読んで、俺もやってみよう！と思う前に 絶対に注意してほしいことがある。

この手のスクリプトはちょっと間違えると スパイダリング先のWebサーバーに多大な迷惑をかけることになる。 例えば、1秒間に数十回もHTTPリクエストを送ることになるような 作り方は絶対にしてはならない。 アクセス先のWebサーバーがパンクしてしまいかねないからだ。 立派に業務妨害罪にあたるので注意してほしい。

という話はこの本の冒頭にもあるのでよく読んでほしい。 だからといって必要以上に恐れる必要はなく、 例えばスクリプトのしかるべきところに sleep(2) （2秒間休めという命令） などと入れるだけで、相手のWebサーバにかか負担はだいぶ押さえられるのだ。