Web屋のネタ帳

検索エンジンなどのロボットによるアクセスが最近急に激しくなっているという話を某所より聞いた。なんでもそのサイトではGooglebotが1分あたり20回以上のペースでアクセスして来るらしい。 過去に書いた記事の頃はそれはありえなかったのだが。

Googleアドセンス広告を貼っている場合には通常のGooglebot以外にもGoogle-Mediapartnersロボットがかなりの頻度で来る(そしてそれはおかしいことではない)はずだし、Googleのロボットは他にも何種類かあるらしいのだが、それにしてもここ1,2ヶ月の間に急に増えたそうだ。 msnbotやYahoo!Slurpからのアクセスも断続的に激しいらしい。

実際のところ何が起きてるかはよくわからない。しかし、ここ数年(たぶん今後数年も)は検索エンジン業界は各社のせめぎあいの真っ最中なわけだから、こんな現象が起きてもそう不思議に感じる必要はないのかもしれない。

ただ、こうなってくると普通のアクセスログ解析による数値ではその読み方にかなり注意しなければならなくなってくるだろう。やった！総PVが先月より10%も増えた！と思っていたらよく見たら増えた分はほとんどロボットのせいでした、なんてことが十分ありうる。一方では「ロボットが来てくれないよ～」となげくWebサイトもあるのだが。(see also: つまり検索エンジンも?や=を嫌う − 動的ページと静的ページ(3))

はてなプレスリリース - はてな、月間ページビュー4億突破 といった記事もあるが、よく読むとロボット率が18%もある。逆にそうしてロボット率をはっきり提示するという姿勢も、ネット業界の状況をよく知っているはてな社ならではと言える。

なんにせよ、「わが社のWebサイトは月間○○万PVあります！」という謳い文句も眉唾ということだ。