ロリポップにGoogle クローラー拒否してないかメールしてみた。


実は、春先の記憶ではGoogle クローラーは、だいたい5・6種類のIPで毎日のように入れ替わりアクセスがありました。

2010.02.15には「今日も引き続きGoogle クローラ・バブル(激増)。」という記事(削除しちゃったけど)ではこんなグラフを作ってしまったほど。

それが最近ピタッとアクセスがないのです。
いまログに残っている記録を見ると、最後に来たGoogleクローラーはIP「66.249.68.187」。
5/9 ;181アクセス
5/10:178アクセス

と、爆発的にアクセスがあった翌日の5/11に13アクセスが記録されたのが最後。
それ以来、その他のGoogleクローラーも含めて今日まで1度たりともログがありません。
ひょっとして5月中旬以降、GoogleクローラーのIPがすべて変わってしまったのか?

とりあえず、ロリポップに昨日(8/27)メールで「66.249.68.187」を例に出してGoogleクローラーを拒否してないか質問したら、夜返事がきました。

(抜粋)
お問合わせ頂きました件につきまして、ロリポップ!レンタルサーバーではGoogle様のクローラーといった各検索サイトの検索ロボットのアクセスのブロックなどは行っておりませんのでご安心ください。

そうですか。
別にGoogleに「様」まで付ける必要はないとは思いますが、いずれにしてもGoogleに限らずブロックしていないとのこと。

ん~。
もう少し様子見ますか・・。

(追伸)
Googleクロールがゼロじゃないことはわかるけど、春先にきてたIPアドレスでは確実にいません。
Googleウェブマスターにあるクロールの統計情報(最近 90 日間の Googlebot の活動)で、「1 日にダウンロードされるキロバイト(KB)数」というグラフがありますが、このグラフを見ると6月下旬からかなり落ちてます。

例の、sitemap.xmlのダウンロードに失敗するというエラーの始まった時期と妙に重なっているような気もします。

(2012.12.19追記)
この記事に挙げたロリポップでsitemap.xmlがGoogleウェブマスターツールにてエラーになってしまう件は、「カスタム クロール速度を設定」でも有効でしたが、その後ロリポップのサーバの問題が改修されたようで、現在は解決しています。


ロリポップにGoogle クローラー拒否してないかメールしてみた。” への2件のフィードバック

  1. 私のサイトでも、Googleウェブマスターにあるクロールの統計情報の低下など全く同じ現象が長期間発生しています。

    最近の大手SEO業者は、今ではスパム認定されて使えなくなった大量に所有のIP分散とかの発リンク用ページから、SEO依頼顧客サイトとキーワードが競合した上位サイト向けに発リンク攻撃して逆利用しているとの情報も聞きました。特定キーワードで何位以内に入ったら課金発生方式のSEO商品が急増しているのは、そのためのようです。

    そこで、Googleスパムチームに問い合わせたところ、私のサイトには何らマニュアル操作での制限をしていないとの回答でした。つまり、そのような攻撃は受けていないとのことで安心しました。

    不思議なことに、サイトの主要ページは完全に圏外に落ちているのに、何故か子ページの1ページだけ検索エンジンの1ページ目にヒットしています。

    一度だけですが、Googleウェブマスターでクロールエラー・サーバーエラーの情報が出ました。あとは、サーバー側のGoogleクローラーのIPブロックなのか、ドメインレジストラでも、このようなブロックが可能なのか相手が全く解りません。

    このような操作ができるのは、サーバー側しかないのではと思うのですが、ドメインレジストラ側でも可能なのか、解る方いたら教えてください。

    サーバーは、海外なので困っています。

  2. 松島さん
    この記事を書いたときのクロールの統計情報の低下原因は、やはりロリポップにありました。
    グーグルの「クロール速度」の「カスタム クロール速度を設定」をしてみては如何でしょうか。私のサイトでは効果がありました。

コメントを残す

メールアドレスが公開されることはありません。