Webクロールの巡回数を確認する方法

Search Console では、本来なら専門家に依頼してコストのかかるクローラーの計測情報を無料で提供している。正確性はその専門家のサーバーモニタリングに劣るかもしれないが、現状どれほどのクロール頻度があるかの参考値になる。

クロール頻度が増加していくと検索流入数が増えていくという相関性もあることから、サイト運用の中で定期的にチェックするのをお勧めする。

それでは、クロールの統計情報のチェックについてご紹介しよう。

１．クロールの統計情報のチェック方法

Search Console にログインして対象のサイトURLをクリックする。そして左メニューより「クロール → クロールの統計情報」の順にクリックしよう。

これで上図の通り画面にアクセスできる。

ここにはあなたのサイトに過去90日分、クローラーが巡回した情報が掲載される。この統計情報には、クローラーがダウンロードしたWEB上のすべてのファイルタイプ（HTML、CSS、JavaScript、画像など）が含まれる。またデータは Google ニュース、Google 画像検索など Google のサービスで取得された情報が含まれている。

１−１．１日にクロールされるページ数

あなたのサイトをクローラーが巡回した結果、１日に巡回したページの総数が表示される。

画面右上には最高値、平均値、最低値が表示される。クロールの巡回頻度はSEOにとって重要であり、たいていクロール頻度が１日に100回以上を超えると徐々に検索上位を獲得できるようになってくる（もちろんコンテンツが良ければの話だが）。

クローラーの巡回数を正確に計測するなら専門家によるサーバーのモニタリングが必要となり、またコストもかかる。通常なら敷居の高い計測ツールを Search Console では無料で提供しているのだ。定期的にチェックする手はない。

クロール最適化については『robots.txtの書き方と効果的な活用法』を参考にしよう。

１−２．１日にダウンロードされるデータ量

Google の検索エンジンがあなたのサイトをクロールした結果、１日にダウンロードしたデータサイズ（キロバイト）が記録される。

このデータサイズが大きい場合、サイトの表示速度に影響してくる。これはユーザビリティを下げるのでSEO対策上、好ましくない。まずは画像サイズが大きくないかをチェックし、最適化を施すと効果が高いだろう。

１−３．ページのダウンロード時間

クローラーがサイトを巡回した結果、ページのダウンロード時間（ミリ秒）が記録される。

上図の例では30万以上のアクセスがあっても１ページあたり0.5秒ほどでサーバーが返答していることになる。アクセス数の増加に伴いこれが数秒かかる場合、サーバーの処理速度に問題がある可能性ある。スペックの高いサーバーを検討しても良いだろう。