クロールバジェットとは？対象サイトやGoogleの見解、最適化の方法を解説

クロールバジェットとは

クロールバジェット（Crawl Budget）とは、1つのサイトに対してクロールできる上限数（割り当て枠）のことを言います。

インターネットが普及してから、日々多くのWebサイトやWebページが生まれています。それに対してGooglebotがWebサイト内のページをクロールする能力には限りがあることから、「クロールの割り当て枠」があるといった考え方が生まれました。この考え方がクロールバジェットの正体です。

ちなみにGoogle社内ではこうした言葉は使用されていませんが、外部で使用されていることから2017年の公式サイトではクロールバジェットについて以下のように定義づけています。

クロールの割り当ては、Googlebot によるクロールが可能であり、かつクロールが必要な URL の数であると定義できます。

引用元：Google検索セントラル

クロールは、サイトにアクセスするユーザーの利便性を優先するため、ページ表示速度が遅いサイトへのクロールの回数を減らします。反対に表示スピードが速いサイトへのクロール頻度は増える、という仕組みがあります。さらに、Google側でクロールの必要性があると認めた場合にその頻度が上がります。

クロールの必要性を構成するのは「人気度」と「古さ（古いURLがインデックス内で無効にならないように）」であると言われています。

また、大規模サイトやURLパラメータを利用してURLを自動生成しているようなサイトでない限り、サイト運営者がクロールバジェットを気にする必要はないことにも言及しています。つまり大半のサイトが影響を受けないということです。ちなみにクロールバジェットがSEOのランク付けに関係することはありません。

クロールバジェットの目的

先述したとおり、クロームはサイトに訪れるユーザーの利便性を優先します。それにより「サイト速度が速い」、「人気で新しい」サイトへのクロームが、「サイト速度が遅い」、「人気度が低く古い」サイトよりも多くなる仕組みになっています。

クロームバジェットは、この「サイトの速度が遅い」「人気度の低い」サイトにおいて、「クロームの上限が設定されているのでは？」と言われているだけであって、Google社が正式にこうした機能があると言及しているものではありません。

そのため、この現象にこれといった目的は存在しないというのが正しい認識でしょう。強いていうのであれば、はじめにいった「ユーザーの利便性を優先すること」を目的として据えることはできるかもしれません。

クロールバジェットの影響を受けるサイト

下記のようなサイトは、「重複ページがあることでクロールが困難になる」というクローラーの特性により、結果的にクロールバジェットと呼ばれる現象の影響を受けるとされています。

• 大規模なサイト（100万ページ以上）で、コンテンツの更新頻度が中程度（1週間に1回）の場合
• 中規模以上のサイト（10,000ページ以上）で、（日常的に）コンテンツがめまぐるしく変更される場合

上記のようなサイトではコンテンツが重複しやすく、クローラーが巡回しやすい環境が整っていません。つまり、クロールバジェットの影響を受けるサイトというのは、クローラビリティ（クローラーの巡回しやすさ）を意識していないサイト、もしくは数が膨大になりすぎて意識できないサイトであると言えます。

クロールバジェットに対するGoogleの見解

Googleは付加価値の低いURLが多数あるとサイトのクロールやインデックス登録において、悪影響を及ぼす可能性があると発表しています。付加価値の低いURLの例として挙げられているのが以下のようなものです。

【付加価値の低いURL一例】

• サイト内の重複コンテンツ
• ソフトエラーページ
• 質の低いコンテンツ
• ハッキングされたページ

上記のようなURLがサーバーのリソースを浪費していると、価値の高いページへのクローラーの巡回を妨害することになります。クローラーが、サイト内の価値あるコンテンツを見逃す要因となるので注意しておきましょう。

クロールバジェットを最適化する方法

クロールバジェットの影響を受けないためには、以下のような点を意識しておくと良いでしょう。

• robots.txtで最適化する
• 401、410エラーを修正する
• 低品質なコンテンツの修正・削除
• リダイレクトチェーンを対処する
• XMLサイトマップを更新する

何度もいうように、クロールバジェットは多くのWebサイトで気にする必要はありません。むしろ、上記は通常行っておきたいWeb施策でもあるため、健全な運営を行っている限りは、クロールバジェットを意識することも不要と言えます。

まとめ

クロールバジェットは100万ページ以上を有する大規模サイトか、1万ページ以上を持ち、かつ頻繁に更新を行う中規模サイトでない限りは気にする必要はない現象です。そのため不必要に気にすることもありません。

ただし、今回紹介したクロールバジェット最適化対策は、ユーザー体験を高めるためにも実施しておきたい対策なので、日頃から取り組んでおきましょう。