クローラーとは？検索エンジンの仕組みと効果的なSEO施策について解説

クローラーとは？

クローラーとはWEBサイトを巡回して、検索結果の表示順位を決めるための情報を集めるプログラムのことを指します。
※別名「ロボット」や「スパイダー(クモの巣のように張り巡らされたWEBページを動き回るため)」と呼ばれることもあります。

GoogleやYahoo!やBingのような検索エンジンには各種クローラーが存在して、世界中のWEBサイトを巡回しています。そうして収集した情報を分析し、アルゴリズム(WEBページの順位付けを行うプログラム)に基づいてWEBサイトを評価するのです。

その結果によって、ユーザーが検索した内容に最もふさわしい回答を評価順に表示するようになっています。

WEBページが作成されてから検索結果に反映されるまでをわかりやすく順番でまとめると、以下のようになります。

どんなに良質な記事を作成したり、最良のSEO施策を講じたリライトを行ったりしても、クローラーがそのWEBページを認識しなければ、検索エンジンから評価されることも検索結果に表示されることもありません。

だからこそ、クローラーにWEBサイトを知ってもらうことがとても肝心になります。

クローラーの種類

上記は日本で人気の検索エンジンとそのクローラーをまとめたものです。

各検索エンジンごとにクローラーが存在し、そのクローラーが世界中のWEBサイトを巡回してWEBページの情報を集めています。

注目すべきは世界で一番使われている検索エンジンのGoogleで、日本でも76.19%の人が利用しています。次点のYahoo!が14.49%、続いてマイクロソフトの検索エンジンBingが8.76%となっています。

約3/4以上の方が検索をする際にGoogleを使っているので、WEBページを作成する際にはGoogleやGoogleのユーザーを意識して作成することがとても重要です。

そしてGoogleから評価を受けるためにも、最初のステップとなるGooglebot(Googleのクローラー)に知ってもらうことが大切になります。

検索エンジンの仕組み

ではGoogleのような検索エンジンはどのような仕組みでWEBサイトを認識し、検索ユーザーの問いに対して検索結果を提示しているのでしょうか？

ここではGoogleがまとめている「検索が情報を整理する仕組み」に沿って、どのような仕組みで検索エンジンが出来ているのかをご紹介します。

まずGoogleのクローラーであるGooglebotがいくつかのWEBページの情報を取得し、それらのページのリンクからリンク先に移動しそのWEBページの情報を取得します。この巡回と情報の取得をクローリングと言います。

リンクからリンクの移動と情報の取得は繰り返し行われ、情報は大きなWEBの塊として数十億ものWEBページがGoogleに保存されます。

この保存された状態がGoogleにインデックスされた状態です。

ユーザーが何か問いを検索した際に表示されるのは、GoogleにインデックスされたWEBサイトの中から適していると判断したものをランキング化して返答しています。

Googleがそのランキングを決める際には、200個以上の問いを経てランク付けしているのです。

下記が質問の例です。

これらの問いの結果を組み合わせて、総合得点の高いものからユーザーに表示される仕組みになっています。

現在はこの一連の流れをプログラムで設定されたロボット型検索エンジンが、検索から結果表示までをたったの0.5秒で行います。

クローラーに発見してもらうためにやること

検索結果に表示されるためには、クローラーに発見されてインデックスされていることが第一条件です。クローラーに発見されやすくなることを「クローラビリティの向上」と言います。

ここではクローラビリティの向上に重要なポイントについてお伝えします。

クローラーの巡回確認方法

クローラーに発見されるための施策を行ったら、今度はちゃんとクロールされたのかどうかを確認してみましょう。

ここでは特定のWEBページが発見されているかどうか(クローリングされているかどうか)の確認方法をご紹介します。

Googleの理念からわかる効果的なSEO施策

Googleの理念はGoogleの公式サイトにある「Googleが掲げる10の事実」のページで確認することができます。

Googleは常にこの理念からずれていないか、変わりはないかを確認しながら日々努めています。

そのため、私達もSEO施策を施す際には、常にGoogleの理念と寄り添えているかを意識することが大切です。

10個掲げられた中の一番上に書かれている理念が 、“ユーザーに焦点を絞れば、他のものはみな後からついてくる”です。

Googleは何よりも重要なポイントとして「ユーザーの利便性」を挙げています。

ユーザーの利便性を向上させるために、Googleはユーザーのニーズに最も適した良質なコンテンツを提供したいと思っているので、それに見合う良質なコンテンツを作成することが最重要となります。

しかし良質なコンテンツを作成・リライトしたとしても、クローラーがまわって来ないためにWEBページがインデックスされなくては話になりません。

クローラーがスムーズに巡回するにはどのような構造がよいのか、どんなコンテンツがあればユーザーの利便性が向上するのかを意識しながらWEBサイトを作成しましょう。

まとめ

今回は検索エンジンの仕組みの一つ、クローラーについてお話しました。

クローラーがまわってくることで、初めてあなたのWEBページはGoogleに認識されます。

どんなに良質な記事を公開しても、クローラーが発見しないことには、WEBページがGoogleにインデックスされることもランク付けされて検索結果に表示されることもありません。

定期的にあなたのWEBページがクローリングされているか、インデックスされているか確認するようにしましょう。