クローラーとは？検索エンジンの仕組みと効果的なSEO施策について解説
ツイート
シェアクローラーとは、無数にあるWEBページを巡回して、必要な情報を収集するプログラムのことです。
検索エンジンはそこで得た情報を元にWEBページをランク付けし、ユーザーの検索画面に表示させる順番を決めます。
あなたのWEBページを上位表示させるSEO施策においても、クローラーの活用はとても有効な手段です。
本記事ではクローラーを含めた検索エンジンの仕組みや、効果的なSEO施策についてご紹介します。
クローラーとは？
クローラーとはWEBサイトを巡回して、検索結果の表示順位を決めるための情報を集めるプログラムのことを指します。
※別名「ロボット」や「スパイダー(クモの巣のように張り巡らされたWEBページを動き回るため)」と呼ばれることもあります。
GoogleやYahoo!やBingのような検索エンジンには各種クローラーが存在して、世界中のWEBサイトを巡回しています。そうして収集した情報を分析し、アルゴリズム(WEBページの順位付けを行うプログラム)に基づいてWEBサイトを評価するのです。
その結果によって、ユーザーが検索した内容に最もふさわしい回答を評価順に表示するようになっています。
WEBページが作成されてから検索結果に反映されるまでをわかりやすく順番でまとめると、以下のようになります。
- クローラーがWEBページの情報を収集し保管
- アルゴリズムに従ってWEBページを評価
- 評価順に検索画面に表示
どんなに良質な記事を作成したり、最良のSEO施策を講じたリライトを行ったりしても、クローラーがそのWEBページを認識しなければ、検索エンジンから評価されることも検索結果に表示されることもありません。
だからこそ、クローラーにWEBサイトを知ってもらうことがとても肝心になります。
クローラーの種類
| 検索エンジン | クローラー |
|---|---|
| Googlebot | |
| Yahoo! | Yahoo! Slurp ※日本以外のYahoo! |
| Bing (Microsoft) |
Bingbot |
| Baidu (百度) |
Baiduspider |
| Apple | Applebot |
上記は日本で人気の検索エンジンとそのクローラーをまとめたものです。
各検索エンジンごとにクローラーが存在し、そのクローラーが世界中のWEBサイトを巡回してWEBページの情報を集めています。
注目すべきは世界で一番使われている検索エンジンのGoogleで、日本でも76.19%の人が利用しています。次点のYahoo!が14.49%、続いてマイクロソフトの検索エンジンBingが8.76%となっています。
約3/4以上の方が検索をする際にGoogleを使っているので、WEBページを作成する際にはGoogleやGoogleのユーザーを意識して作成することがとても重要です。
そしてGoogleから評価を受けるためにも、最初のステップとなるGooglebot(Googleのクローラー)に知ってもらうことが大切になります。
検索エンジンの仕組み
ではGoogleのような検索エンジンはどのような仕組みでWEBサイトを認識し、検索ユーザーの問いに対して検索結果を提示しているのでしょうか？
ここではGoogleがまとめている「検索が情報を整理する仕組み」に沿って、どのような仕組みで検索エンジンが出来ているのかをご紹介します。
まずGoogleのクローラーであるGooglebotがいくつかのWEBページの情報を取得し、それらのページのリンクからリンク先に移動しそのWEBページの情報を取得します。この巡回と情報の取得をクローリングと言います。
リンクからリンクの移動と情報の取得は繰り返し行われ、情報は大きなWEBの塊として数十億ものWEBページがGoogleに保存されます。
この保存された状態がGoogleにインデックスされた状態です。
ユーザーが何か問いを検索した際に表示されるのは、GoogleにインデックスされたWEBサイトの中から適していると判断したものをランキング化して返答しています。
Googleがそのランキングを決める際には、200個以上の問いを経てランク付けしているのです。
下記が質問の例です。
- キーワードがタイトルやURLに含まれているか
- キーワードの類義語が含まれているか
- 表示するWEBページを有するWEBサイトの品質はどうか
- ページランクはどれくらいか
これらの問いの結果を組み合わせて、総合得点の高いものからユーザーに表示される仕組みになっています。
現在はこの一連の流れをプログラムで設定されたロボット型検索エンジンが、検索から結果表示までをたったの0.5秒で行います。
クローラーに発見してもらうためにやること
検索結果に表示されるためには、クローラーに発見されてインデックスされていることが第一条件です。クローラーに発見されやすくなることを「クローラビリティの向上」と言います。
ここではクローラビリティの向上に重要なポイントについてお伝えします。
1.良質なコンテンツの作成
WEBページの記載内容が良質であることももちろん重要ですが、クローラビリティに関してはWEBページの内部構造が肝心です。
具体的には以下の内容を意識して良質なコンテンツを作成していきましょう。
- URLを統一する
- WEBサイトを3段階構造にする
- 必要な内部リンクを設置する
- パンくずリストを設定する
- 無効なリンクは削除する
「URLの統一」は、気づかずに同じWEBページで2つのURLが存在することがあります。
(例：www.が付いているものとそうでないもの など)
同じ内容で2つのURLがあるとクローラーは限られたリソースを無駄に使うことになりますし、重複コンテンツはGoogleからの評価も下げてしまいます。もし重複しているコンテンツがあれば、「301リダイレクト」でURLを統一していくようにしましょう。
次に「WEBサイトの3段階構造」とは、ユーザーがトップページを訪れた際に行きたいページに2クリック以内でアクセス出来るように設定することです。重要なキーワードや内容は浅い階層に設定し、そこから木の枝のように深い階層に広がっていくイメージです。
これによりクローラーは浅い階層を頻繁に訪れ、そこから派生したWEBページを隅々まで確認するようになります。
その3段階構造で重要なのが、必要な場所に「内部リンク」を設置することです。内部リンクを設置することでクローラーだけではなく、ユーザーもあなたのWEBサイトの中で回遊して必要な情報を見つけ出すことができるので、Googleからの評価が上がります。
3段階構造が形になったら、「パンくずリストの設定」を行いましょう。パンくずリストは検索ユーザーが今どこにいるのかを分かりやすくするためのリストです。これを設置することでクローラーもどの階層にいるのかを認知するので、クローリングがスムーズになります。
最後に、「無効なリンク」を削除しましょう。
あなたのWEBサイト上に設置した内部リンクや外部リンクでページが無効となってしまったリンクを紹介していると、ユーザーもクローラーも無駄に移動をして答えを得られないことになり、不親切なWEBサイトという評価を受けてしまいます。
定期的に添付しているリンクが無効になっていないか確認するようにしましょう。
このように内部構造を改善することで、クローラーは巡回がスムーズに行えるようになります。
スムーズな巡回ができると、クローラーは高い頻度であなたのWEBサイトをクローリングしてくれるようになります。
2.サイトマップの作成
| XMLサイトマップ | HTMLサイトマップ | |
|---|---|---|
| 目的 | 検索エンジンに発見されやすくなるため | 検索ユーザーの利便性向上 |
| SEO効果 | 効果がある | 効果がほぼない |
| 内容 | 更新頻度やWEBページの優先度などをXML形式のファイルでまとめている | WEBサイト内のコンテンツがリスト状になって一覧で確認できる |
| ユーザーから | 見えない | 見える |
クローラビリティでもう一つ重要なのが、WEBサイトにサイトマップを作成・設置することになります。
サイトマップには2つ種類があり、一つはXMLサイトマップで、もう一つがHTMLサイトマップです。この2つの違いは上の表にまとめた通りですが、一番の違いが目的です。
XMLサイトマップはクローラーが見つけやすいように設置するもので、検索ユーザーからは見えない内部構造になっています。
一方でHTMLサイトマップは検索ユーザーに向けて設置するもので、楽天市場やdocomoなど人気のWEBサイトに載っている「サイトマップ」のことです。HTMLサイトマップにはWEBサイトのコンテンツがカテゴリーごとに一覧になっているので、ユーザーは探したい情報を一覧表から探してアクセスすることができます。
この2つのサイトマップを作成することで、あなたのWEBサイト内での移動がスムーズになり、クローラーも巡回が簡単にできるようになります。
クローラーの巡回確認方法
クローラーに発見されるための施策を行ったら、今度はちゃんとクロールされたのかどうかを確認してみましょう。
ここでは特定のWEBページが発見されているかどうか(クローリングされているかどうか)の確認方法をご紹介します。
1.site:
検索エンジンの検索窓に、クロールされているかを確認したいWEBページのURLを記入します。
そのURLの前に【site:】をつけるようにしましょう。
検索ボタンを押してもあなたのWEBページが表示されない場合はクローラーやインデックスが行われていないという意味です。
2.Google Search Console
GoogleのSearch Console(サーチコンソール)にログインします。
そして検索窓にクロールされているか確認したいWEBページのURLを入力し、Enterキーを押します。
クローリングされて、インデックスされている場合【URLはGoogleに登録されています】という表示がでます。
逆に【URLはGoogleに登録されていません】という表示が出た場合は、インデックスができていないので、その画面からインデックスをリクエストするようにしましょう。
Googleの理念からわかる効果的なSEO施策
Googleの理念はGoogleの公式サイトにある「Googleが掲げる10の事実」のページで確認することができます。
Googleは常にこの理念からずれていないか、変わりはないかを確認しながら日々努めています。
そのため、私達もSEO施策を施す際には、常にGoogleの理念と寄り添えているかを意識することが大切です。
10個掲げられた中の一番上に書かれている理念が 、“ユーザーに焦点を絞れば、他のものはみな後からついてくる”です。
Googleは何よりも重要なポイントとして「ユーザーの利便性」を挙げています。
ユーザーの利便性を向上させるために、Googleはユーザーのニーズに最も適した良質なコンテンツを提供したいと思っているので、それに見合う良質なコンテンツを作成することが最重要となります。
しかし良質なコンテンツを作成・リライトしたとしても、クローラーがまわって来ないためにWEBページがインデックスされなくては話になりません。
クローラーがスムーズに巡回するにはどのような構造がよいのか、どんなコンテンツがあればユーザーの利便性が向上するのかを意識しながらWEBサイトを作成しましょう。
まとめ
今回は検索エンジンの仕組みの一つ、クローラーについてお話しました。
クローラーがまわってくることで、初めてあなたのWEBページはGoogleに認識されます。
どんなに良質な記事を公開しても、クローラーが発見しないことには、WEBページがGoogleにインデックスされることもランク付けされて検索結果に表示されることもありません。
定期的にあなたのWEBページがクローリングされているか、インデックスされているか確認するようにしましょう。
- SEO対策でビジネスを加速させる「SEO Dash! byGMO」
-
SEO対策でこんな思い込みしていませんか？
- 大きいキーワードボリュームが取れないと売上が上がらない・・
- コンサルに頼んでもなかなか改善しない
- SEOはコンテンツさえ良ければ上がる
大事なのは自社にあったビジネス設計です。 御社の課題解決に直結するSEO施策をご提案します
- プロフィール
-
-
GMO TECH株式会社
- 2012年より一貫して検索エンジン領域のコンサルティング業務に従事。 2017年にGMO TECH社に参画。営業組織の構築、新商材開発、マーケティング部門立ち上げをおこなう。 現在、MEOコンサルティング、SEOコンサルティング、運用型広告などSEM領域全体を統括し、 お客様の期待を超える価値提供を行うため日々、組織運営・グロースに奔走している。
-
GMO TECH株式会社
