クローキングとは？実際の手法やSEOに与える影響を解説！

クローキングの例

クローキングの主な例は、以下の通りです。

• 人間のユーザーに対してはflashや画像を表示して、クローラーにはHTMLテキストを表示する
• クリックされると「キャンペーンに当選しました！」と表示して、違法広告を行う

上記の例に共通することとして、人間に対して表示するサイトとクローラーに対して表示するものが異なる点が挙げられます。

意図していようとなかろうと、SEOに悪影響を与えるため、Webサイトを制作する際はクローキングしないように注意しましょう。

隠しテキストを用いる方法

クローキングの手法として、隠しテキストを用いる方法があります。

主な例としては、以下の通りです。

• 文字サイズを0にして見えなくする
• 背景とテキストを同一の色にする
• テキストを画像の後ろに入力する
• テキストを画面外に入力する

上記の方法を使うと、一般のユーザーには見えないテキストがクローラーにだけ認識されます。

かつては、狙っているキーワードを一般のユーザーに見えないように隠して入れて、SEO対策をしようとするWebサイトがいくつもありました。

前述の通り、現在はGoogleのガイドラインで禁止されている行為のため、隠しテキストを行うとペナルティを受けてしまいます。

クローラー以外をリダイレクトさせる手法

違法なハッキングをして収入を得ようとするハッカーがよく使うクローキングの手法として、狙ったWebサイトに勝手に侵入し、Googleのクローラー以外を別のページにリダイレクトさせる設定をしてしまう行為があります。

サイトの運営者は、ハッキングの被害に気付くまでは自サイトがクローキングを行っていることなど知る由もありません。そのまま対策しないでいるうちにペナルティを受け、検索順位が下がり、最悪の場合は検索結果に表示されなくなってしまう恐れがあります。

スマホとPCでクローラーの振り分けをしているか

スマホとPCで表示される画面を分けている場合は、クローラーも同様に振り分けましょう。

Googleは、PC向けのサイトは「Googlebot Destktop」といったクローラーで、スマホ向けのサイトは「Googlebot Smartphone」といったクローラーで巡回を行っています。

そのため、PC向けのサイトのクローラーである「Googlebot Destktop」にスマホ向けのコンテンツを表示させる設定にしてしまうと、クローキングと判定されます。

スマホ向けのクローラーである「Googlebot Smartphone」にPC向けのコンテンツを表示させる場合でも同様です。

ただし、レスポンシブWebデザインを使っている場合は同様のHTMLページが表示されるので、特別に対策する必要はありません。

ログインしないと見れない情報がクロールされていないか

ログインしたときだけ閲覧できる会員制のページなどは、特別な設定をしない限りは検索エンジンに表示されないので、通常はクローキングになることはありません。

しかし、会員制のページを検索結果に表示させる設定に変更すると、クローキングと判定されます。

クローラーに対しては商品の情報を提供しているのに、人間がアクセスするとログイン画面が表示される状態になっているからです。

会員制のページなどログインしないと見れない情報は、クロールされないようにブロックしましょう。

ハッキングされていないか

Webページがハッキングされていないか確認することも、クローキング認定を避けるうえで大切です。

前述の通り、ハッカーはWebサイトをハッキングすると、Googleのクローラー以外を別のページにリダイレクトさせる設定をします。つまり、Webサイトがハッキングされると、知らない間に勝手にクローキングを行っている状態にされてしまうということです。そうすると、たとえハッカーによるクローキングであっても、自分のサイトがペナルティを受けてしまいます。

ハッキングの被害を受けてないか確かめるには、Googleサーチコンソールの「URL検査ツール」が有効です。WebサイトのURLを入力するだけで、正常にインデックスに登録されているかが分かります。

ハッキングの予防策としては、セキュリティプラグインの導入や二要素認証の実装などがおすすめです。また、複数のユーザーが内部にログインできる状態なら、自動ログアウト機能にしておきましょう。