クローキングとは？SEO対策に及ぼす影響や例などを徹底解説

クローキングとは簡単に説明すると、クローラーと検索ユーザーそれぞれに異なるコンテンツを表示させるスパム行為です。

スパム行為とは分かっていても、意図せぬ形でクローキングに該当するWebサイトを作成してしまっているケースが実は多く存在します。

今回は、SEO対策のプロであり多くの実績を上げている弊社メディアエクシードが、クローキングについて以下の項目などについて詳しく解説していきます。

この記事を読んでクローキングについて正しく理解し、効率の良いWebサイト運営を行いましょう。

クローキングの手法

GoogleはGooglebotと呼ばれるクローラープラグラムを使用して世界中のWebサイトを巡回し、各サイトを自動的に評価しながらランキングをつけています。

このクローラーにいい評価を得て上位表示させようと検索ユーザーが閲覧するWebサイトとは別のサイトを表示させ、評価を不正に上げようとする行為をクローキングと呼びます。

ここでは具体的なクローキング手法を紹介していきます。

IPアドレス・ユーザーエージェントを用いたクローキング

違法なアダルトサイトに良く用いられる手法でIPアドレスやユーザーエージェントを手掛かりに、検索ユーザーとクローラーのどちらが訪問してきたのかを判別し、全く異なるWebサイトを表示させる手法です。

この場合、検索ユーザーには違法アダルトサイトを表示しクローラーには合法な動画サイトを表示させます。

隠しテキストを用いるクローキング

隠しテキストを使用して検索ユーザーには見えないテキストをクローラーに認識させる手法です。

主な例は以下の通りです。

上記の方法を使用すると検索ユーザーには表示されないテキストをクローラーにのみ認識させることができます。

画像やフラッシュを用いたクローキング

検索ユーザーには画像やFlashを用いた賑やかなページを表示させ、クローラーにはHTMLで構成されたテキストのみを表示させる手法です。

検索ユーザーにとって画像やFlashを多く用いたWebサイトは派手で賑やかなため魅力的ですが、シンプルなHTML構造を好むクローラーにとってはあまり魅力的ではありません。

検索ユーザーとクローラーそれぞれに魅力的に表示させるようにして上位表示を狙うことを目的としたクローキング手法です。

SEOに与える影響

Googleはクローキングについて次のように明記しています。

クローキングはかつてはSEO対策として行われていましたが、スパム認定されてしまう可能性があることから現在は推奨されていない手法です。

ここではクローキングがSEOにどのような影響を与えてしまうのかを具体的に紹介します。

検索エンジンの利用者に与える影響

検索ユーザーが求めている情報とは異なる内容のWebサイトが上位表示されてしまう可能性があります。

Webページにアクセスした際に検索ユーザーが予想していたものと異なるコンテンツが表示されるため、混乱や不快感をあたえてしまいます。

検索ユーザーの悩みや疑問を解決できるコンテンツ制作を心掛けることが重要です。

クローキングがSEOに与える影響

クローキングを行いスパム認定されると、Webサイトのランキングが低下しアクセス数が大幅に減少することが懸念されます。

もし仮に、検索結果がクローキングを駆使したWebサイトであふれた場合、検索エンジン全体の品質を落とすことになるのでGoogleはクローキングを行っているWebサイトに対して、検索順位を大幅にさげたりインデックスから除外したりするなどの厳しい処置をとります。

意図せぬクローキング例

意図的にクローキングを行っていなくても、クローラーからスパム認定をされてしまうことがあります。

無自覚のままクローキング認定をされないように、確認するべきことを説明していきます。

意図せぬクローキング例①デバイスによるページの振り分け

スマートフォンとPCで表示される画面を分けている場合、クローラーの振り分けがきちんと行われていないとクローキングと誤認される可能性があります。

Googleはスマートフォン向けのサイトは「Googlebot Smartphone」、とPC向けのサイトは「Googlebot Destktop」というクローラーで巡回を行っています。

この時に、意図的ではなくてもスマートフォン向けのクローラーである「Googlebot Smartphone」にPC向けのコンテンツを表示させる設定にしてしまっていると、クローキングと判断されてしまいます。

対策としては、レスポンシブWebデザインを使用しスマートフォン向けサイトとPC向けサイトに同様のHTMLページを表示させることが有効です。

意図せぬクローキング例②会員制のページ

会員制のページを検索結果に表示させる設定を行っている場合、クローキングと判断される可能性があります。

クローラーには商品の情報を表示し、検索ユーザーがアクセスするとログイン画面が表示される設定をしている状態などが該当します。

ログイン画面などはクロールされないようにブロックしておきましょう。

意図せぬクローキング例③ハッキング

Webサイトがハッキングされると勝手にクローキングを行っている状態にされてしまう可能性があります。

ハッカーはWebサイトをハッキングすると、Googleのクローラー以外を別のページにリダイレクトさせる設定をするためです。

セキュリティプラグインの導入や二要素認証の実装をおすすめします。

また、複数のユーザーがログインできる状態であれば、自動ログアウト設定にしておくことなどがハッキング予防策としては有効です。

クローキングされていないかを見極める方法

クローキングに限らず、ハッキングは検索ユーザーやWebサイトの運営者にとって非常に迷惑な行為です。

ここではクローキングされているWebかどうか見極める方法を紹介していきます。

ハッキングされていないか確認する

Googleサーチコンソールの「URL検査ツール」を使用し、不自然なクエリが表示されていないかを確認します。

通常この機能は自身が運営するWebサイトが、どのようなクエリにヒットして検索結果上に表示されているか分析するためのものです。

しかし、Webサイトの内容と一致しないクエリが表示されている場合はハッキングされている可能性があるため早急に対処しましょう。

検索エンジンのキャッシュを確認する

検索エンジンはクローラーが過去に取得したデータをキャッシュ保存しています。

Googleの場合、検索結果サイトの右端の「︙」をクリックしてキャッシュを確認できます。

確認したWebサイトと現行サイトが異なっていた場合、そのWebサイトはクローキングが行われている可能性が高いと考えて良いでしょう。

複数の検索エンジンを利用してみる

クローキングが行われているかを確認する最も簡単な方法で、1つのWebサイトを複数の検索エンジンで検索してみる方法です。

検索結果の一覧を比較した結果、表示されているURLやタイトルが異なっている場合、そのWebサイトはクローキングが行われている可能性があります。

クローキングにカウントされない例外

ユーザーごとに異なるコンテンツを表示していても、クローキングにカウントされないケースが存在します。

ここでは具体的な例をあげて説明します。

1つのサイトが複数の言語に対応している

複数の言語を扱うWebサイトはクローキングとみなされません。

このようなサイトでは閲覧する前に言語の選択画面を表示し、ユーザーが選択した言語に基づいて異なるページを表示するためクローキングには該当しません。

身体障害を持つユーザーに対するアクセシビリティ対策

身体障害者向けのWebサイトは、アクセシビリティの向上を目的としてユーザーに適した表示方法を採用している場合があります。

例えば、視覚障害者向けにスクリーンダーを使用しテキストを音声で読み上げるようにするにはHTMLマークアップが必要です。

このようなアクセシビリティ向上のための取り組みは、身体障害者がWebサイトを快適に利用するために必要であることから、クローキングとはみなされません。

クローキングがSEO対策に及ぼす影響｜まとめ

クローキングとは、意図的にクローラーと検索ユーザーそれぞれに異なるコンテンツを表示させるスパム行為のことを指し、検索ユーザーの利便性の低下や検索エンジンの品質低下を招きます。

意図せぬ形でクローキングとみなされ、スパム認定をされてしまうケースもあるのでSEO対策の一環としてあなたが運営しているWebサイトがクローキングに該当していないか確認しましょう。

弊社メディアエクシードでは、Webサイトの内部分析・改善提案やSEOコンテンツ制作・WEBコンサルティングなどを承っております。

様々な実績があり、クライアント様の業界単体ワードで上位表示を成功させ、PV数を5倍にまで伸ばしているという実績もあります。

企業様が社内にノウハウを蓄積しSEO対策のインハウス化を検討されている場合には、SEOライティングのノウハウを伝授させていただく「SEOライティング指導」なども行っておりますので、お困りごとがあれば是非一度お問い合わせ下さい。

無料相談・お問い合わせはこちら

失敗しないSEO対策業者の選び方と注意するポイント

SEO対策の効果とは？効果が出るまでの期間や具体的な対策も紹介

SEOは更新頻度を上げればいい？更新頻度とSEOの関係性