クローキング

クローキングとは、検索エンジンのクローラーに対して、人間の訪問者が見るものとは異なるコンテンツを提示するブラックハットSEOの手法です。Google のスパムポリシーに明確に違反しており、検出された場合には最も厳しいペナルティを伴います。

なぜ重要なのか

クローキングは検索結果の整合性を損ないます。ユーザーが検索リスティングから期待したものと一致しないコンテンツを見つけると、検索体験が崩壊します。Google はクローキングを、自動生成コンテンツやスクレイピングと並んで「純粋なスパム」、すなわち違反の中で最も深刻なカテゴリーに分類しています。クローキングには意図的な実装が必要である（偶然に起こることはあり得ない）ため、ペナルティもそれに応じて厳しくなります。

仕組み

IPベースのクローキング: 訪問者の IP アドレスを確認して検索エンジンのクローラーを識別します。ボットにはキーワード最適化されたコンテンツを、ユーザーには異なるコンテンツ（広告、無関係なページ）を配信します。

ユーザーエージェントベースのクローキング: HTTP の User-Agent ヘッダーを分析して、訪問者がクローラーかどうかを判定します。実装は容易ですが、検出も容易です。

JavaScriptベースのクローキング: クローラーの限られた JavaScript 実行能力を悪用します。JavaScript を介してのみレンダリングされるコンテンツは、HTML ソースにあるものとは異なります。

クローキングと正当な手法

すべての「異なるコンテンツ」がクローキングというわけではありません。

手法	正当か？	理由
地域ターゲティングコンテンツ（hreflang）	はい	ユーザーとクローラーに同じロジック
レスポンシブなモバイル／デスクトップ	はい	デバイスに適した表示、同じコンテンツ
A/Bテスト	はい（注意を要する）	Googleのガイドラインに従う必要がある
クローラーのみに異なるコンテンツ	いいえ — クローキング	欺瞞的な意図
First Click Free を伴うペイウォール	はい	Googlebotが承認された方法でアクセスする

ペナルティ

Google がクローキングを検出すると、手動による対策が発行されます。軽微なケースではページ単位でランキングから削除され、深刻なケースではドメイン全体がインデックスから削除されます。回復には、クローキングの除去、再審査リクエストの提出、そして待機が必要です。信頼の再構築にはかなりの時間がかかります。

Sources:

• クローキングとは？ - Ahrefs
• ブラックハットSEOとは？ 避けるべき9つのリスクの高い手法 - Semrush
• SEOガイド: 有害要素と検索エンジンのスパムペナルティ - Search Engine Land