クローキングとは、ユーザと検索エンジンクローラとで異なるコンテンツを表示することです。
例えば一般のユーザがアクセスした場合は普通のページを表示しますが、googleのクローラが来た場合のみSEO的に重要そうなキーワードをちりばめたページを表示する等、意図的に悪意を持ってクローキングを行った場合、Googleにおいては最悪インデックスの削除が行われる事もあります。
クローキングにはいくつか手法がありますが、もっとも一般的な物がユーザエージェントを使ったコンテンツ切り替えです。
ユーザエージェントが検索エンジンクローラの場合とそうでない場合で切り替えるこの手法は、ブラウザのアドオン等でユーザエージェントを改変することで簡単に確認することが可能です。
※この場合自分のブラウザを google bot 等に偽装してアクセスすることで、ページが変更されているかを確認が可能になります。
検索エンジンのプロが実践するコンテンツマーケティングガイド
