SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

クロール(クローラ)

Googleのクローラはrobots.txtをきちんと解析し指示に従ってくれますので、クロールの必要のないページやディレクトリにはきちんとrobots.txtを設定するとよいでしょう。

Googleにクロールされることは、SEOにおいては最初のステップとして重要視されており、特に意図しないクロールエラーが起きた場合は注意が必要です。

Googleのクローラのユーザエージェント一覧
https://support.google.com/webmasters/answer/1061943?hl=ja

その他のSEO用語集

Return Top