SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

robots.txt

robots.txtとは、検索エンジン等のクローラに対してアクセス制御をおこなうためのファイルのことです。

robots.txtはサイトのトップに配置する必要があり、特定のユーザエージェント(User-agent:)を指定してアクセス禁止(Disallow)やアクセス許可(Allow)等の記述をすることが可能です。

しかしながら、robots.txtにはクローラに対して強制力があるわけではないため、Googleのクローラはrobots.txtに従うことを明記していますが、他のクローラが従うかは保障されません。
クローラに対して確実にアクセス禁止をする場合、パスワードをかけるなどの処理が別途必要となります。

その他のSEO用語集

Return Top