WEBマーケティング用語一覧

robots.txt

robots.txtとは、検索エンジン等のクローラに対してアクセス制御をおこなうためのファイルのことです。

robots.txtはサイトのトップに配置する必要があり、特定のユーザエージェント(User-agent:)を指定してアクセス禁止(Disallow)やアクセス許可(Allow)等の記述をすることが可能です。

しかしながら、robots.txtにはクローラに対して強制力があるわけではないため、Googleのクローラはrobots.txtに従うことを明記していますが、他のクローラが従うかは保障されません。
クローラに対して確実にアクセス禁止をする場合、パスワードをかけるなどの処理が別途必要となります。

関連する用語はこちら
クロール(クローラ)
ユーザエージェント(User agent)

一覧へ戻る


※随時更新中



  • ログインする
  • 新規会員登録
プレミアムコンテンツ
プレミアムコンテンツ
無料SEO個別相談会
サクラサクLABO公式ブログ

更新をチェック

お問合せフォーム
プレミアムコンテンツ
無料SEO個別相談会

ツール


サービス


メニュー