WEBマーケティング用語一覧

robots.txt

robots.txtとは、検索エンジン等のクローラに対してアクセス制御をおこなうためのファイルのことです。

robots.txtはサイトのトップに配置する必要があり、特定のユーザエージェント(User-agent:)を指定してアクセス禁止(Disallow)やアクセス許可(Allow)等の記述をすることが可能です。

しかしながら、robots.txtにはクローラに対して強制力があるわけではないため、Googleのクローラはrobots.txtに従うことを明記していますが、他のクローラが従うかは保障されません。
クローラに対して確実にアクセス禁止をする場合、パスワードをかけるなどの処理が別途必要となります。

関連する用語はこちら
クロール(クローラ)
ユーザエージェント(User agent)

一覧へ戻る


※随時更新中

  • ログインする
  • 新規会員登録
SEOのプロが解説するセミナー
無料SEO個別相談会
プレミアムコンテンツ
サクラサクLABO公式ブログ

更新をチェック

お問合せフォーム
専任コンサルタントをつけませんか?
コンテンツにお悩みの方はライティング専門クラウドソーシング
アフィリエイト記事はプロにお任せ!
WordPressセキュリティ診断【無料キャンペーン実施中!】 - Webマーケティングのブレインネット

ツール


サービス


メニュー