robots.txtとは、検索エンジン等のクローラに対してアクセス制御をおこなうためのファイルのことです。
robots.txtはサイトのトップに配置する必要があり、特定のユーザエージェント(User-agent:)を指定してアクセス禁止(Disallow)やアクセス許可(Allow)等の記述をすることが可能です。
しかしながら、robots.txtにはクローラに対して強制力があるわけではないため、Googleのクローラはrobots.txtに従うことを明記していますが、他のクローラが従うかは保障されません。
クローラに対して確実にアクセス禁止をする場合、パスワードをかけるなどの処理が別途必要となります。