Googleのクローラはrobots.txtをきちんと解析し指示に従ってくれますので、クロールの必要のないページやディレクトリにはきちんとrobots.txtを設定するとよいでしょう。
Googleにクロールされることは、SEOにおいては最初のステップとして重要視されており、特に意図しないクロールエラーが起きた場合は注意が必要です。
Googleのクローラのユーザエージェント一覧
https://support.google.com/webmasters/answer/1061943?hl=ja
