SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

  • SEO・コンテンツマーケティングなら
    サクラサクマーケティングにお任せください。

robots.txtテスターの使い方・注意点を解説

今回は、Google Search Consoleに含まれる機能の一つである「robots.txtテスター」について使い方や注意点をわかりやすく解説します。

【無料】ねぎお社長のSEOメールマガジン※30秒で登録完了
購読者数は既18000人を突破!
SEO業界20年のねぎお社長が最新情報、ノウハウ、考え方などこのメルマガでしが入手できない情報を配信。SEO,コンテンツマーケティングで売上を上げたい方は、是非、ご購読下さい。
詳細はこちら

robots.txtテスターとは?何のために使用?

robots.txtとは、検索エンジン等のクローラーに対してアクセス制御をおこなうためのファイルのことです。

robots.txtはサイトのルートディレクトリ(最上位のディレクトリ)に配置する必要があります。
例えば弊社のサイト(https://www.sakurasaku-marketing.co.jp/labo/)であれば以下のようになります。

https://www.sakurasaku-marketing.co.jp/labo/ robots.txt

robots.txtを用いることで、特定のユーザエージェント(User-agent:)を指定してアクセス禁止(Disallow)やアクセス許可(Allow)等の記述をすることが可能です。

このように特定のページに対してクロールされないように指示できるのですが、正しく構文が記載されていないと、重要なページがインデックスされなくなったり、検索結果に表示されなくなったりするなど、大きなミスにつながるケースもあります。

そのような事態を回避するため、robots.txtテスターでrobots.txtに記載した構文や文法にミスがないか確かめることが必要です。

robots.txtテスターの使い方

以下のURLからrobots.txtテスターのページにアクセスできます。
https://www.google.com/webmasters/tools/robots-testing-tool
※Google Search Consoleの登録が必要です

Google Search Consoleにログインし、robots.txtテスター画面を開くとクロール済みのrobots.txtの内容が赤枠の箇所に表示されます。

robots.txtテスター画面1

何も表示されない場合は正しくrobots.txtが設置されていませんので、ルートディレクトリに設置されているか確認してみましょう。

それでは記述内容にミスがないか確認してみましょう。

robots.txtテスター画面2

まずはrobots.txtテスター画面の下部のフォームに動作テストをしたいURLのドメイン以下の部分を入力します。

入力が完了したら右下にある赤枠の「テスト」ボタンを押すだけで完了です。

robots.txtテスター画面3

クローラーがアクセスできない状態である場合、robots.txtの記述箇所が赤く強調され、画面右下に「ブロック済み」というメッセージが表示されます。

アクセス可能な場合は緑色の文字で「許可済み」と表示されます。

このように使い方はとてもシンプルなのでぜひ試してみてください。

robots.txtの指示を書き換えてプレテストする

「robots.txt テスター」では画面上で直接robots.txtを書き換えて問題ないかプレテストをすることも可能です。
ただし、画面上で修正した記述内容はあくまでテストであり、実際のrobots.txtの中身が置き換わるわけではないため、注意しましょう。
修正する場合は以下のように、画面上にカーソルを合わせて直接入力を行います。

robots.txtテスター画面4

Robots.txtの構文に一致しない記述をすると×判定が出て、エラー扱いとなります。

robots.txtテスター画面5

このテスト機能はrobots.txtを修正する前の事前確認や、robots.txtが意図した通りに動くか検証する際に便利な機能です。

robots.txtテスターの注意点

最後にrobots.txtテスターに関する注意点を1つ紹介します。

例えばrobots.txtテスターでエラーを確認し、内容を正しく修正したとしてもGoogleはすぐに反映してくれません。

というのもGoogleのクロールとインデックスの仕組みは複雑で、反映されるまでの期間が明言されていないのです。

そのため多少タイムラグがあると思っていた方がよいでしょう。

ただすぐに反映してほしい場合は、リクエストを送信することを推奨いたします。

送信方法は下記のとおりです。
・robots.txtファイルを更新
・robots.txtテスターを開く
・画面右下の「送信」ボタンをクリック
・「アップロードされたバージョンを確認」から記述内容を確認
・「Googleに更新をリクエスト」をクリック

これで正しく更新のリクエストを通知することができます。ぜひ覚えておいてください。

まとめ

今回はrobots.txtテスターについて解説させていただきました。
上記の通り、robots.txtテスターを使うとrobots.txtを使用している場合、クローラーのアクセスが正しく制御されているのか確認することができます。

robots.txtファイルを作成した際にはきちんと設定されているかどうかを確認するためにも、robots.txtテスターを使って確認することが大切です。

   

    ねぎお社長のSEOメールマガジン(無料)

    【登録者1.8万人以上】SEOの最新情報をお届け!






    プライバシーポリシー

           

    2023年11月10日ねぎお社長 (根岸雅之)

    執筆者 / 監修者

    ねぎお社長 (根岸雅之)
    サクラサクマーケティング株式会社取締役 社長ねぎお社長 (根岸雅之)
    サクラサクマーケティング株式会社 取締役社長 COO

    1980年生まれ 大学卒業後、一貫して、広告・マーケティング業界に身を置く。2006年にSEM コンサルタントとして、インターネット総合代理店、株式会社オプトに入社。リスティング、ディスプレイ広告の運用から、SEOの施策提案など主にキーワードマーケティング領域に特化した業務に従事。同年10月に株式会社ブルトア(現サクラサクマーケティング株式会社)に転職。入社後は、営業をはじめ、SEOコンサルティング、新規事業開発、自社マーケ、人事、財務と幅広い領域を経験し、営業部長、執行役員、取締役と経て、2015 年に社名変更とともに取締役社長に就任。

    SEOコンサルタントとして大規模サイトから新規サイトまで、売上向上に繋がるコンサルティングを武器に200サイト以上の実績。2023年には『なぜほとんどコンテンツマーケティングは失敗に終わるのか?』を執筆。ねぎお社長のSEOチャンネルをはじめ、YouTube、メルマガ、SNを通じて積極的に情報発信。

    ◇ 出版書籍
    なぜほとんどコンテンツマーケティングは失敗に終わるのか?

    ◇ 情報発信
    ねぎお社長のSEOチャンネル
    ねぎお社長X(旧Twitter)
    ねぎお社長のAMAZON著者ページ
    ねぎお社長Facebook
    ねぎお社長Instagram
    ねぎお社長linkedin
    ねぎお社長note

    ◇ 掲載メディア
    リスティングプラス様 - 【最新版】SEOコンサルティングのプロが語る、今後中小企業が取り組むべきSEO対策
    シンフィールド様 - サクラサクマーケティング株式会社 取締役社長COO根岸 雅之氏に聞いた!SEO対策で最も重要なことを教えてください!

    ◇ 共催セミナー歴
    オウンドメディアの成功事例とSEOを支える運用型広告の活用
    今日から始められるWebマーケティング~コンテンツマーケティングとGoogle マイビジネス~
    GMO TECH × サクラサク共催セミナー~テクニカルSEOとコンテンツマーケ~
    リモート環境下においても売上・利益が成長し続ける組織創りと営業戦略

    その他のブログ記事

    Return Top