SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

  • SEO・コンテンツマーケティングなら
    サクラサクマーケティングにお任せください。

robots.txtとnoindex

【無料】ねぎお社長のSEOメールマガジン※30秒で登録完了
購読者数は既18000人を突破!
SEO業界20年のねぎお社長が最新情報、ノウハウ、考え方などこのメルマガでしが入手できない情報を配信。SEO,コンテンツマーケティングで売上を上げたい方は、是非、ご購読下さい。
詳細はこちら

robots.txtとは

robots.txtとは

robots.txtとはクローラーロボットに対してディレクトリやファイル名ごとにブロックしたり、インデックスを許可しない指示を行うことができるファイルのことです。

GoogleやYahoo!などの検索エンジンには、主に情報収集や統計データを収取するために、検索エンジンのクローラー(Webページを監視するロボット)が巡回しています。
これによって、「このWebページはこういったコンテンツを提供している」と検索エンジンが認識(インデックス)するため、SEOに大きく関わる要因の一つと言えます。

ではなぜrobots.txtが必要なのでしょうか。
クローラーは内部リンクや被リンクを巡って対象のWebページに訪れるのですが、そもそもドメインごとにクローラーが訪問するページ数には限りがあります。
そこで、ドメインの中にある重要で訪問して欲しいWebページに誘導することで、限られたページを効率よくクロールしてもらい、SEO効果を高めることができるのです。

robots.txtの設定・設置方法

robots.txtの設置方法は、クローラーに訪問して欲しくないWebページの最上位ディレクトリにrobots.txtというファイル名でテキストファイルを置きます。
これをクローラーが認識してくれます。

robots.txtの設定方法としては、設置したrobots.txtのファイル内に
・クローラーの指定(Googleなど、どのクローラーを対象にするのか)
・クロールの禁止(クロールを禁止するファイル)
・クロールの許可(クロールを許可するファイル)
などを設定して完了です。

noindexとは

noindexとは

指定したWebページを検索エンジンにインデックスさせないようにし、検索結果に表示させないようにするためのタグです。
同じドメインの中に複数のページがあったとして、一部のページが低品質だったとしたら、そのページにつられて良質なページの評価までもが下がってしまい、全体的に弱いドメインなってしまう可能性があります。
noindexを利用することで良質なページだけインデックスさせりことで、Webサイトの評価が下がらないようにするのです。

noindexの設定方法

下記のコードを対象とするWebページであるHTMLのheadセクションに記述します。
<meta name=”robots” content=”noindex”>
※XHTMLで記述するときは、最後を「/>」で終了します。

robots.txtによるブロックとnoindexを併用してはいけない

Webページがインデックスされた際にrobot.txtでブロックしていると、検索エンジンがnoindexを設定されているページを読みにいくことができなくなります。
そうすると、いつまでたってもインデックスから削除されない可能性がありますので、その場合はまずnoindexを利用し、インデックスが削除されてからrobots.txtでクローラーの訪問をブロックするように設定しましょう。

ページをブロックしたい場合の使い分け

では実際にどういった場合にrobots.txtを利用し、どういった場合にnoindexを利用するのが適切なのでしょうか?
いずれも検索エンジンに向けたSEO対策で利用することが多いのですが、利用する目的が違います。
クローラーを効率良く訪問させるために、一部のWebページについて検索エンジンをブロックしたい場合にはrobots.txt、検索エンジンにインデックスさせないようにし、検索結果に表示させたくない場合にはnoindexを利用するといいでしょう。

ただし、上記はいずれも一般ユーザーはアクセスできてしまうため、一般のユーザーには見せたくない場合には、basic認証やIPアドレスによるアクセス制限を設定する必要がありますのでご注意ください。

メルマガでSEOのお役立ち情報を発信中!

robots.txt、noindexタグはどちらもクローラーの動きをコントロールするのに重要な要素です。
一方で間違った使い方をしてしまうと、サイトの流入減や順位の下落などにもつながってしまいます。
こうした基本的な情報やSEOの最新情報を常に手に入れておくことが、SEOにおいては重要な要素の一つです。

サクラサクラボではこうしたSEOの関連情報を無料のメルマガで発信中!

どなたでもお名前とメールアドレスのみで簡単に登録がいただけます!

↓↓↓メルマガ登録はコチラ↓↓↓

   

    ねぎお社長のSEOメールマガジン(無料)

    【登録者1.8万人以上】SEOの最新情報をお届け!






    プライバシーポリシー

           

    2020年11月27日ねぎお社長 (根岸雅之)

    執筆者 / 監修者

    ねぎお社長 (根岸雅之)
    サクラサクマーケティング株式会社取締役 社長ねぎお社長 (根岸雅之)
    サクラサクマーケティング株式会社 取締役社長 COO

    1980年生まれ 大学卒業後、一貫して、広告・マーケティング業界に身を置く。2006年にSEM コンサルタントとして、インターネット総合代理店、株式会社オプトに入社。リスティング、ディスプレイ広告の運用から、SEOの施策提案など主にキーワードマーケティング領域に特化した業務に従事。同年10月に株式会社ブルトア(現サクラサクマーケティング株式会社)に転職。入社後は、営業をはじめ、SEOコンサルティング、新規事業開発、自社マーケ、人事、財務と幅広い領域を経験し、営業部長、執行役員、取締役と経て、2015 年に社名変更とともに取締役社長に就任。

    SEOコンサルタントとして大規模サイトから新規サイトまで、売上向上に繋がるコンサルティングを武器に200サイト以上の実績。2023年には『なぜほとんどコンテンツマーケティングは失敗に終わるのか?』を執筆。ねぎお社長のSEOチャンネルをはじめ、YouTube、メルマガ、SNを通じて積極的に情報発信。

    ◇ 出版書籍
    なぜほとんどコンテンツマーケティングは失敗に終わるのか?

    ◇ 情報発信
    ねぎお社長のSEOチャンネル
    ねぎお社長X(旧Twitter)
    ねぎお社長のAMAZON著者ページ
    ねぎお社長Facebook
    ねぎお社長Instagram
    ねぎお社長linkedin
    ねぎお社長note

    ◇ 掲載メディア
    リスティングプラス様 - 【最新版】SEOコンサルティングのプロが語る、今後中小企業が取り組むべきSEO対策
    シンフィールド様 - サクラサクマーケティング株式会社 取締役社長COO根岸 雅之氏に聞いた!SEO対策で最も重要なことを教えてください!

    ◇ 共催セミナー歴
    オウンドメディアの成功事例とSEOを支える運用型広告の活用
    今日から始められるWebマーケティング~コンテンツマーケティングとGoogle マイビジネス~
    GMO TECH × サクラサク共催セミナー~テクニカルSEOとコンテンツマーケ~
    リモート環境下においても売上・利益が成長し続ける組織創りと営業戦略

    その他のブログ記事

    Return Top