ブログ

robots.txtとnoindex

robots.txtとは

robots.txtとは

obots.txtとはクローラーロボットに対してディレクトリやファイル名ごとにブロックしたり、インデックスを許可しない指示を行うことができるファイルのことです。

GoogleやYahoo!などの検索エンジンには、主に情報収集や統計データを収取するために、検索エンジンのクローラー(Webページを監視するロボット)が巡回しています。
これによって、「このWebページはこういったコンテンツを提供している」と検索エンジンが認識(インデックス)するため、SEOに大きく関わる要因の一つと言えます。

ではなぜrobots.txtが必要なのでしょうか。
クローラーは内部リンクや被リンクを巡って対象のWebページに訪れるのですが、そもそもドメインごとにクローラーが訪問するページ数には限りがあります。
そこで、ドメインの中にある重要で訪問して欲しいWebページに誘導することで、限られたページを効率よくクロールしてもらい、SEO効果を高めることができるのです。

robots.txtの設定・設置方法

robots.txtの設置方法は、クローラーに訪問して欲しくないWebページの最上位ディレクトリにrobots.txtというファイル名でテキストファイルを置きます。
これをクローラーが認識してくれます。

robots.txtの設定方法としては、設置したrobots.txtのファイル内に
クローラーの指定(Googleなど、どのクローラーを対象にするのか)
・クロールの禁止(クロールを禁止するファイル)
・クロールの許可(クロールを許可するファイル)
などを設定して完了です。

noindexとは

noindexとは

指定したWebページを検索エンジンにインデックスさせないようにし、検索結果に表示させないようにするためのタグです。
同じドメインの中に複数のページがあったとして、一部のページが低品質だったとしたら、そのページにつられて良質なページの評価までもが下がってしまい、全体的に弱いドメインなってしまう可能性があります。
noindexを利用することで良質なページだけインデックスさせりことで、Webサイトの評価が下がらないようにするのです。

noindexの設定方法

下記のコードを対象とするWebページであるHTMLのheadセクションに記述します。
<meta name=”robots” content=”noindex”>
※XHTMLで記述するときは、最後を「/>」で終了します。

robots.txtによるブロックとnoindexを併用してはいけない

Webページがインデックスされた際にrobot.txtでブロックしていると、検索エンジンがnoindexを設定されているページを読みにいくことができなくなります。
そうすると、いつまでたってもインデックスから削除されない可能性がありますので、その場合はまずnoindexを利用し、インデックスが削除されてからrobots.txtでクローラーの訪問をブロックするように設定しましょう。

ページをブロックしたい場合の使い分け

では実際にどういった場合にrobots.txtを利用し、どういった場合にnoindexを利用するのが適切なのでしょうか?
いずれも検索エンジンに向けたSEO対策で利用することが多いのですが、利用する目的が違います。
クローラーを効率良く訪問させるために、一部のWebページについて検索エンジンをブロックしたい場合にはrobots.txt、検索エンジンにインデックスさせないようにし、検索結果に表示させたくない場合にはnoindexを利用するといいでしょう。

ただし、上記はいずれも一般ユーザーはアクセスできてしまうため、一般のユーザーには見せたくない場合には、basic認証やIPアドレスによるアクセス制限を設定する必要がありますのでご注意ください。

◇この記事もおすすめ!
・SEO対策(検索エンジン最適化)とは?初心者にもわかりやすく解説します





■関連情報:サクラサクマーケティングのSEOコンサルティングサービス
中小・ベンチャー企業の売上をサポートするSEO対策低価格・高品質なSEOコンサルティング

無料メルマガのご登録(無料)

SEOの最新情報を無料でお届けします!





プライバシーポリシー

監修者:根岸 雅之

記事一覧

取締役社長 COO

2006年株式会社オプトにてSEMコンサルタントとして、大手企業のリスティング広告の運用に従事。

その後、サクラサクマーケティング株式会社に転職し、SEOコンサルタントとして、10年以上、100サイトの以上の顧客のWEBマーケティングのパートナーを担う。また、セールス、新規企画開発、アライアンスと幅広く従事し、2014年より取締役社長として会社を牽引。



無料資料ダウンロード

サービス資料ダウンロード

用語集

ソースコード集

お役立ちリンク集

無料メルマガのご登録(無料)

SEOの最新情報を無料でお届けします!





プライバシーポリシー

お役立ちツール

カテゴリ一覧

タグクラウド

新着記事一覧

  1. SEO対策(検索エンジン最適化)とは~Googleで上位表示を実現する方法

    目次 1. SEO(Search Engine Optimization:検索エンジン最適化)とは2. SEOの現在(検索エンジン最適化≒Google最適化)2-1. 進化し続けるGoogleとSEO手法2-2. SEO […]...

    1. ウェブマスターオフィスアワーまとめ(2019年12月5日)

      2019年12月5日にウェブマスターオフィスアワーが行われました。 Googleの金谷さんとあんなさんが発言した内容をまとめます。 直近のイベント 11/23 ウェブ解析士会議大阪 11/25 ウェブマスターカンファレン […]...

      1. 最新SEO・コンテンツマーケティングセミナー随時開催中【東京】-Googleの最新トレンドからWEB集客戦略までSEOプロが徹底解説

        目次 セミナー概要以下のような方の参加がおススメですSEOセミナー内容講師紹介セミナー参加者の声&風景 セミナー概要 サクラサクマーケティングでは、社長の根岸が毎月4回、東京恵比寿の本社にて最新のSEO・コンテンツマーケ […]...

おすすめコンテンツ

  1. SEO対策(検索エンジン最適化)とは?初心者にもわかりやすく解説します

    SEO対策とは「検索エンジン最適化」のことで、数あるWeb集客手法の中でも、検索エンジンからの成果を最大化することです。基本的にはユーザーや検索エンジンからより評価されるように、WebサイトやWebページの変更・改修を続 […]...

    1. コンテンツマーケティングとは?特徴と事例、社内でできる方法を解説します

      ここ数年で急激にコンテンツマーケティングという言葉を聞くようになりました。しかし、「興味があるがまだ着手できていない」という人や、「そもそもどんなコンテンツを作ればいいのかわからない」、「社内で運用しているが成果がでない […]...

      1. SEOに強いコンテンツは回答性×網羅性×文字数×ユーザー体験

        目次 SEOに強いコンテンツとは回答性網羅性文字数ユーザー体験[回答性×網羅性×文字数×ユーザー体験]を考慮したSEOに強いコンテンツ制作お問い合わせフォーム SEOに強いコンテンツとは 検索エンジンで上位表示をさせるた […]...

最新情報を取得する

PAGE TOP