SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

robots.txtとnoindex

robots.txtとは

robots.txtとは

robots.txtとはクローラーロボットに対してディレクトリやファイル名ごとにブロックしたり、インデックスを許可しない指示を行うことができるファイルのことです。

GoogleやYahoo!などの検索エンジンには、主に情報収集や統計データを収取するために、検索エンジンのクローラー(Webページを監視するロボット)が巡回しています。
これによって、「このWebページはこういったコンテンツを提供している」と検索エンジンが認識(インデックス)するため、SEOに大きく関わる要因の一つと言えます。

ではなぜrobots.txtが必要なのでしょうか。
クローラーは内部リンクや被リンクを巡って対象のWebページに訪れるのですが、そもそもドメインごとにクローラーが訪問するページ数には限りがあります。
そこで、ドメインの中にある重要で訪問して欲しいWebページに誘導することで、限られたページを効率よくクロールしてもらい、SEO効果を高めることができるのです。

robots.txtの設定・設置方法

robots.txtの設置方法は、クローラーに訪問して欲しくないWebページの最上位ディレクトリにrobots.txtというファイル名でテキストファイルを置きます。
これをクローラーが認識してくれます。

robots.txtの設定方法としては、設置したrobots.txtのファイル内に
・クローラーの指定(Googleなど、どのクローラーを対象にするのか)
・クロールの禁止(クロールを禁止するファイル)
・クロールの許可(クロールを許可するファイル)
などを設定して完了です。

noindexとは

noindexとは

指定したWebページを検索エンジンにインデックスさせないようにし、検索結果に表示させないようにするためのタグです。
同じドメインの中に複数のページがあったとして、一部のページが低品質だったとしたら、そのページにつられて良質なページの評価までもが下がってしまい、全体的に弱いドメインなってしまう可能性があります。
noindexを利用することで良質なページだけインデックスさせりことで、Webサイトの評価が下がらないようにするのです。

noindexの設定方法

下記のコードを対象とするWebページであるHTMLのheadセクションに記述します。
<meta name=”robots” content=”noindex”>
※XHTMLで記述するときは、最後を「/>」で終了します。

robots.txtによるブロックとnoindexを併用してはいけない

Webページがインデックスされた際にrobot.txtでブロックしていると、検索エンジンがnoindexを設定されているページを読みにいくことができなくなります。
そうすると、いつまでたってもインデックスから削除されない可能性がありますので、その場合はまずnoindexを利用し、インデックスが削除されてからrobots.txtでクローラーの訪問をブロックするように設定しましょう。

ページをブロックしたい場合の使い分け

では実際にどういった場合にrobots.txtを利用し、どういった場合にnoindexを利用するのが適切なのでしょうか?
いずれも検索エンジンに向けたSEO対策で利用することが多いのですが、利用する目的が違います。
クローラーを効率良く訪問させるために、一部のWebページについて検索エンジンをブロックしたい場合にはrobots.txt、検索エンジンにインデックスさせないようにし、検索結果に表示させたくない場合にはnoindexを利用するといいでしょう。

ただし、上記はいずれも一般ユーザーはアクセスできてしまうため、一般のユーザーには見せたくない場合には、basic認証やIPアドレスによるアクセス制限を設定する必要がありますのでご注意ください。

メルマガでSEOのお役立ち情報を発信中!

robots.txt、noindexタグはどちらもクローラーの動きをコントロールするのに重要な要素です。
一方で間違った使い方をしてしまうと、サイトの流入減や順位の下落などにもつながってしまいます。
こうした基本的な情報やSEOの最新情報を常に手に入れておくことが、SEOにおいては重要な要素の一つです。

サクラサクラボではこうしたSEOの関連情報を無料のメルマガで発信中!

どなたでもお名前とメールアドレスのみで簡単に登録がいただけます!

↓↓↓メルマガ登録はコチラ↓↓↓

2020年7月16日監修者:根岸 雅之

執筆者 / 監修者

監修者:根岸 雅之
監修者:根岸 雅之
サクラサクマーケティング株式会社 取締役社長 COO

1980年生まれ 東京都稲城市出身、都立三鷹高等学校、専修大学文学人文科学を卒業後、2003年に学校関連の広告・出版を扱う株式会社JS コーポレーションに入社。
3年勤務した後に、学生時代より、ベンチャー企業への興味関心が高かったこと、より企業の課題解決に向き合っていきたいという想いから、WEB マーケティング業界へ転身。
2006年にSEM コンサルタントとして、インターネット総合代理店、株式会社オプトに入社。リスティング、ディスプレイ広告の運用から、SEOの施策提案など主にキーワードマーケティング領域に特化した業務に従事。

同年10月に、当時4名のベンチャー企業であった当社の役員と共鳴し、転職。入社後は、営業をはじめ、SEOコンサルティング、新規事業開発、自社マーケ、人事、財務と幅広い領域を経験し、営業部長、執行役員、取締役と経て、2015 年に社名変更とともに取締役社長に就任。

SEOコンサルタントとして大規模サイトから新規サイトまで、売上向上に繋がるコンサルティングを武器に200サイト以上の実績。9年連続でラスベガスで開催されるPUBCONに参加するなど海外の最新のSEO情報の収集にも尽力。
現在は、サクラサクラボの編集長、サクラサクラボチャンネルでの情報発信などの自社マーケティングを通じてBtoBマーケティングにも精通し、ここで培ったノウハウをもとにコンサルティングを展開。

3歳から現在に至るまで、サッカーを続けており、組織マネジメントにおいて、この経験値を大いに活用している。

その他のブログ記事

Return Top