SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

Googleにインデックス登録をリクエストする方法とインデックスされないときのチェックポイント

ユーザーがGoogle検索をすると、検索結果が順位付けされて表示されますが、それはGoogleがあらかじめWebサイトの情報を収集・評価し、データベースに格納(インデックス)しているからです。収集・評価作業は、検索エンジンロボット(クローラー)が世界中のWebサイトを巡回(クロール)して行なっています。

公開したWebサイトや新規作成したページをいち早くクロール・インデックスしてもらうためにWebサイト運営者ができることを解説します。

Googleにインデックスされないと検索上にページが表示されない

SEO(Search Engine Optimization:検索エンジン最適化)で言う「インデックスさせる」とは、GoogleにWebサイト上のページを見つけてページの内容を読み取ってもらい、Googleのデータベースに情報を格納させることを指します。

参考:インデックスの仕組みとSEOとの関係
https://www.sakurasaku-labo.jp/blogs/seo-index

インデックスの一歩手前では、Googleのロボット(クローラー)にWebサイトに来てもらう(クロールしてもらう)必要があります。

Googleにインデックスさせるには3つの方法がある

GoogleのロボットがWebサイトをクロールするためには、クロールするべきURLを見つける必要があります。
URLを通知またはクロールをリクエストする方法は3つあります。

  • 内部リンク/外部リンク
  • XMLサイトマップ
  • URL検査ツール(旧fetch as Google)

このうちXMLサイトマップとURL検査ツールに関してはサーチコンソール上で管理や実行することができます。
サーチコンソールにまだ登録していないのであればあらかじめ登録しておきましょう。

サーチコンソールの使い方と登録方法
https://www.sakurasaku-labo.jp/blogs/google-search-console

Webサイト内や外部サイトからのリンク

まず1つ目で最も重要なのは、リンクを通じてURLを発見するというものです。
Googleのクローラーは、ページをクロールしている際にリンク(href属性が指定された<a>タグ)を見つけると、リンク先のページをクロール予定のリストに加えます。

この際リンク先がサイト内部か外部かであるかは特に関係がありません。

Webサイト内の以下のような位置に、適切にリンクを貼っておき、クローラーがリンクを通じてページを見つけられるようにしておきます。

  • グローバルメニュー
  • パンくずリスト
  • サイドバー
  • フッター
  • コンテンツ内からのリンク

逆に言うと、リンクによって見つけられるページでない場合、残る2つの方法を使わないとGoogleはURLを見つけられなくなってしまいます。

Googleは一度URLを見つけてしまえば定期的にそのURLのクロールを行いますが、新たにページを公開した際は特に、基本的には内部リンクでたどれるように設定しておくことがおすすめです。

XMLサイトマップ

Webサイト内のインデックスしてもらいたいページをまとめたXMLサイトマップ(sitemap.xml)を作成し、サーチコンソールから送信する方法です。これにより送信したURLのインデックス状況などを把握することができるようになります。

参考:Google Search Console(サーチコンソール)からサイトマップを送信する方法とエラーの対処方法
https://www.sakurasaku-labo.jp/blogs/search-console-sitemap

小さなWebサイトでは内部リンクさえしっかりしていれば特にXMLサイトマップを作成する必要はないかもしれません。
ただし、ある程度大きなサイトでは、XMLサイトマップを作成し、送信しておくことを強くおすすめします。
GoogleはXMLサイトマップのlastmodを参考にしてクロールを行うため、最終更新日を随時更新し、サイトマップファイルを常に最新に保っておくのがベストな施策です。
作成のポイントについては以下の記事も参照ください。

XMLサイトマップの作成方法とSEOのポイント
https://www.sakurasaku-labo.jp/blogs/xmlsitemap

Googleからサイトマップのlastmodが信用されていると、コンテンツを更新した際にサイトマップ上での変更を感知して、より迅速なインデックスにつながると考えられます。

URL検査ツール(旧fetch as Google)

基本的には、サーチコンソールにXMLサイトマップを送信すれば、新規ページは公開後まもなくインデックス登録されるはずです。何らかの理由でインデックスまでに時間がかかっている場合もしくは時間がかかることが予想される場合は、サーチコンソールのURL検査ツールを活用すると良いでしょう。

URL検査ツール(旧fetch as Google)を使うと、ページ(URL)のインデックス登録をクローラーにリクエストすることができます。

URL検査ツールの使い方1

インデックス登録のリクエスト1

参考:【サーチコンソール】URL検査ツール(旧:Fetch as Google)とは?初心者でも分かる簡単な使い方
https://www.sakurasaku-labo.jp/blogs/url-inspection-tool

ただし、URL検査ツールを通したインデックスリクエストはあくまで応急処置と考えるべきで、これを使わないとインデックスされないようなサイトは何かしら問題が発生している可能性があります。内部リンクやXMLサイトマップが適切かどうかを確認することをおすすめします。

「インデックス登録されましたが、サイトマップに送信していません」と表示されたらどうすればいいのか

サーチコンソールのURL検査ツールでWebサイト内のページを検査した際、検索結果のカバレッジに「インデックス登録されましたが、サイトマップに送信していません」というメッセージが表示されることがあります。

インデックス登録されましたが、サイトマップに送信していません

このメッセージには、「当該ページ(URL)のインデックス登録が成功した」と「当該ページ(URL)はXMLサイトマップ(sitemap.xml)に含まれていない」の2つの事柄が含まれています。後者について、Googleは「重要なURLはすべて、サイトマップを使用して送信すること」(Search Consoleヘルプ)を推奨しているので、アドバイスしてくれているのです。

インデックス登録は成功しているので、当該ページがXMLサイトマップ(sitemap.xml)に含まれていないからといって、Webサイト運営やランキングの上で特に影響は生じないはずです。
とはいえ、すでに述べた通り内部リンクやXMLサイトマップを通してインデックス登録させるのが望ましいため、このURLもXMLサイトマップ内に加えておくことをおすすめします。

インデックスの有無はどうやって確認する?

ページが実際にインデックスされているかどうかを確認するには、サーチコンソールのURL検査ツールを使用します。site:検索やキャッシュを見て確認する方法もありますが、サーチコンソールでURL検査ツールを実行するのが最も確実です。

インデックスリクエストの時と同様に、サーチコンソール上部のボックスに確認対象のページ(URL)を入力します。

インデックス有無の検査結果には、次の5種類があります。

  • URLはGoogleに登録されています
  • URLはGoogleに登録されていますが問題があります
  • URLがGoogleに登録されていません。インデックス登録エラー
  • URLがGoogleに登録されていません
  • URLは代替バージョンです

インデックスステータスの確認2

「URLはGoogleに登録されています」と「URLはGoogleに登録されていますが問題があります」については、すでにインデックスされています。
ただし、問題がありますと表示されているのであれば、カバレッジレポートを確認するとよいでしょう。モバイルユーザビリティや構造化データなどのエラーが考えられます。

その他の3つのメッセージが出た場合はインデックスされていません。結果の下に表示されるカバレッジレポートから原因を特定して改善しましょう。

ページがインデックスされていない場合の対応

インデックスされていない場合のメッセージそれぞれについて詳しく解説します。

URLがGoogleに登録されていません。インデックス登録エラー

このメッセージが表示される場合、Googleがクロールまたはインデックス拒否の指示を受けている場合があります。
カバレッジレポートには「クロールエラー」などと表記があるのではないでしょうか?

以下のような点を確認してみてください。

  • robots.txtでページのクロールを拒否していないか
  • IPアドレスやユーザーエージェントによりGooglebotを拒否していないか
  • ページにnoindexタグがついていないか
  • またはHTTPヘッダーにてnoindexを指定していないか
  • Webサイトが閲覧可能な状態になっているか(400番や500番台エラーが出ていないか)

URLは代替バージョンです

このメッセージが表示される場合、Googleが他に正規ページがあると判断していると考えられます。
カバレッジレポートの中の、正規URLに関する項目を見てみてください。

「Googleが選択した正規URL」が「ユーザーが指定した正規 URL と同じ」となっている場合は、ご自身でcanonicalタグなどで別ページを正規URLと指定している状態です。
その正規URLさえインデックスされていれば、今回調査したURLがインデックスされていなくても問題ありません。

「Googleが選択した正規URL」に「ユーザーが指定した正規 URL」と異なるURLが記載されている場合は、調査対象のURLが重複とみなされている可能性があります。
Googleは正規化されたURLを持つページを「正規」版としてクロール・インデックスしますが、そのほかのページは「重複」URLと見なされてインデックスされず、検索結果にも出現しません。
インデックスさせるためには次項で述べるように、コンテンツ改善などを行う必要があります。

場合によっては「ユーザーが指定した正規 URL」で意図せず誤ったURLを指定している場合も考えられます。rel=”canonical”による正規化が意図した通りになっているか確認してみましょう。

URLがGoogleに登録されていません

ページがインデックスされていない要因としては、大きくクロール要因とコンテンツ要因に分けられます。

コンテンツ要因では、コンテンツが薄いなど、ページの品質が低くなっている可能性があります。
重複コンテンツや低品質コンテンツが発生していないか確認するようにしましょう。

例えばGoogleは重複コンテンツを検索結果に出現させないように調整しています。重複コンテンツとは、Webサイト内外のコンテンツと「完全に同じであるか非常によく似たコンテンツのブロック」を持つコンテンツをいいます。

一般に、重複するコンテンツとは、ドメイン内または複数ドメインにまたがって存在する、他のコンテンツと完全に同じであるか非常によく似たコンテンツのブロックを指します。多くの場合、偽装を意図したものではありません。
Search Consoleヘルプ

Googleから重複コンテンツであるとみなされるようなページは、検索結果に出ないばかりか、そもそもインデックスされないケースもあります。

ページ内にオリジナルなコンテンツがあったとしても、他ページと共通するコンテンツが多すぎるとクローラーがオリジナルなコンテンツを判別しにくくなるためにインデックスされない可能性がありますので、このような観点から重複とみなされていないかチェックしてみましょう。

一方、クロール要因については、Webサイト内に不要なページが多すぎないかを確認します。
クローラーには、「クローラーバジェット」といって、1つのWebサイトで巡回できるページ数に上限値が設けられています。Webサイト内に不要なページが多すぎる場合、クロールバジェットが枯渇して十分にクローラーが巡回できていない可能性があります。

サーチコンソールのメニュー「インデックス」>「カバレッジ」のカバレッジレポートで、インデックスされているページ数と、意図的にインデックスされていない「除外」ステータスのページ数を比べてみます。

除外URL数が明らかに多い場合は、その原因を取り除くことでインデックス状況が改善する場合があります。

以上をふまえて、以下のような点を確認してみましょう。

  • ページ内のオリジナルなメインコンテンツ部分が、ナビゲーションなどのサイト共通要素と比べて少なくなっていないか
  • 他サイトからのコンテンツを拝借するなど、サイト自体のオリジナリティが低くなっていないか
  • URLパラメータなどによって重複ページが発生していないか
  • 発生した重複ページはリダイレクトまたは最低でもcanonicalによって正規化されているか
  • 発生した重複ページが無秩序にクロールされないようにnofollowやrobots.txtによるブロックをしているか
  • そもそも重複ページや低品質なページを生成しないようにしているか

ペナルティとインデックス

Googleのウェブマスター向けガイドラインに違反しているWebサイトは、Googleからペナルティを課されるリスクがあります。ペナルティの内容としては、検索順位の下降(圏外)やインデックスの削除などが挙げられます。
ただし、インデックスの削除とは言っても、厳密には検索結果に表示されなくなる措置です。
このような場合、site:検索やキーワード検索では検索結果に表示されない(=インデックスが確認できない)ものの、URL検査ツールではインデックス登録済みと表示される場合があります。
このことから思い当たるケースではペナルティを受けている可能性を考える必要があります。

Googleペナルティには手動ペナルティと自動ペナルティがあり、手動ペナルティが課せられているかどうかは、サーチコンソールのメニュー「セキュリティと手動による対策」>「手動による対策」で判断できます。

手動による対策

Webサイトがペナルティを受けていない正常な状態では、「問題は検出されませんでした」と表示されます。手動ペナルティを受けている場合には、Googleからの指摘のメッセージが表示されます。

もう一方の自動ペナルティについては、サーチコンソールでWebサイトの状態を判断することができません。確定的に判断することはできませんので、思い当たる原因をつぶしていくほかありません。

参考:Googleの手動・自動ペナルティがSEOに与える影響と原因・対策について
https://www.sakurasaku-labo.jp/blogs/seo-penalty

まとめ

ページ(URL)がインデックスされるためには、まずはURLをGoogleに見つけてもらわなければなりません。このページでは、Googleにインデックスを促す3つの方法を解説しました。

基本的にはXMLサイトマップと内部リンクをしっかり設定しておくことで、Googleが自動的にクロール・インデックスする状況にしておくことが理想です。
Googleがクロールできているにもかかわらずインデックスされていないような場合は、コンテンツに問題がある場合がほとんどです。ページの質を高めるアクションを取っていくことが必要です。

執筆者 / 監修者

監修者:根岸 雅之
監修者:根岸 雅之
サクラサクマーケティング株式会社 取締役社長 COO

1980年生まれ 東京都稲城市出身、都立三鷹高等学校、専修大学文学人文科学を卒業後、2003年に学校関連の広告・出版を扱う株式会社JS コーポレーションに入社。
3年勤務した後に、学生時代より、ベンチャー企業への興味関心が高かったこと、より企業の課題解決に向き合っていきたいという想いから、WEB マーケティング業界へ転身。
2006年にSEM コンサルタントとして、インターネット総合代理店、株式会社オプトに入社。リスティング、ディスプレイ広告の運用から、SEOの施策提案など主にキーワードマーケティング領域に特化した業務に従事。

同年10月に、当時4名のベンチャー企業であった当社の役員と共鳴し、転職。入社後は、営業をはじめ、SEOコンサルティング、新規事業開発、自社マーケ、人事、財務と幅広い領域を経験し、営業部長、執行役員、取締役と経て、2015 年に社名変更とともに取締役社長に就任。

SEOコンサルタントとして大規模サイトから新規サイトまで、売上向上に繋がるコンサルティングを武器に200サイト以上の実績。9年連続でラスベガスで開催されるPUBCONに参加するなど海外の最新のSEO情報の収集にも尽力。
現在は、サクラサクラボの編集長、サクラサクラボチャンネルでの情報発信などの自社マーケティングを通じてBtoBマーケティングにも精通し、ここで培ったノウハウをもとにコンサルティングを展開。

3歳から現在に至るまで、サッカーを続けており、組織マネジメントにおいて、この経験値を大いに活用している。

その他のブログ記事

Return Top