SEO研究所サクラサクラボ

SEO・コンテンツマーケティングを成功に導くパートナー

「送信されたURLのクロールに問題があります」サーチコンソールのエラー対処法

運営しているWebサイトについて、Googleから「『インデックス カバレッジ』の問題が新たに検出されました」というメールが届くことがあるでしょう。Googleは、クローラーが発見したWebページの情報を順次データベースに格納(インデックス)していきます。何らかの問題によりインデックスに失敗すると、そのWebページはGoogle検索結果に表示されません。SEO的にはページが存在していないのと同義ともいえるので、早急な対処が必要です。

「送信されたURLのクロールに問題があります」は、インデックスエラー(『インデックスカバレッジ』の問題)の一種です。このエラーが生じるケースと対処法について、解説します。

「送信されたURLのクロールに問題があります」エラーとは

サーチコンソールのインデックスカバレッジレポート(画面左のメニュー「インデックス」>「カバレッジ」)には、Webサイトのインデックス状況が表示されます。

インデックスされない原因となった各エラーがリストアップされていますが、「送信されたURLのクロールに問題があります」もインデックスされない理由の1つです。

とはいえ、これまでGoogleはインデックスされない理由を正確に把握もしくはレポートできておらず、詳細は個々のページを調査する必要がありました。

ところが、2021年初頭のカバレッジレポート改善のタイミングで、「送信されたURLのクロールに問題があります」に該当するエラーが激減しました。

「送信されたURLのクロールに問題があります」エラーとは

おそらく以下の改善によるものだと考えられます。

Removal of the generic “crawl anomaly” issue type – all crawls errors should now be mapped to an issue with a finer resolution.
(訳:クロールエラータイプを除外し、全てのクロールエラーはより明確なエラーに割り当てられます。)
Google検索セントラルブログ

 

今後該当するエラー項目がなくなる可能性がありますが、備忘録としてこの記事で対応方法について解説します。

「送信されたURLのクロールに問題があります」エラーの原因

「送信されたURLのクロールに問題があります」に割り振られるのは、何らかの原因があるものの、インデックスされない理由を正確に把握もしくはレポートできないものがこのメッセージに割り振られているのだと考えます。

インデックスされなかった理由は以下のようなものが考えられます。

・サーバーエラー(5xx)
・リダイレクトエラー(リダイレクトチェーンなど)
・robots.txtによりブロックされている
・noindexが挿入されている
・404ページである
・404以外の4xxページである
・ソフト404である
・一時的なサーバーエラーなど、後追いができないもの

「クロールに問題があります」というメッセージだけではどのような理由であるかがわからないため、個別に調べる必要があります。

なお、「送信されたURLが(に)……」の各エラーは、当該URLをGoogleにインデックスしてほしいURLとしてサイトマップ(sitemap.xml)にて送信しているにもかかわらず、何らかの理由でインデックスできなかったことを示しています。
後述する確認作業に並行して、これらのURLがインデックスさせるべきURLであるかを確認し、そうでないのであればサイトマップから除外するようにしましょう。

(参考:インデックスカバレッジレポートの見方とエラーや除外への対処法

「送信されたURLのクロールに問題があります」エラーの対処法

「送信されたURLのクロールに問題があります」に割り振られるエラーの原因は前述した通りで一概にはいえません。原因特定が難しいケースも存在しますが、まずは、エラーが検出されたURLをひとつひとつ調査することをおすすめします。

エラー対象のURLを確認する

インデックスカバレッジレポートの画面下部に表示される検出メッセージをクリックすると、エラー対象のURLが表示されます。

エラー対象のURLを確認する

対処法① 目視確認

ページの目視を行いながらソースコードやステータスコードを確認します。

・ページのレンダリング状態におかしなところはないか
・ページにnoindexは挿入されていないか(ソースコードやHTTPヘッダーを確認)
・ステータスコードは正常か(デベロッパーツールやステータスコード確認ツールを使用)
・robots.txtによってブロックされていないか(robots.txtテスターを使用)

参考
デベロッパーツールを使用したHTTPヘッダーの確認方法
robots.txtテスターの使い方・注意点を解説

対処法② URL検査ツールでページをデバッグ(公開URLのテスト)し、原因を調べる

サーチコンソールの画面上部にあるURL検査ツールにURLを入力して、対象URLの以下のような点を確認しましょう。
• JavaScriptのコンソールメッセージにエラーは表示されていないか
• 読み込めなかったリソースの中にrobots.txtでブロックしているファイルやページはないか
• HTMLソースやスクリーンショットにおかしな点はないか

(参考:URL検査ツール(旧:Fetch as Google)とは?初心者でも分かる簡単な使い方

対処法③ Webサーバーのアクセスログ、エラーログを精査する

可能ならばWebサーバーのアクセスログやエラーログを閲覧し、エラー対象のURLがクロールされたときにどんな挙動をしているか精査します。
特に、ステータスコードを確認するとよいでしょう。

不具合を解消したら、Googleに再クロールを依頼する

エラー対象の原因がわかって、全ページの不具合を解消できたら、「修正を検証」をクリックし、Googleに検証(再クロール)を依頼します。

修正を検証

参考:インデックスカバレッジレポートの見方とエラーや除外への対処法

まとめ

「送信されたURLのクロールに問題があります」エラーはカバレッジレポートの改善が行われた2021年現在、すでに減少している(もしくは出なくなっている)可能性があります。

以前このエラーが出ていたサイトは何かしらのインデックスエラーが発生していることに変わりはありませんので、デバッグ・改善する必要があります。

執筆者 / 監修者

ねぎお社長 (根岸雅之)
ねぎお社長 (根岸雅之)
サクラサクマーケティング株式会社 取締役社長 COO

1980年生まれ 東京都稲城市出身、都立三鷹高等学校、専修大学文学人文科学を卒業後、2003年に学校関連の広告・出版を扱う株式会社JS コーポレーションに入社。
3年勤務した後に、学生時代より、ベンチャー企業への興味関心が高かったこと、より企業の課題解決に向き合っていきたいという想いから、WEB マーケティング業界へ転身。
2006年にSEM コンサルタントとして、インターネット総合代理店、株式会社オプトに入社。リスティング、ディスプレイ広告の運用から、SEOの施策提案など主にキーワードマーケティング領域に特化した業務に従事。

同年10月に、当時4名のベンチャー企業であった当社の役員と共鳴し、転職。入社後は、営業をはじめ、SEOコンサルティング、新規事業開発、自社マーケ、人事、財務と幅広い領域を経験し、営業部長、執行役員、取締役と経て、2015 年に社名変更とともに取締役社長に就任。

SEOコンサルタントとして大規模サイトから新規サイトまで、売上向上に繋がるコンサルティングを武器に200サイト以上の実績。9年連続でラスベガスで開催されるPUBCONに参加するなど海外の最新のSEO情報の収集にも尽力。
現在は、サクラサクラボの編集長、サクラサクラボチャンネルでの情報発信などの自社マーケティングを通じてBtoBマーケティングにも精通し、ここで培ったノウハウをもとにコンサルティングを展開。

3歳から現在に至るまで、サッカーを続けており、組織マネジメントにおいて、この経験値を大いに活用している。

その他のブログ記事

Return Top