AdSenseにログインした時、管理画面の上部に「広告クローラのエラーが生じており、収益の損失が発生する可能性があります。」とメッセージが表示された場合の対処法について、実際に発生した事例を元に紹介します。

広告クローラーとは

クローラー(Crawler)は、ウェッブページのコンテンツを読み取って分析を行うソフトウェアのことです。クローラーは、スパイダー(spider)またはボット(bot)とも呼ばれています。クローラーでは、検索エンジンのクローラーが有名です。Googleのクローラーは役割ごとに種類があり、広告用クローラーは端末別に細分化されています。

クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。AdSense クローラは、関連性の高い広告を配信するため、サイトにアクセスしてコンテンツを分析します。

AdSense クローラーについて

冒頭で紹介したAdSenseのメッセージの広告クローラ（クローラー）とAdSenseクローラ（クローラー）は同じものです。検索エンジンのGoogle クローラー（ボット、Googlebot）とAdSenseのクローラーは、別個のものです。しかし、キャッシュを共有するなど連携しているところもあります。

また、AdSenseに関連するクローラーは1種類ではなく、役割ごとに細分化されたクローラーがあります。（検索エンジンのクローラーもいろいろな種類があります。）

AdSense 広告クローラーのエラーメッセージが表示された場合の対処法

エラーメッセージの右側に表示される「操作」をクリックします。

「クローラ エラー」ページが表示されます。このページは、［設定］内の［ステータス］に属する［クローラ エラー］のページです。

クローラー エラーの説明について

クローラー エラーのページには、以下の様な説明が表示されていました。

クローラが [ブロックされた URL] 列に記載されたページにアクセスできず、コンテンツを分析して広告を表示することができません。各ドメインの横のプラス アイコンをクリックして、ブロックされている URL の詳しいリストをご覧ください。クローラがコンテンツにアクセスできないと、広告が表示されないため、広告の収益と掲載率は低下します。[エラー] 列のリンクをクリックしてエラーを修正する方法をご確認ください。

［ブロックされたURL］は、何らかの理由（問題）によって、クローラーがページにアクセスできない状態になっていると言う意味です。表示されているトップドメインURLの左の”+”をクリックすると、クローラーがアクセスできないページのリストが表示されます。下の画面は、クリックしてURLのリストが表示された状態です。

エラーが発生したページの種類

クローラーエラーページを次の日に表示してみたところ、エラーのリストに他のURL（トップドメイン、別サイト）が加わって表示されました。

エラーリストのURLを確認する

エラーの列には、「ページが見つかりません」と表示されています。まずは、ブラウザーで表示されたURLにアクセスしてみました。

エラーが発生したページは以下の3種類です。

• 過去に削除して現在は存在しないページ
• AMPページ
• プレビューページ

過去に削除して現在は存在しないページにアクセスしてみたところ、404 エラー ページが表示されました。ブラウザーでAMPページのURLにアクセスしたところ、ページが表示されませんでした。プレビューページのURLにアクセスしたところ、投稿後のページにリダイレクトされてページが表示されました。

過去に削除して現在は存在しないページとプレビューページは、クローラーエラーが発生しても実質的には問題はありません。特に対応すべきこともないです。今回のエラーで対応が必要となるのは、AMPページです。

AMPページが表示されない理由を調査するにジャンプ

過去に削除して現在は存在しないページがクローラーエラーとなる理由

既に存在しないURLがクローラーエラーとして含まれる場合は、404 エラー ページにAdSenseのコードが設置されてしまっていることが条件としてあります。404 ページが表示されることは、比較的頻繁に起こり得ます。そのため、404 エラー ページにAdSenseのコードが設置されていることに加えて、何らかの条件が含まれている可能性もあります。

可能性として考えられるのは、過去に存在したページを削除した場合です。ある程度の期間にページに訪問がなく、AdSenseの広告が表示されていない場合、そのページにしばらくぶりにアクセスがあって、広告リクエストが発生すると、クローラーがページを訪問してページの再解析を行う様に仕様が変更されたと認識しています。（この件については、別途、記事を投稿する予定です）

過去に存在していたページを削除した場合、しばらくぶりにそのページURLへのアクセスが発生した場合、クローラーが訪問します。ページが削除されているため、404 エラーが返されたために、クローラーエラーとなった可能性が考えられます。

プレビューページがクローラーエラーとなる理由

記事を作成途中にプレビューページを表示した時、プレビューページにAdSenseのコードが設置されていた場合、AdSenseのスクリプトコードが広告リクエスト(ad request)をAdSenseのシステムに送ります。過去にAdSenseの広告が配信されたことの無いページから広告リクエストを受け取ると、広告クローラーがそのページを訪問しようとします。

WordPressでは未投稿のプレビューページは、広告クローラーはアクセスすることができない仕様になっていると推測します。クローラーがアクセスできなかったためエラーとなったと考えられます。

尚、投稿済みのページを編集している時にプレビューページを表示した場合は、クローラーはアクセスできる状態となること、または既に投稿されているページでクローラーも訪問済みのため、プレビューページを訪問しないことのどちらかの理由で、クローラーエラーとはならないと推測しています。

AMPページが表示されない理由を調査する

ページが表示されない理由は、サーバーが一時的にダウンしている、ネットワークに問題が発生した、システムに何らかの問題がある、ページやサイトの設定に不具合があるなど、様々な可能性があります。状況に応じて、問題の原因と思われる事柄を絞り込んでいくのが基本的なアプローチです。

以下に、状況から思い当たる可能性を試しながら、問題の発生原因を絞り込んで行く例を紹介します。実際には、様々なケースがあるため、あくまでも1つの例です。予めご了承下さい。

今回紹介する事例では、エラーとなっているURLの末尾に、”amp/”があることから、AMPページにおいて何らかの問題が発生していることが考えられます。表示されないAMPページの通常ページにアクセスしたところ、通常ページは問題なく表示されました。サーバーがダウンしているなど、サーバー側の問題ではなく、AMPページに関連する問題であると原因を絞り込んでいくことができます。

エラーのURLは68個と表示されていました。エラー数が多いことから、特定のAMPページでなく、全てのAMPページがアクセスできない状態になっている可能性が高いと考えられます。エラーリストにないURLのAMPページにアクセスしてみたところ、そのページも表示されませんでした。このことにより、サイトのAMPページ全体で表示されない問題が発生していることが判明しました。

問題が発生しているサイトでは、プラグインを使用してAMP化を行なっています。プラグインのバグやアップデートによって何らかの問題が発生することもあります。その様な時は、同様の現象が発生していることについてサポートフォーラムに投稿がある場合が多いです。場合によっては、同様の質問がフォーラムに多量に投稿されていることもあります。

プラグインのサポートフォーラムを訪問してみましたが、同様の問題についての質問はありませんでした。サポートフォーラムに同様の問題についての投稿がないことから、プラグイン自体の問題ではなく、サイト固有の可能性が高くなりました。通常ページは問題なく表示されているため、プラグインは問題がなくても、何らかの理由でプラグインが正常に動作していないなどの可能性があると考えられます。

プラグインが停止しているなどの可能性もあります。念のため見てみましたが、プラグインは有効になっていました。このプラグインについての情報を調べたところ、比較的大きなバージョンアップデートが最近行われたことが分かりました。このサイトは、ミックスホストのレンタルサーバーを利用しています。ミックスホストは、LiteSpeed Web サーバーであることが特徴です。LiteSpeed Cacheと呼ばれるキャッシュを使用して、高速化を実現しています。

サーバーのキャッシュに保管されているプラグインの設定などの情報とアップデートされたプラグインの設定や内容などが連携が取れていないと不具合が発生することがあります。LiteSpeed サーバーのキャッシュを削除（パージ）してみたところ、AMPページが表示されるようになりました。

備考：
LightSpeed サーバーのキャシュの削除は、LightSpeed Cache プラグインの管理ページ（下の画像のページ）から行うかWordPressの管理画面のトップバーに表示される「LiteSpeed 全てのキャッシュをパージ」をクリックして行います。

表示されなくなっていたAdSense クローラーエラーのURLにアクセスしてページが表示されるようになったので、問題も解決したと思われます。念のためGoogleの提供するAMP Testのページでテストを行い、問題なくテストが行われパスしたことを確認しました。AMP Test は、ページのコンテンツを解析を行います。ページにアクセスできなければ、テストでもエラーになります。

Google Search Console のFetch as Googleでもアクセスしてみましたが、問題なくフェッチできました。恐らく、今回はこれで問題は解決したと思います。

存在しないURLでのクローラー エラーについての考察

AdSenseアカウントのトップページなどに広告クローラーのエラーが発生しているとメッセージが表示されてから3日目のクローラーエラーページでは、AMPページのエラーがなくなりました。クローラーがURLにアクセスできるようになったために、エラーリストに表示されなくなった思われます。

存在しないURLの方には新たなURLが加わって表示されました。今回エラーに追加されたURLは、URLのストラクチャー（構造）がサイト上に存在しない者で、過去に存在したものではありません。具体的な事例を以下に記します。

エラーリストのURL: www.example.com/abc/123.htm
存在するURL: www.example.com/abc-123.html

“-“を”/”にしてアクセスされたため404エラーとなり、クローラーエラーとなったと思われます。過去に削除して現在は存在しないページがクローラーエラーとなる理由について、過去に存在したページなどの条件があるのではないかと当初考えましたが、今回のエラー事例から、特に追加の条件はなくても、404 エラーページにAdSense のコードが設置されている状態で、ブラウザーなどでアクセスした際に404 ページが表示された場合、そのURLがクローラーエラーとなる可能性が高いと考えています。

Googleからの通知やホームにメッセージが表示されなければ大丈夫

404エラーやプレビューによるクローラーエラーは、比較的起こりがちです。クローラーエラーページに存在しないURLやプレビューページが表示されていても、問題はありません。プレビューや存在しないページのURLは、数日（場合によっては翌日）後には、削除されて表示されなくなります。（いつまでも同じURLが表示されている場合は、調査が必要です。）

以下は存在しないURLでのクローラー エラー ページについての考察で紹介した存在しないURLとプレビューのURLのエラーが表示されていた時から一日後のクローラーエラーのページです。エラーのURLは、表示されなくなっています。

重要度が高い（深刻な）問題が発生した場合は、Googleから通知が届いたり、アカウントページのトップバーの下にメッセージが表示されます。その様な場合は、速やかな調査と対応が必要です。