ブロギングライフ

ブログサイト運営関連、AdSenseについての情報などを発信しています。

AdSenseで広告クローラーのエラーメッセージが表示された場合の対処法

AdSenseで広告クローラーのエラーメッセージが表示された場合の対処法

AdSenseにログインした時、管理画面の上部に「広告クローラのエラーが生じており、収益の損失が発生する可能性があります。」とメッセージが表示された場合の対処法について、実際に発生した事例を元に紹介します。

AdSense アカウントページに広告クローラのエラーメッセージ表示例

備考:
2018年12月後半に、GoogleはクロールされていないURLから届く広告リクエストについての入札をより厳しく制限する方式を導入する広告配信仕様変更を行いました。この仕様変更後、広告クローラーエラーが発生する頻度も高くなったと認識しています。プレビューや存在しないページのURLが、クローラーエラーページに表示されている場合は、過剰に発生しない限り、特に問題はありません。

広告クローラーとは

クローラー(Crawler)は、ウェッブページのコンテンツを読み取って分析を行うソフトウェアのことです。クローラーは、スパイダー(spider)またはボット(bot)とも呼ばれています。クローラーでは、検索エンジンのクローラーが有名です。Googleのクローラーは役割ごとに種類があり、広告用クローラーは端末別に細分化されています。

クローラは、ウェブページのコンテンツの解析とインデックス登録に使用されるソフトウェアで、スパイダーまたはボットとも呼ばれます。AdSense クローラは、関連性の高い広告を配信するため、サイトにアクセスしてコンテンツを分析します。

備考:
Googleのヘルプページには、「クローラー」ではなく「クローラ」となっています。一方で、「スパイダ」ではなく「スパイダー」と記述があります。英語では、CrawlerとSpiderです。カタカナ表記で語尾を伸ばすか伸ばさないかの違いですが、表示を統一した方が良いこと、どちらも英語の読みとしては多少なりとも伸ばして読むので、表記方法に統一感を持たせる(首尾一貫したものとする)ため、本サイトでは「クローラー」、「スパイダー」と表記しています。Userを、「ユーザ」ではなく「ユーザー」と表記する方が一般的なことと基本的には同じです。

AdSense クローラーについて

冒頭で紹介したAdSenseのメッセージの広告クローラ(クローラー)とAdSenseクローラ(クローラー)は同じものです。検索エンジンのGoogle クローラー(ボット、Googlebot)とAdSenseのクローラーは、別個のものです。しかし、キャッシュを共有するなど連携しているところもあります。

また、AdSenseに関連するクローラーは1種類ではなく、役割ごとに細分化されたクローラーがあります。(検索エンジンのクローラーもいろいろな種類があります。)

AdSense 広告クローラーのエラーメッセージが表示された場合の対処法

エラーメッセージの右側に表示される「操作」をクリックします。

操作をクリックします

「クローラ エラー」ページが表示されます。このページは、[設定]内の[ステータス]に属する[クローラ エラー]のページです。

AdSense管理メニュー内のクローラエラーページメニュー

クローラー エラーの説明について

クローラー エラーのページには、以下の様な説明が表示されていました。

クローラが [ブロックされた URL] 列に記載されたページにアクセスできず、コンテンツを分析して広告を表示することができません。各ドメインの横のプラス アイコンをクリックして、ブロックされている URL の詳しいリストをご覧ください。クローラがコンテンツにアクセスできないと、広告が表示されないため、広告の収益と掲載率は低下します。[エラー] 列のリンクをクリックしてエラーを修正する方法をご確認ください。

[ブロックされたURL]は、何らかの理由(問題)によって、クローラーがページにアクセスできない状態になっていると言う意味です。表示されているトップドメインURLの左の”+”をクリックすると、クローラーがアクセスできないページのリストが表示されます。下の画面は、クリックしてURLのリストが表示された状態です。

AdSense クローラーエラーメッセージのページ表示例

エラーが発生したページの種類

クローラーエラーページを次の日に表示してみたところ、エラーのリストに他のURL(トップドメイン、別サイト)が加わって表示されました。

AdSense クローラーエラーが発生したURL表示例

エラーリストのURLを確認する

エラーの列には、「ページが見つかりません」と表示されています。まずは、ブラウザーで表示されたURLにアクセスしてみました。

エラーが発生したページは以下の3種類です。

  • 過去に削除して現在は存在しないページ
  • AMPページ
  • プレビューページ

過去に削除して現在は存在しないページにアクセスしてみたところ、404 エラー ページが表示されました。ブラウザーでAMPページのURLにアクセスしたところ、ページが表示されませんでした。プレビューページのURLにアクセスしたところ、投稿後のページにリダイレクトされてページが表示されました。

過去に削除して現在は存在しないページとプレビューページは、クローラーエラーが発生しても実質的には問題はありません。特に対応すべきこともないです。今回のエラーで対応が必要となるのは、AMPページです。

AMPページが表示されない理由を調査するにジャンプ

備考:
今回の事例では、AMPページは表示されませんでしたが、広告クローラーエラーとなっているURLにブラウザーではアクセスできる場合は、robots.txtなどの設定などによる場合もあります。クローラーエラーとなる問題の例については、AdSenseヘルプページの説明をご参照下さい。ある日突然、AdSenseで広告クローラーエラーが発生した場合は、ブラウザーでアクセスしても、同様にページが表示されない可能性が高いです。広告クローラーエラーが、散発的、または慢性的に発生している場合は、robots.txtなどの設定などによる可能性が考えられます。

過去に削除して現在は存在しないページがクローラーエラーとなる理由

既に存在しないURLがクローラーエラーとして含まれる場合は、404 エラー ページにAdSenseのコードが設置されてしまっていることが条件としてあります。404 ページが表示されることは、比較的頻繁に起こり得ます。そのため、404 エラー ページにAdSenseのコードが設置されていることに加えて、何らかの条件が含まれている可能性もあります。

可能性として考えられるのは、過去に存在したページを削除した場合です。ある程度の期間にページに訪問がなく、AdSenseの広告が表示されていない場合、そのページにしばらくぶりにアクセスがあって、広告リクエストが発生すると、クローラーがページを訪問してページの再解析を行う様に仕様が変更されたと認識しています。(この件については、別途、記事を投稿する予定です)

過去に存在していたページを削除した場合、しばらくぶりにそのページURLへのアクセスが発生した場合、クローラーが訪問します。ページが削除されているため、404 エラーが返されたために、クローラーエラーとなった可能性が考えられます。

備考:
今回のクローラーエラーについてのメッセージを受け取ってから3日目の時点でのクローラーエラーのURLには、過去に存在しないURLが含まれていました。過去に存在したページなどの条件があると上に書きましたが、404 エラーページにAdSense のコードが設置されている状態で、ブラウザーなどでアクセスした際に404 ページが表示された場合、そのURLがクローラーエラーとなる可能性が高いと考えています。

プレビューページがクローラーエラーとなる理由

記事を作成途中にプレビューページを表示した時、プレビューページにAdSenseのコードが設置されていた場合、AdSenseのスクリプトコードが広告リクエスト(ad request)をAdSenseのシステムに送ります。過去にAdSenseの広告が配信されたことの無いページから広告リクエストを受け取ると、広告クローラーがそのページを訪問しようとします。

WordPressでは未投稿のプレビューページは、広告クローラーはアクセスすることができない仕様になっていると推測します。クローラーがアクセスできなかったためエラーとなったと考えられます。

尚、投稿済みのページを編集している時にプレビューページを表示した場合は、クローラーはアクセスできる状態となること、または既に投稿されているページでクローラーも訪問済みのため、プレビューページを訪問しないことのどちらかの理由で、クローラーエラーとはならないと推測しています。

備考:
CMSによるパラメータハンドリングなどの仕様やrobots.txtの設定などにもよりますが、AdSenseの審査でもWordPressのサイトでプレビューページを頻繁に表示すると、「サイトの所有権が確認できませんでした。」というメッセージで非承認となる事例が多くあります。クローラーがプレビューページにアクセスできなかったことが理由と推測しています。

AMPページが表示されない理由を調査する

ページが表示されない理由は、サーバーが一時的にダウンしている、ネットワークに問題が発生した、システムに何らかの問題がある、ページやサイトの設定に不具合があるなど、様々な可能性があります。状況に応じて、問題の原因と思われる事柄を絞り込んでいくのが基本的なアプローチです。

以下に、状況から思い当たる可能性を試しながら、問題の発生原因を絞り込んで行く例を紹介します。実際には、様々なケースがあるため、あくまでも1つの例です。予めご了承下さい。

今回紹介する事例では、エラーとなっているURLの末尾に、”amp/”があることから、AMPページにおいて何らかの問題が発生していることが考えられます。表示されないAMPページの通常ページにアクセスしたところ、通常ページは問題なく表示されました。サーバーがダウンしているなど、サーバー側の問題ではなく、AMPページに関連する問題であると原因を絞り込んでいくことができます。

エラーのURLは68個と表示されていました。エラー数が多いことから、特定のAMPページでなく、全てのAMPページがアクセスできない状態になっている可能性が高いと考えられます。エラーリストにないURLのAMPページにアクセスしてみたところ、そのページも表示されませんでした。このことにより、サイトのAMPページ全体で表示されない問題が発生していることが判明しました。

問題が発生しているサイトでは、プラグインを使用してAMP化を行なっています。プラグインのバグやアップデートによって何らかの問題が発生することもあります。その様な時は、同様の現象が発生していることについてサポートフォーラムに投稿がある場合が多いです。場合によっては、同様の質問がフォーラムに多量に投稿されていることもあります。

プラグインのサポートフォーラムを訪問してみましたが、同様の問題についての質問はありませんでした。サポートフォーラムに同様の問題についての投稿がないことから、プラグイン自体の問題ではなく、サイト固有の可能性が高くなりました。通常ページは問題なく表示されているため、プラグインは問題がなくても、何らかの理由でプラグインが正常に動作していないなどの可能性があると考えられます。

プラグインが停止しているなどの可能性もあります。念のため見てみましたが、プラグインは有効になっていました。このプラグインについての情報を調べたところ、比較的大きなバージョンアップデートが最近行われたことが分かりました。このサイトは、ミックスホストのレンタルサーバーを利用しています。ミックスホストは、LiteSpeed Web サーバーであることが特徴です。LiteSpeed Cacheと呼ばれるキャッシュを使用して、高速化を実現しています。

サーバーのキャッシュに保管されているプラグインの設定などの情報とアップデートされたプラグインの設定や内容などが連携が取れていないと不具合が発生することがあります。LiteSpeed サーバーのキャッシュを削除(パージ)してみたところ、AMPページが表示されるようになりました。

備考:
LightSpeed サーバーのキャシュの削除は、LightSpeed Cache プラグインの管理ページ(下の画像のページ)から行うかWordPressの管理画面のトップバーに表示される「LiteSpeed 全てのキャッシュをパージ」をクリックして行います。LiteSpeed サーバーのキャアッシュをパージするプラグイン管理ページ

表示されなくなっていたAdSense クローラーエラーのURLにアクセスしてページが表示されるようになったので、問題も解決したと思われます。念のためGoogleの提供するAMP Testのページでテストを行い、問題なくテストが行われパスしたことを確認しました。AMP Test は、ページのコンテンツを解析を行います。ページにアクセスできなければ、テストでもエラーになります。

Google Search Console のFetch as Googleでもアクセスしてみましたが、問題なくフェッチできました。恐らく、今回はこれで問題は解決したと思います。

存在しないURLでのクローラー エラーについての考察

AdSenseアカウントのトップページなどに広告クローラーのエラーが発生しているとメッセージが表示されてから3日目のクローラーエラーページでは、AMPページのエラーがなくなりました。クローラーがURLにアクセスできるようになったために、エラーリストに表示されなくなった思われます。

広告クローラー エラーページの更新例

存在しないURLの方には新たなURLが加わって表示されました。今回エラーに追加されたURLは、URLのストラクチャー(構造)がサイト上に存在しない者で、過去に存在したものではありません。具体的な事例を以下に記します。

エラーリストのURL: www.example.com/abc/123.htm
存在するURL: www.example.com/abc-123.html

“-“を”/”にしてアクセスされたため404エラーとなり、クローラーエラーとなったと思われます。過去に削除して現在は存在しないページがクローラーエラーとなる理由について、過去に存在したページなどの条件があるのではないかと当初考えましたが、今回のエラー事例から、特に追加の条件はなくても、404 エラーページにAdSense のコードが設置されている状態で、ブラウザーなどでアクセスした際に404 ページが表示された場合、そのURLがクローラーエラーとなる可能性が高いと考えています。

備考 / 注意事項:
システムの仕様は変更されることがあります。今回の記事と考察は、2018年1月後半に発生した事例を元に書いたものです。将来、仕様などが変更になった場合には、今回紹介した事例や考察が該当しないなどの可能性もあります。

Googleからの通知やホームにメッセージが表示されなければ大丈夫

404エラーやプレビューによるクローラーエラーは、比較的起こりがちです。クローラーエラーページに存在しないURLやプレビューページが表示されていても、問題はありません。プレビューや存在しないページのURLは、数日(場合によっては翌日)後には、削除されて表示されなくなります。(いつまでも同じURLが表示されている場合は、調査が必要です。)

以下は存在しないURLでのクローラー エラー ページについての考察で紹介した存在しないURLとプレビューのURLのエラーが表示されていた時から一日後のクローラーエラーのページです。エラーのURLは、表示されなくなっています。

エラーのURLがない状態のクローラーエラーページ

重要度が高い(深刻な)問題が発生した場合は、Googleから通知が届いたり、アカウントページのトップバーの下にメッセージが表示されます。その様な場合は、速やかな調査と対応が必要です。

コメントを残す(承認後表示されます)

*
*
* (公開されません)

Return Top