
Bloggerでは、デフォルトでrobots.txt にAdSense以外のクローラーは、検索のディレクトリー(例:example.com/search)へのアクセスを認めない設定になっています。Bloggerのカテゴリー(ラベル)一覧ページは、検索の機能を使用しています。このため、カテゴリーやアーカイブの一覧ページがrobots.txt でブロックされているにも関わらず、検索エンジンのアルゴリズムがインデックスしたために、インデックスカバレッジの問題が発生することがあります。
この問題は、エラーではなく警告として取り扱われるものです。警告の理由は、「robots.txt によりブロックされましたが、インデックスに登録しました。」になります。対策としては、「何もしない」、「robots.txtを変更してアクセスを許可する」、「noindexを加えてインデックス削除させる(インデックスさせない)」があります。
Bloggerでの本件に関する問題と対策について、詳しくは、以下の記事をご覧下さい。
Bloggerでインデックスカバレッジの問題が検出される理由と対処について / Blogger101
URLにnonidexを加えて検証をリクエスト後、非承認通知が届く場合
robots.txt でブロックしているURLがインデックスされ警告を受け、対象のページにnoindexを追加する対策を選択した場合、Search Consoleから修正の検証をリクエストするのが手続きの流れとなります。承認されれば、それで問題は解決となります。しかし、「問題が解決していないことが確認されました。」と言う以下の様な非承認の通知が届くことがあります。
サイト「https://www.example.com/」(特に、robots.txt によりブロックされましたが、インデックスに登録しました の影響を受けるページ)におけるインデックス カバレッジの問題に関する修正の承認をリクエストされた件につきまして、お知らせいたします。一部のページで、この問題が依然として修正されていないことが確認されました。
Search Consoleには、「検証:失敗しました」(不合格)と言うメッセージが表示されます。
インデックスカバレッジの問題の修正が承認されなかった場合の対処法
修正を行って検証をリクエストしたところ、非承認(不合格)となった場合は、まずは、クローラーをブロックしているページにnoindexが含まれているか確認します。
robots.txtでブロックされているページがインデックスされている場合
ページにnoindexが含まれている場合は、info: または site: コマンドを使用して、問題となっているURLを検索します。robots.txtでブロックしているページがインデックスされている場合、検索結果にページは表示されますが、タイトルとページURLの下に通常表示されるスニペットの部分に「このページの情報はありません。」と表示されます。
「詳しい理由」をクリックすると、Search Consoleのヘルプの説明ページが表示されます
検索結果にページ情報が表示されない場合の対処
robots.txtでクローラーをブロックしているページがインデックスされていると、上のように検索結果にページ情報が表示されない状態となります。対処は、ブロックを解除して検索クローラーにページを読み込ませるか、検索結果からページを削除するどちらかになります。
検索エンジンにnoindexを認識させるためにrobots.txtのブロックを解除する
今回の場合は、ページにnoindex タグを追加して、インデックスさせない措置を既に取っています。しかし、robots.txtでそのページへのアクセスを許可していないと、クローラーはページの内容を読み込まないため、noindexのメタタグも認識しない状態となってしまいます。
設置しているnoindexのタグによる指示を検索エンジンに認識させるためには、クローラーがページのリソースを読み取れる(クロールできる)ようにする必要があります。そのため、robots.txtのブロックを一旦、解除する必要があります。
今回の問題が発生したBlogger ブログでは、robots.txtのデフォルトの設定に、Googlebotはサイト内の全てのページにアクセスを許可する指示(ルール)を追加しました。該当箇所を赤字でハイライトしています。
Disallow:User-agent: Googlebot
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
robots.txtでGoogleの検索クローラーのアクセスを許可することで、noindexタグを設定したページを読み取ることができるようになります。後は、インデックスから削除されるのを待ちます。
Search Consoleで検証を再リクエストする
上で紹介した作業を行った後、Search Consoleから検証をリクエストしました。
「検証:開始」のステータスになります。
Search Consoleで修正(対応)が確認された場合
リクエスト後、1週間少し経ってから、Search Consoleに修正が無事確認された旨の通知が表示されました。
インデックスカバレージのレポートを表示すると有効(警告あり)が0になっていました!
本件は、無事、解決しました。
コメントを残す(承認後表示されます)