Googleのクローラー（スパイダー）は、インターネット上のいたるところのコンテンツを常に巡回してクロールしています。ネット上にあるコンテンツのほとんどは、クロールされてインデックスされていきます。特にリクエストをしなくても、記事は検索インデックスされるのが通常です。しかし、ネット上の全てのコンテンツがインデックスされるわけではありません。インデックスされないものも少なからずあります。

Fetch as Google からインデックスをリクエストしたり、サイトマップを提出しても、記事がインデックスされないこともあります。内容が薄い記事や似たような内容の記事が既にサイト上に存在する場合、インデックスされない可能性が高いです。当初、インデックスされていても、後でインデックスから外されることもあります。

Google の検索アルゴリズムは非常に高度で複雑です。その事例として、今回はSearch Consoleのツール Fetch as Googleを使用してインデックスをリクエストした後のインデックス ステータスの例を紹介します。

ページがインデックスされているか確認する

site: コマンド（検索演算子）を使用してページがインデックスされているかを確認します。Googleの検索欄に、”site:”とタイプして、続いて確認するページのURLを入力して検索を実行します。

インデックスされている場合

検索を実行した結果に、以下のように入力したURLのページが表示されれば、無事にインデックスされていることが分かります。

インデックスされていない場合

site: コマンドを実行した結果に、「site:［ページのURL］に一致する情報は見つかりませんでした」と表示される場合は、入力したURLのページがインデックスされていないことを示しています。

Fetch as Googleでインデックス リクエスト後のインデックス例

インデックスをリクエストした場合、実際にインデックスされた確認する必要があります。（リクエストしても、インデックスされない事があるためです。）また、一旦、インデックスされた後、インデックスが外されることもあります。具体的な実際例を以下に紹介します。

「AdSense 関連コンテンツの表示形式カスタマイズ設定方法」と言う記事を先日投稿しました。新たに追加された機能、レスポンシブの関連コンテンツユニットのコードにパラメータを設定する方法についての紹介記事です。これまでなかった新しい機能について取り上げているため、少しでも早くインデックスされた方が良いと考えたため、本記事を投稿後、Fetch as Googleからインデックス リクエストを行いました。

リクエストした後、site: コマンドを実行してインデックスされているか確認しました。

上の画像は、インデックスリクエスト直後にsiteコマンドを実行した結果です。検索結果に投稿したばかりの記事「AdSense 関連コンテンツの表示形式カスタマイズ設定方法」が含まれています。タイトルの下、スニペットの先頭に”36 sec ago”と表示されています。（画像で赤線でアンダーラインと矢印で示した箇所）検索を実行した36秒前にインデックスされたことを表しています。このことは、インデックスリクエストを行って直ちにインデックスされたことを示しています。

一旦、インデックスされても、その後外されることもある

上で紹介した例は、Fetch as Googleからインデックスをリクエストした直後に確認したところ、既にインデックスされていました。随分早くインデックスされるのだなと少し驚きながら、感心していました。念のため、10分少し後にもう一度、同じ検索をsiteコマンドで実行したところ、前回では表示されていた記事が含まれずに表示されました。ページの上に表示される検索結果のページ数も、前回の207から206に減っていました。

この結果は、新しく投稿した記事、「AdSense 関連コンテンツの表示形式カスタマイズ設定方法」は、一旦インデックスされたにも関わらず、10数分後にはインデックスから外されたことを表しています。

インデックスから外された理由についての考察

Googleは、検索アルゴリズムの詳細について公開していません。実際にどのような評価が行われているのかは不明です。しかし、膨大なデータベースを駆使して、極めて高度な分析、評価を行っていることは明らかです。

今回紹介した事例の記事は、関連コンテンツに新しく加わったカスタマイズの機能で取り上げているところも殆ど無く、記事の内容もオリジナルで品質も悪くないと思っています。なぜ、一旦インデックスされたのにすぐ外されてしまったのかについて考えてみました。

本サイト、ブロギングライフでは関連コンテンツについての記事を既に3以上投稿しています。通常のサイトでは、関連コンテンツについての記事は2つか3つあれば（かなり）多い方です。

インデックスのリクエストを受けて、直ぐにインデックスしたものの、リクエストを行ったサイトには既に似たキーワードのコンテンツが既に複数存在することから、Google の検索アルゴリズムがインデックスを一旦外した。新しく投稿された記事の内容を詳しく調べて、似たキーワードを含む記事と比較した後で、再度、インデックスするかどうかの判定することにしたと推測しています。

40分弱後に再度、siteコマンドを実行したところ、リクエストを行った新記事が再び検索結果に表示されました。

今度はタイトル下に”Your page is not mobile-friendly”と表示されていました。日本語環境の場合は、「ページがモバイルフレンドリーではありません」に該当するメッセージです。直ぐにモバイルフレンドリーテストを行いました。結果は合格でした。念のため、テスト結果をSearch Consoleに送信しました。

本サイトは、レスポンシブ対応になっています。記事は基本的に全てモバイルフレンドリーのはずです。モバイルフレンドリーではないと表示されることは、まだそのページの情報や分析が十分に行われていないことを示していると思います。

その後、再びインデックスが外されたり、戻ったりするような状態が暫く続きました。

まとめ

本記事で紹介した事例は、投稿したばかりの記事は検索アルゴリズムによる情報とコンテンツの分析が十分に行われていないため、記事によってはインデックスされたり、外されたりすることを繰り返す場合があることを示しています。似たようなタイトルでキーワードが重複する場合でも、異なるしっかりした内容であれば、初期の段階でインデックスから外されたりしても、後で安定してインデックスされます。今回事例で紹介した記事は、一日経過後は安定してインデックスされた状態となっています。

速報性が求められるような記事の場合は、インデックスリクエストを行うことも有効な手段です。一方で、詳しい解説記事などの場合は、中長期での検索ランキングが重要となるため、早くインデックスされることはそれほど重要度は高くないと考えています。

インデックスやコンテンツの評価は、Google の検索アルゴリズムがしっかり行ってくれるので、特に何か理由がない限り、通常はリクエストはする必要はないと認識しています。基本的にXMLサイトマップをSearch Consoleに送信していれば十分です。

追記

2017年2月に行われたGoogle Webmaster Central office-hours hangoutで、本記事で紹介したようなインデックスのリクエスト後に直ぐにインデックスされても、後でインデックスから外される事例についての話題が取り上げられていることを知りました。

Googleの検索インデックスは2種類あり、Fetch as Googleからインデックスをリクエストするとファーストトラックインデックスと呼ばれるモードで素早くインデックスされるが、その後で通常のインデックスのモードになって再検証されるプロセスが入ることがあると、Google Webmaster Trends AnalystのJohn Muellerさんがオフィスアワー・ハングアウトの質問に回答しています。

このQ&Aについては、「検索インデックスにはファーストインデックスと通常の2種類がある」と言う記事で紹介しています。