Googleのクローラー（スパイダー）は、インターネット上のいたるところのコンテンツを常に巡回してクロールしています。ネット上にあるコンテンツのほとんどは、クロールされてインデックスされていきます。特にリクエストをしなくても、記事は検索インデックスされるのが通常です。しかし、ネット上の全てのコンテンツがインデックスされ...