クローラーは、サイトのページを自動的に検出してコンテンツをスキャンし、解析するプログラムです。ロボット、ボット、スパイダーなどとも呼ばれています。クローラーの種類を公開しています。robots.txt, robots メタタグ、X-Robots-Tag HTTP ディレクティブで、User-agentにユーザーエージェントトークンを指定して、個別に制御することができます。

Google クローラーの種類

以下クローラ名と該当するユーザーエージェントトークンです。

• APIs-Google : APIs-Google
• AdSense : Mediapartners-Google, Mediapartners (Google)
• モバイルウェッブ用 AdsBot : AdsBot-Google-Mobile
  （ウェッブページの広告品質をチェックするボット。Android用とiPhone用の2種類があります。）
• AdsBot : AdsBot-Google
  （パソコンのウェッブページの広告品質をチェックします）
• 画像用 Googlebot : Googlebot-Image
• ニュース用 Googlebot : Googlebot-News
• 動画用 Googlebot : Googlebot-Video
• Googlebot : Googlebot
  （パソコン用とスマートフォン用の2種類があります。）
• モバイル AdSense Mediapartners-Google, Mediapartners (Google)
• モバイルアプリ Android : AdsBot-Google-Mobile-Apps

クローラーが用途、端末別に細分化されている理由

モバイルとパソコンでは、モバイル用とデスクトップ用でコンテンツが異なるサイトもあります。また、コンテンツは同じでも、表示形式が異なり、機能も異なることが多いです。メインコンテンツは同じでも、サプリメント（補助・補完コンテンツ）は、モバイルとデスクトップで異なる場合がほとんどです。動作する端末のシステム構成、表示画面も異なります。そのため、コンテンツの解析を行うクローラーも端末別に分かれています。用途によってコンテンツの解析も異なるため、それぞれの目的用途に応じたクローラーが使用されています。

Googleは、これまではページのソースを読み取り分析を行なっていましたが、レンダリングして実際にページが表示された状態を解析する方向性を明確に打ち出しています。テストツールも、モバイルとデスクトップに分かれ、それぞれを表示した状態の解析を行うようになっています。代表的な例が、PageSpeed Insights です。

広告用のクローラーが多いのが印象的です。広告関連のボットは、モバイルとパソコンそれぞれに分かれ、更にモバイルウェッブの広告品質チェック用には、AndroidとiPhone用の2種類があります。

AdSenseの画像の幅に合わせて表示されるレスポンシブ広告ユニットでサポートするサイズのバリエーションは、増えています。レスポンシブの広告ユニットを設置していても、モバイルとデスクトップで配置やユニットの種類が異なることも少なくありません。

自動で広告を表示するQuickStartに加えて、現在、AdSenseの自動広告表示機能は、モバイルとデスクトップ、AMP用など端末別に対応が広がっていく計画です。（現在、ベータ試験中です。一部の地域では既に標準のサポートも始まっています。）

AdSenseの広告では、パソコンとモバイルでは表示される広告の種類、表示形式も異なるものが少なくありません。代表的なものがネイティブインフィード広告です。インフィード広告は、モバイル画面表示用とデスクトップ用の2種類を作成して、設置を行います。

AdSense 新機能! インフィード広告フォーマット自動作成機能の利用方法

広告表示では用途も広がってきているため、クローラーがさらに細分化されていると推測しています。

2017年以降、AdSenseの広告配信は、システム側でかなり細かく制御するようになってきていると認識しています。2017年12月後半から、Googleは広告配信の仕様を変更し、広告クローラーが解析を行なっていないURLには、広告は配信されなくなりました。

サイト運営者は、検索エンジンのクローラーに加えて、場合によっては、AdSenseのクローラーの動作や制御などについても配慮する必要がある時も発生してきています。