robots.txtにクロールディレイ(crawl-delay)というディレクティブがオプションで設定できます。crawl-delay は、Yahoo!, Bing, Yandexでサポートされていますが、Googleは対応していません。

クロールディレイ ルールはGoogle ボットから無視される

Google ウェブマスタービデオシリーズ SEO スニペットで、robots.txtでGoogleのボットにクロールディレイ(crawl-delay)を設定していると、Search Consoleに警告メッセージが表示されるという質問に対して、John Muellerさんが回答しています。

クロールディレイ ルールは、検索エンジンの初期の段階に他の会社が導入したものです。このルールのアイディア（概念）は、ウェブマスターが、ウェッブサーバーのロードを制限するために、クローラーがリクエストを何秒間待つかを指定することができるものです。

これは大きな観点で見た場合悪いアイディアではないのですが、サーバーは極めてダイナミックに反応してしまい、リクエスト間の1つの間隔に固執してしまうようなことが起きてしまいました。リクエスト間の秒数を設置することは、機能的に意味がありませんし、現在、多くのサーバーは一秒あたりのトラフィックを多量に処理できるようになっているため、実用的ではなくなっています。

クロールディレイディレクティブを使用する代わりに、サーバーがどのように反応するかに応じて自動的にクローリングを調整するようにしています。もしも我々がサーバーエラーやサーバーが遅くなっているのを検知した場合、クローリングを止めます。更に、Search Consoleから直接クロールに対するフィードバックを与える方法もあります。サイト所有者はクロールに対する要望などを我々に伝えることができるため、robots.txtにこのディレクティブが含まれている場合、我々はクロールディレイルールをサポートしていないことを伝えます。

もしも、あなたのウェッブサイトのある部分をクロールして欲しくない場合は、robots.txtで指定することで我々に伝達できます。

クロールディレイとは

クロールディレイ(Crawl-Delay)は、robots.txtに設定可能なオプションのディレクティブの1つで、クローラーが新しいコンテントをチェックする頻度にディレイを与える設定です。

Crawl-Delay – Allows a site to delay the frequency with which a crawler checks for new content (Supported by Live Search and Yahoo).

Googlebot のクロール頻度の制限設定方法

クロール頻度とは

Googlebotがサイトのクロール時に行う1秒あたりのリクエスト数のことです。

クロール頻度をユーザー側でGoogleのボットに対して指定、設定することはできません。新しいコンテンツや更新したコンテンツをGoogleのボットにクロールしてほしい場合は、Search Consoleからインデックスリクエストを送ることができます。

クロール頻度を制限する設定方法

Googleのボットからのクロール頻度が高く（リクエスト数がおおく）、サーバーの処理速度が遅くなる場合、　Search Consoleからクロール頻度の制限を設定することができます。

Search Consoleから該当するサイトを選択します。画面右上に表示されるギアアイコンをクリックし、ドロップダウンリストのサイトの設定を選択します。

「クロール速度」（クロール頻度）の右に表示される項目から「Googleの最大クロール速度を制限する」を選択します。

クロール頻度の制限設定ページが表示されます。バーをスライドさせて、クロール頻度の制限を設定することができます。（画面赤枠内）

設定を確認後、［保存］ボタンを押します。