クロールディレイ(Crawl-Delay)は、robots.txtに設定可能なオプションのディレクティブの1つで、クローラーが新しいコンテントをチェックする頻度にディレイを与える設定です。
Crawl-Delay – Allows a site to delay the frequency with which a crawler checks for new content (Supported by Live Search and Yahoo).
クロールディレイの設定方法
robots.txt内に以下の様に記載します。
User-agent: *
Crawl-delay: 1
備考 / 注意事項：
クロールディレイは、Yahoo!, Bing, Yandexではサポートされていますが、Googleはサポートしていません。上の様にユーザーエージェントの部分をアスタリスクを使用した場合、Googleのボットも対象として含まれます。クロールディレイが、Googleのボットに対して設定されていると、Search Consoleに警告メッセージが表示されます。
クロールディレイは、Yahoo!, Bing, Yandexではサポートされていますが、Googleはサポートしていません。上の様にユーザーエージェントの部分をアスタリスクを使用した場合、Googleのボットも対象として含まれます。クロールディレイが、Googleのボットに対して設定されていると、Search Consoleに警告メッセージが表示されます。
ユーザーエージェント（例：Bingのボット）を指定した記載方法は以下の様になります。
User-agent: msnbot
Crawl-delay: 1
Crawl-delay ディレクティブは、正の数値のみ受け付けます。コロンの後の数値は、ボットに対してデフォルトのクロールレートをスロットダウンする値のような意味を持ちます。値が大きくなるほど、クロールレートのスロットルがダウンします。（減速します）
Bingでは、クロールディレイの値を設定しなければならない場合、できるだけ低くすることを推奨しています。10を超える値は非推奨です。10は、クロール頻度を極めて遅くします。