クロールディレイ(Crawl-Delay)は、robots.txtに設定可能なオプションのディレクティブの1つで、クローラーが新しいコンテントをチェックする頻度にディレイを与える設定です。 Crawl-Delay – Allows a site to delay the frequency with whi...