Crawl-delay
クローラーの遅延ですね
アクセス間隔を指定できます。
やたら激しい奴がおりまして。。。
どうしたものかと悩んでいます。
１コ１コ指定するの面倒でしょ？
・ヤフーはめったに来ないし～単位が違うから無視
・グーグルは１０発程度まとめて来る（１秒程度とか）
んで、暫らく休む
ウェブマスターツールでの設定なので気にしない
他にやかましいのがいるわけです。
なのでrobots.txtに書いちゃえば良いかな～と思いまして
一括１００秒間隔☆
同じロボットでIPが違ってる場合でも１００秒になる？？
ちゃんと解説ページがあるのに～
設定していない自分の落ち度ですもんネ
来てもいいけど、少し待て！負荷低減したい気持ちもあり
実験もかねて様子見～
robots.txt の編集は
自分の場合、個別ではなく一括なので
Crawl-Delay: 100
これ１行のみ
[ad#co-2]