Crawl-delay
クローラーの遅延ですね
アクセス間隔を指定できます。
やたら激しい奴がおりまして。。。
どうしたものかと悩んでいます。
1コ1コ指定するの面倒でしょ?
・ヤフーはめったに来ないし~単位が違うから無視
・グーグルは10発程度まとめて来る(1秒程度とか)
んで、暫らく休む
ウェブマスターツールでの設定なので気にしない
他にやかましいのがいるわけです。
なのでrobots.txtに書いちゃえば良いかな~と思いまして
一括100秒間隔☆
同じロボットでIPが違ってる場合でも100秒になる??
ちゃんと解説ページがあるのに~
設定していない自分の落ち度ですもんネ
来てもいいけど、少し待て!負荷低減したい気持ちもあり
実験もかねて様子見~
robots.txt の編集は
自分の場合、個別ではなく一括なので
Crawl-Delay: 100
これ1行のみ
[ad#co-2]