Crawl-delay入れますわ。。。

Crawl-delay
クローラーの遅延ですね
アクセス間隔を指定できます。

やたら激しい奴がおりまして。。。
どうしたものかと悩んでいます。
1コ1コ指定するの面倒でしょ?
・ヤフーはめったに来ないし~単位が違うから無視

・グーグルは10発程度まとめて来る(1秒程度とか)
 んで、暫らく休む
 ウェブマスターツールでの設定なので気にしない

他にやかましいのがいるわけです。
なのでrobots.txtに書いちゃえば良いかな~と思いまして
一括100秒間隔☆
同じロボットでIPが違ってる場合でも100秒になる??

ちゃんと解説ページがあるのに~
設定していない自分の落ち度ですもんネ
来てもいいけど、少し待て!負荷低減したい気持ちもあり
実験もかねて様子見~

robots.txt の編集は
自分の場合、個別ではなく一括なので
Crawl-Delay: 100
これ1行のみ

[ad#co-2]

26 11月, 2009