サイトのクロール、過剰の負荷以外は認めてて間隔をあけないクロール以外は制限掛けてない。ログ解析の邪魔になるから、アクセスログに記録しないクローラー名を登録してあるんだけど、ちゃんとクローラーを名乗らずに一般のブラウザの振りをするのはなんなん。