ユーザーエージェントをちゃんと名乗ってくるクローラーだけまだマシだよな。一般的なブラウザに偽装してくる質の悪い奴、本当にだるい。（人間ならアクセスしないようなリンクを用意して、アクセスしてきたIPアドレスをBANみたいなことしてる）
フォロー
大量のIPアドレスに分散して、1IPアドレスあたりは数十秒の間隔をあけたアクセスにするので、IPアドレス単位の負荷制限も効かない。ほんとにどんだけ大量のサーバーを投入してるんだってぐらいに分散してクロールしてくる。
ユーザーエージェントをちゃんと名乗ってくるクローラーだけまだマシだよな。一般的なブラウザに偽装してくる質の悪い奴、本当にだるい。（人間ならアクセスしないようなリンクを用意して、アクセスしてきたIPアドレスをBANみたいなことしてる）
大量のIPアドレスに分散して、1IPアドレスあたりは数十秒の間隔をあけたアクセスにするので、IPアドレス単位の負荷制限も効かない。ほんとにどんだけ大量のサーバーを投入してるんだってぐらいに分散してクロールしてくる。