クローラー走らせるやつ、なんで相手の負荷考えない自分本位ばかりなの。
毎分3000アクセスでクロールは流石に厳しかったので120で制限掛けた。一般的な使い方だとキャッシュが利くんだけど、クロールで舐められると、役に立たないキャッシュで埋まってしまう。
思考の /dev/null