クロールまでする価値があるように思えないサイトを、ユーザーエージェントを一般ブラウザに偽装してまでクロールしようとするの、何が目的なんだ。
負荷を掛けない限りはクロールしてくれたらいいとは思うんだけど、一般ブラウザに偽造されると、閲覧の統計情報に狂いが出るので、クローラーはクローラーとちゃんと名乗って欲しいんだよな。
思考の /dev/null
負荷を掛けない限りはクロールしてくれたらいいとは思うんだけど、一般ブラウザに偽造されると、閲覧の統計情報に狂いが出るので、クローラーはクローラーとちゃんと名乗って欲しいんだよな。