負荷を掛けない限りはクロールしてくれたらいいとは思うんだけど、一般ブラウザに偽造されると、閲覧の統計情報に狂いが出るので、クローラーはクローラーとちゃんと名乗って欲しいんだよな。