AIクローラーだけ閉じ込めとかしても、今でもあるみたいにシンガポールや香港から普段使われているuseragentを名乗ったクローラーが大量に来るようになるだけでは。