効率の良い取得方法とかよりも、相手のサーバーが落ちてでも良いから、見つけたURLは全部吸い上げろみたいな処理してくる。