仕事のサイトに対してbingbotとamazonbotのクロールが激しすぎるので、robots.txtにCrawl-Delayを設定した。効果あるか分からんけど。