フォロー
#WaybackMachine の様なサービスはrobots.txtに従うべきではないし、遡及適用するなんて言語道断ですよ
archive.org web archiveに保存された恥ずかしい過去ログを消す方法 | Real Slow Life - https://realslowlife.com/archiverog/
robots.txtで遡及適用されることの何が問題って、サーバ管理者の意向と著作権者の意向が矛盾した場合ですよ。負荷を減らしたいからクロールをさせたくないのは理解できるが、結果的に削除しろと著作権者を騙ることになる
遡及適用なんてしたもんだから、＠niftyのWebページ公開サービスに上がってた分が随分と消えたからな