ふぁぼるっくだとふぁぼ爆撃とかで数百万件ぐらいのキューは日常茶飯事だった。PostgreSQLへの投入が遅いので、MongoDBに一旦放り込んでから取り込む感じ。クローラーキューは取り込みの優先度で重要な人を先に見るような動きをしていた。
https://mstdn.nere9.help/media/3amYKi3rrk9EQg6fKlY