さっきunari☆さんが言ってたこれっぽかった
管理画面から他鯖の絵文字を一旦削除してもっかい他鯖から絵文字をトゥートしてもらったら正常に取得できたみたい