ARPテーブルが更新されるタイミングがよく分からんけど、明示的にコマンドで消し飛ばすか、クライアント再起動とかかねぇ。