大抵の中央集権サービスは、ユーザ数が多ければ多いほど正のフィードバックでユーザ数の増加も加速するし、それによって利益も得られるから、適応の遅いユーザをこちらから引き寄せるためにサポートする(商業的な)旨みがある。
しかし分散アーキテクチャでは、そんなものはない。
各個人が自分の面倒を見ようという方式なのだから、当然である。
@orange_in_space https://github.com/rust-lang-nursery/rustup.rs/#other-installation-methods 上のリンクと従って、CARGO_HOMEやRUSTUP_HOMEっていう環境変数をUSBメモリの場所に設定して、その後普通にrustupを使用できるはずです。