/etc/make.confにARCH=aarch64を書くのがとりあえず一番エレガントな回避方法だなあ。
ARCH=${CROSS_TOOLCHAIN:C,-.*$,,}が怪しいのだが。