フォロー

なお vllm-mlx も遅かった。キャッシュするから速いっていうけど、Cache miss 連発して再計算しまくりだった。まぁこれは使い方によるかもしれん。

ログインして会話に参加
:realtek:

思考の /dev/null