フォロー

X 見てたら「ローカル LLM が動かないのはメモリのコントロールを上手くやってないからだ。」みたいなのが流れてきたけど、MoE モデルは Tool Calling に失敗するしメモリのコントロールでどうにかなるレベルじゃねーわ。8GBや16GBでマトモに動くと思うな。

ログインして会話に参加
:realtek:

思考の /dev/null