X 見てたら「ローカル LLM が動かないのはメモリのコントロールを上手くやってないからだ。」みたいなのが流れてきたけど、MoE モデルは Tool Calling に失敗するしメモリのコントロールでどうにかなるレベルじゃねーわ。8GBや16GBでマトモに動くと思うな。
思考の /dev/null