ローカルLLMは適切な組み合わせじゃないと仕組みが破綻するよ。
Parser エラーTool Calling の破綻は大きな問題。
Parser エラーは Ollama でホントに多い。Rapid-MLX に変えてから激減した。
Tool Calling の破綻問題は使うハーネスが良くないとマジで解決しない。これは OpenCode とか、小規模 LLM 特化型の SmallCode を使うと解決しやすい。
思考の /dev/null
Parser エラーは Ollama でホントに多い。
Rapid-MLX に変えてから激減した。
Tool Calling の破綻問題は使うハーネスが良くないとマジで解決しない。
これは OpenCode とか、小規模 LLM 特化型の SmallCode を使うと解決しやすい。