なんだろう…。OpenOodeを使うのが間違っているような気がしてきた…。
今日も半日しか仕事せず、またローカル LLM で遊んでいたわけですが（仕事しろ）
これはなかなか凄い。
- Rapid-MLX
- Ornith 1.0 9B 4bit Dense
- Ornith 1.0 35B 4bit MoE
- HermesAgent
OpenCode など要らなかったのではないか。
OpenCode はどう弄くり倒しても、毎回毎回（入力値よりも遙かに）大きなコンテキストを送りつけて、Prefill 地獄に陥って応答に時間がかかる問題があった。
それでも KV Cache でなんとか乗り切ろうとしたんだけど限界があった。OpenCode は元々大きなモデルしか相手にしてない。小さいモデルを使うと途端に役立たずになる。
フォロー
いっぽう HermesAgent は小さいモデルでもなんとかしようとする工夫が散りばめられているし、そもそも投げるコンテキストが OpenCode ほど大きくない。
あと Ornith 1.0 もなかなかバランスがいい気がする。
---
Claude Opus 4.7と同等性能のコーディングAIモデル「Ornith-1.0」が登場、ローカルで動作する小型モデルもラインナップ - GIGAZINE -
https://gigazine.net/news/20260629-ornith-agentic-coding-ai/