今のところそこそこいい動き
- LLM フレームワーク -Rapid-MLX- LLM モデル - Ornith 1.0 35B 4Bit- エージェントハーネス - Hermes Agent
Rapid-MLX の KV Cache 機能をフル活用すれば割と快適だという事に気づいた。
思考の /dev/null