フォロー
今のところそこそこいい動き
- LLM フレームワーク
-Rapid-MLX
- LLM モデル
- Ornith 1.0 35B 4Bit
- エージェントハーネス
- Hermes Agent
今のところそこそこいい動き
- LLM フレームワーク
-Rapid-MLX
- LLM モデル
- Ornith 1.0 35B 4Bit
- エージェントハーネス
- Hermes Agent
Rapid-MLX の KV Cache 機能をフル活用すれば割と快適だという事に気づいた。