むっちゃ速いんだけど何これ…

mlx-community/Ornith-1.0-35B-OptiQ-4bit

Rapid-MLX
--hybrid-cache-entries 6

#AI #LLM