LLMフレームワークって結局どれが一番いいんだろう。
Rapid-MLX速い。Out of Memory 対策がない。野心的だが安全寄りではない。
vllm-mlx期待外れ。速くはない。誰だよこんなの勧めたの。
OptiQ Serveメモリ保護が厚く、情報の使いまわし(キャッシュ制御)に長けているようだが決して速くはない。
結局 OOM で死なないように気を使いながら Rapid-MLX 使ってる。これしかないのかなぁ。
思考の /dev/null
結局 OOM で死なないように気を使いながら Rapid-MLX 使ってる。これしかないのかなぁ。