フォロー

LLMフレームワークって結局どれが一番いいんだろう。

Rapid-MLX
速い。Out of Memory 対策がない。野心的だが安全寄りではない。

vllm-mlx
期待外れ。速くはない。誰だよこんなの勧めたの。

OptiQ Serve
メモリ保護が厚く、情報の使いまわし(キャッシュ制御)に長けているようだが決して速くはない。

結局 OOM で死なないように気を使いながら Rapid-MLX 使ってる。これしかないのかなぁ。

ログインして会話に参加
:realtek:

思考の /dev/null