フォロー

Sushi ランタイムの話では、十分の基準がどうも 128GB。貧弱の基準が32GB。16GBは相手にされてない。

Sushi は、メモリの大きくない Mac で巨大 LLM をそれなりに動かすことができるチートランタイムです。
github.com/beamivalice/sushi

(快適とは言っていない)

Sushi 1.1 と 1.2 比較
Qwen 3.8 Flash Next(80B)
64GB M1Max

巨大プロンプトを突っ込んでこれ。ひと昔前のランタイムじゃそもそも動かなかったから、かなり凄い。

巨大プロンプトなんてエージェントハーネスじゃないと突っ込まないんだから、もっと少なくしてベンチを取る必要があるな。そもそもこれは品質をテストしていないのでちょっとアレ。

あれ?普通のコンテキスト長なら6秒くらいで返してくるのか。これは普通に使えるのでは?

うわぁ…。エージェントハーネスから Sushi ランタイムを叩いたら、かなり実用的な速度で動作する…。

しかも馬鹿ではない。これはこれまでになかった感じなので革命って感じ…。

その辺の価格のPCで使い物になる初めてのランタイムなんじゃないの…。

ログインして会話に参加
:realtek:

思考の /dev/null