Sushi ランタイムの話では、十分の基準がどうも 128GB。貧弱の基準が32GB。16GBは相手にされてない。
Sushi は、メモリの大きくない Mac で巨大 LLM をそれなりに動かすことができるチートランタイムです。https://github.com/beamivalice/sushi
(快適とは言っていない)
Sushi 1.1 と 1.2 比較Qwen 3.8 Flash Next(80B)64GB M1Max
巨大プロンプトを突っ込んでこれ。ひと昔前のランタイムじゃそもそも動かなかったから、かなり凄い。
巨大プロンプトなんてエージェントハーネスじゃないと突っ込まないんだから、もっと少なくしてベンチを取る必要があるな。そもそもこれは品質をテストしていないのでちょっとアレ。
あれ?普通のコンテキスト長なら6秒くらいで返してくるのか。これは普通に使えるのでは?
凄い。謎テクノロジーだ。
Sushi ランタイムの基準
うわぁ…。エージェントハーネスから Sushi ランタイムを叩いたら、かなり実用的な速度で動作する…。
しかも馬鹿ではない。これはこれまでになかった感じなので革命って感じ…。
その辺の価格のPCで使い物になる初めてのランタイムなんじゃないの…。
思考の /dev/null
Sushi 1.1 と 1.2 比較
Qwen 3.8 Flash Next(80B)
64GB M1Max
巨大プロンプトを突っ込んでこれ。ひと昔前のランタイムじゃそもそも動かなかったから、かなり凄い。