Tora @[email protected]

意味不明すぎて嫌気が差してきた

Sushi ランタイムの基準

凄い。謎テクノロジーだ。

あれ？普通のコンテキスト長なら6秒くらいで返してくるのか。これは普通に使えるのでは？

うわ、最悪すぎるな

半袖で出てきてしまい、ぶっちゃけ寒い

気温が下がったので空気圧をマシマシにしてきました。

EV、やっぱりタイヤすり減るの速いのかなぁ。アホみたいな加速で遊んでるからだとは思うんだけど、減ってる気はするなぁ。

巨大プロンプトなんてエージェントハーネスじゃないと突っ込まないんだから、もっと少なくしてベンチを取る必要があるな。そもそもこれは品質をテストしていないのでちょっとアレ。

Sushi 1.1 と 1.2 比較
Qwen 3.8 Flash Next（80B）
64GB M1Max

巨大プロンプトを突っ込んでこれ。ひと昔前のランタイムじゃそもそも動かなかったから、かなり凄い。

Sushi は、メモリの大きくない Mac で巨大 LLM をそれなりに動かすことができるチートランタイムです。
https://github.com/beamivalice/sushi

（快適とは言っていない）

Sushi ランタイムの話では、十分の基準がどうも 128GB。貧弱の基準が32GB。16GBは相手にされてない。

AIを快適に動かす話をしているので基準はお察しください。

ただ後で少し載せるけど、メモリが少ないPC（< 128GB）でも、それなりに動かせるチートみたいな技術が発展中。

ローカルLLMでAI利用料不要
→広義の意味では事実
（300万円のMacStudioなら）

ねむいね。