Tora @[email protected]

いやそれでも旧世代だと Prefill だけで10分とかかかってたから驚異的に速いわ…

80BモデルのB1で部分再利用が発動： cached=32,768/52,094トークン（62%）→ TTFT 58.3秒（コールド122.8秒の-53%）。80BはKVキャッシュのトークンあたりサイズが小さい（ハイブリッド線形注意のQwen3-Nextアーキテクチャ）ため、共通プレフィックスがキャッシュ単位に収まり、radix部分一致が実動作しました。一方gpt-oss-20bでは同じB1がフルprefillだったのと対照的です。

@flatgururin こっちはようやく晴れました。関東はまだ続きそうですね😢

面白すぎるけどそれでこそエンジニアって感じするｗ

ふーん。大した事ないな。もっと巨大プロンプトでテストさせるか。

@souji ありがたいねｗ

漏れすぎてて笑うしかないよねｗ

@souji こういうの？

https://mastodon.demo2.jp/@d/117352994095267856

本当はそんなどうでもいいモデルじゃなくて Qwen Next をテストして欲しい。（オレの指示の仕方が悪い。）

もう Z.ai のトークンが余って余って仕方がないから、3 台の Mac を使ってどれが一番速いか HermesAgent （Z.ai / GLM 5.3 Flash）にテストさせるっていうのをやってる。

とにかく部品点数の少ない方法でなんとかしろ

いや丸形じゃなくても超音波で吹き飛ばすとかできそうやな

うーん、もうミラーそのものを丸形にして高速回転させて欲しい…

宅配ボックスに物が届いた。取りに帰りたい。

無駄に配られたトークンでこれやってみるか

しかもそれが本来の人件費よりも安かったとしても、だ。

システムに置き換えれば未来永劫人件費（および人件費に相当する部分）がタダになるって勘違いしてるポンコツ多くないですか

そんな事言ってる場合なんですか。運転士のなり手が居ないから自動運転なんでしょ。