Tora @[email protected]

このレイアウトよく流れてくるんだけど、何？

https://x.com/dzhulgakov/status/2108085990829269173?s=20

えー

TCP IPv4…だと…！？

https://x.com/hackinarticles/status/2107841726979432951?s=20

なんかマジレスしなくていいのにマジレスしてしまったな。

@array う～ん話が読めない。（それ系をフォローしていない可能性）

@array dって何のd？

@andrei なんか、映画館で営業してるの、代わりに映画が安くなってるんだろうな？って毎回思う。

@array 面倒くさいのでこれ貼っておきます。M1Max がボールドなのは、うちの3台がこれだからチャッピーがボールドにしました。

@array NPU は大きな LLM は動きません。DDR は AMD だろうが Intel だろうが遅いです。

@array 帯域をよく見た方がいいよ。
Windows でよくある DDR 100GB/s 以下がホトンド
Mac の UMA 100 ～ 500GB/s

Mac は CPU と GPU が RAM を共有してる。AMD に似た構図だけど帯域が違うから勝負にならない。じゃぁ 64GB のグラボを買うのと 64GB の Mac を買うの、どっちが安い？ってなる。

@andrei 深いな…

OnDevice AI するなら Mac 買った方が良い…。自作ゲーミング PC から Mac へ寝返った私が言うんだから間違いない。（説得力ゼロ）

その辺の価格のPCで使い物になる初めてのランタイムなんじゃないの…。

しかも馬鹿ではない。これはこれまでになかった感じなので革命って感じ…。

うわぁ…。エージェントハーネスから Sushi ランタイムを叩いたら、かなり実用的な速度で動作する…。

意味不明すぎて嫌気が差してきた

Sushi ランタイムの基準

凄い。謎テクノロジーだ。

あれ？普通のコンテキスト長なら6秒くらいで返してくるのか。これは普通に使えるのでは？