Uncle hadsn @[email protected]

Xeon Platinum+128GB ECC Men+RTX3060 12GB x2というバカのLLMサーバでollamaによるQwen3-Coder-30Bのテスト
Q5K_Mで21GByteモデルというそこそこ贅沢なモデルだけど、XeonのAVX-512とクアッドチャンネルメモリの暴力で入れた本人がちょっとびっくりするレベルの推論速度出てわろてる。
MoEモデルなんでそもそもGPU間通信が従来型モデルより圧倒的に少ないんでマルチGPUでもボトルネックにならへんのやろなあ

というわけで27日の東海道ではこのへんの話をする予定。鹿さん来るようだったら突っ込んでもらおっと

ある程度予測はしてたんだけど、クアッドチャンネル以上積んでるXeonやスリッパ、最近のMoEモデルで使ってローカルLLMすると、DDR5デュアル並みかそれ以上の性能出るはずじゃね？という予測がもろに的中して笑っちゃう推論速度叩き出してたんでちょっとハイになって錯乱気味なわけですね

なんもなければ 20:00 JST からメンテします。パッケージ更新とかも含むので数分程度の停止をしても怖がらないでください。

世界陸上の日本代表を見ていると、多様性とは認める認めないとかじゃなくてそこにあるという話がよくわかる。「日本人」のような巨大な集団だと、切り口によって見え方が全然違うんだなーというのも感じられる。

うんこ味のカレーとうんこ味のカレーの話のとき、匂いはどっちなんだろうな。