喪中 @[email protected]

Xeon Platinum+128GB ECC Men+RTX3060 12GB x2というバカのLLMサーバでollamaによるQwen3-Coder-30Bのテスト
Q5K_Mで21GByteモデルというそこそこ贅沢なモデルだけど、XeonのAVX-512とクアッドチャンネルメモリの暴力で入れた本人がちょっとびっくりするレベルの推論速度出てわろてる。
MoEモデルなんでそもそもGPU間通信が従来型モデルより圧倒的に少ないんでマルチGPUでもボトルネックにならへんのやろなあ

というわけで27日の東海道ではこのへんの話をする予定。鹿さん来るようだったら突っ込んでもらおっと

ある程度予測はしてたんだけど、クアッドチャンネル以上積んでるXeonやスリッパ、最近のMoEモデルで使ってローカルLLMすると、DDR5デュアル並みかそれ以上の性能出るはずじゃね？という予測がもろに的中して笑っちゃう推論速度叩き出してたんでちょっとハイになって錯乱気味なわけですね

なんもなければ 20:00 JST からメンテします。パッケージ更新とかも含むので数分程度の停止をしても怖がらないでください。