楽園追放されたオタク
2018年 8月に登録
#八高線 に乗りに行きたいかと聞かれれば乗りに行きたいんですが、乗ったところで何をするのかという問題がある
喪中
さんがブースト
Xeon Platinum+128GB ECC Men+RTX3060 12GB x2というバカのLLMサーバでollamaによるQwen3-Coder-30Bのテスト
Q5K_Mで21GByteモデルというそこそこ贅沢なモデルだけど、XeonのAVX-512とクアッドチャンネルメモリの暴力で入れた本人がちょっとびっくりするレベルの推論速度出てわろてる。
MoEモデルなんでそもそもGPU間通信が従来型モデルより圧倒的に少ないんでマルチGPUでもボトルネックにならへんのやろなあ
LLMをメモリ帯域で殴るとCPUでも勝てるなるほど
喪中
さんがブースト
というわけで27日の東海道ではこのへんの話をする予定。鹿さん来るようだったら突っ込んでもらおっと
喪中
さんがブースト
ある程度予測はしてたんだけど、クアッドチャンネル以上積んでるXeonやスリッパ、最近のMoEモデルで使ってローカルLLMすると、DDR5デュアル並みかそれ以上の性能出るはずじゃね？という予測がもろに的中して笑っちゃう推論速度叩き出してたんでちょっとハイになって錯乱気味なわけですね
そろそろ寝ましょう
喪中
さんがブースト
なんもなければ 20:00 JST からメンテします。パッケージ更新とかも含むので数分程度の停止をしても怖がらないでください。
ピクミンやりてえな
@camo それだけバッテリがバッチリ重い説
#コンピュエース の創業30周年記念にして閉店セールにきたが、転売能力がないパンピーには、もう買うものがなかった。技適が危ないワイヤレスマウスは要らないしなあ
モスチキンをモチスキンに #空目 した https://pawoo.net/@cs133/115241444594251066
喪中
さんがブースト
モスチキン、米粉を使っているのがポイントやね
@204504bySE どこどこホモシー (新宿にいるが秋葉原に移動予定)
楽園追放されたオタク
2018年 8月に登録
