楽園追放されたオタク
2018年 8月に登録
@cs133 絶対関係者が遊んでいる (列形成の手法としての正しさを尊重しながら)
日本語入力がONなのかOFFなのか、 #キーボード の #バックライト で教えてほしい #InputMethod
東京都公文書情報公開システム 公文書件名の検索 https://kobunsyo-johokokai.metro.tokyo.jp/disclosure/catalog/detail?id=201275179
修学旅行で班ごとにNM850iGだかVodafone 702NKだかのレンタルがあったのが懐かしいね
#織田裕二 って60近いのか
織田裕二、世界陸上〝卒業〟を宣言「体力の限界！楽しいうちにやめたい」 - サンスポ https://www.sanspo.com/article/20250921-3XF6F754MBCUHEG2EIX2NYWB7Q/
@esurio1673 生活リズムが崩れないんであれば、積極的に寝ていけ
@esurio1673 もう寝よう! (現地時刻ガン無視)
@NekomovYuyusuky 八王子では改札から出ないよ～
#八高線 に乗りに行きたいかと聞かれれば乗りに行きたいんですが、乗ったところで何をするのかという問題がある
喪中
さんがブースト
Xeon Platinum+128GB ECC Men+RTX3060 12GB x2というバカのLLMサーバでollamaによるQwen3-Coder-30Bのテスト
Q5K_Mで21GByteモデルというそこそこ贅沢なモデルだけど、XeonのAVX-512とクアッドチャンネルメモリの暴力で入れた本人がちょっとびっくりするレベルの推論速度出てわろてる。
MoEモデルなんでそもそもGPU間通信が従来型モデルより圧倒的に少ないんでマルチGPUでもボトルネックにならへんのやろなあ
LLMをメモリ帯域で殴るとCPUでも勝てるなるほど
喪中
さんがブースト
というわけで27日の東海道ではこのへんの話をする予定。鹿さん来るようだったら突っ込んでもらおっと
喪中
さんがブースト
ある程度予測はしてたんだけど、クアッドチャンネル以上積んでるXeonやスリッパ、最近のMoEモデルで使ってローカルLLMすると、DDR5デュアル並みかそれ以上の性能出るはずじゃね？という予測がもろに的中して笑っちゃう推論速度叩き出してたんでちょっとハイになって錯乱気味なわけですね
そろそろ寝ましょう
楽園追放されたオタク
2018年 8月に登録
