numpad0 @[email protected]

おっ HDDとSSDの高騰が落ち着き始めた

メモリが32GBくらいほしい うーん

ちなみにベースモデルのA100 40GBはQwen 27Bで500tok/s近く出るらしい

NVIDIA CMP 170HXっていうGA100ベースでVRAMが公称HBM2 8GB/10GBのマイニング専用GPUがあって、これがVRAMの40GB全領域アンロックできるんじゃないかと話題なので僕のフォロワーの皆さんは是非個人輸入して楽しんで下さい

CMP 170HX買うチャンス逃して鬱

近いな

uh oh

northstar metric って表現のアホっぽさいいよね

Segmentation fault(core dumped)を久しぶりに見た

メモリ4GBのマシンにVRAMを4x8GB積んでUSBメモリからLLMを読み込ますのはだめだということがわかったのでうーむ

えーんえーん lavgが5.8もある

3.0にしとけばよかった……

2.0で128GBのUSBメモリにOS入れたらrocmのインスコ一生終わらん

それはそう

まあ1bで125tok/sは大丈夫なのかという疑問はこの際おくとして

積んでてよかった64GB、RAMディスクでなんでもできる

UbuntuのライブUSBにollama入れたら普通にLlama3.2:1bで125tok/s出るからなんかWindowsのドライバがおかしいな

Radeon Pro V340LがResizable BARないと一切動かないっぽくて、かつアムドがZen+のReBAR止めてるっぽくてつらたん

や