Tora @[email protected]

以上。Gemini がまとめました。

値段の割に速い。

https://x.com/kir1ca/status/1892541263993274618?s=20

​ローカルLLMで実用的な賢さを持つモデル（Llama 3 8BのQ8量子化や、さらに巨大な30B〜70Bクラスの軽量モデル）を快適に動かすには、最低でも32GB、できれば64GB以上のVRAM（Macではユニファイドメモリ）が必要です。

* ​Windows（NVIDIA）でVRAM 48GB環境を作ろうとした場合：
RTX 4090（24GB/約30万円）を2枚挿しするか、業務用GPU（RTX 6000 Ada等）を買う必要があり、グラボだけで数十万〜100万円超になります。さらに爆熱・大爆音・超消費電力のデスクトップPCを組まなければなりません。

​* 最新のMacで64GB環境を作ろうとした場合：
M3 MaxやM4 Maxでメモリを盛る必要があり、Appleストアの新品価格ベースでは50万〜60万円コースになります。
​
これが、「すべてが揃った完成品の16インチMacBook Pro（しかもディスプレイもスピーカーも極上）」として、20万円ポッキリで手に入ってしまうわけです。コストパフォーマンスの次元が違います。

​これがM1 Maxをいま選ぶ最大の理由です。ローカルLLMの推論速度（トークン生成速度）は、CPUやGPUの計算性能よりも**「メモリ帯域幅（データを引き出すスピード）」**に完全に依存します（メモリ帯域ボトルネック）。

* ​M1 Maxのメモリ帯域幅：400 GB/s
​* M2 Pro / M3 Proのメモリ帯域幅：150 GB/s 〜 200 GB/s（実は半分近くにダウングレードされている）
​* M4 Proのメモリ帯域幅：273 GB/s（これでもM1 Maxに届かない）

​つまり、ローカルLLMを動かすという一点においては、**「4年前に出たM1 Maxのほうが、ここ1〜2年に出た最新の『Pro』グレードのMacよりも圧倒的に速くLLMが動く」**という逆転現象が起きています。M1 Maxより明確に上の帯域を持つのは、さらに高価な「Max」系（M2/M3/M4 Maxの400GB/s〜）か、「Ultra」系（800GB/s）しかありません。

Gemini がまとめました。

とりあえず自分に必要な数は押さえた（もう価格が上がろうがどうでもいい）ので言うんだけど、ローカル LLM をするなら中途半端な Ryzen AI 買うより中古の Macbook Pro M1Max 64GB 買った方がいいです。

徳島って民法が少なくて昔から海の向こう（大阪）の電波を拾ってるから、自分たちを近畿の仲間だと思っている節があるんですよね。

関西電気保安協会の「とんかつとんかつ KYK」が何か分からないって言ったら徳島の友人からURLが送られてくるなどした。

---

とんかつKYK - YouTube
https://youtu.be/TgqXRXZD3cY?si=E7zJGDojKmtPrkW2

ですね

なんだろう。株？

そうなんだ

AI課金を最小限に抑える施策をする必要がある

@ichigaya2016 登山してきた。おつありー

@osapon @hadsn 人から回収するもの、使われ方が保証されないのでそのまま再利用される瓶がレアな方だと思う。ペットボトルでさえ溶かして再成形しないと店頭に並べられないし。

ちかれた

ねむいね。

@ef58 作る…？

ローカルLLM用マシンを増やしてしまった。

いや増やすつもりはないのに買ってしまった。