「メモリ64GB」が20万円で手に入る破壊力
ローカルLLMで実用的な賢さを持つモデル(Llama 3 8BのQ8量子化や、さらに巨大な30B〜70Bクラスの軽量モデル)を快適に動かすには、最低でも32GB、できれば64GB以上のVRAM(Macではユニファイドメモリ)が必要です。
* Windows(NVIDIA)でVRAM 48GB環境を作ろうとした場合:
RTX 4090(24GB/約30万円)を2枚挿しするか、業務用GPU(RTX 6000 Ada等)を買う必要があり、グラボだけで数十万〜100万円超になります。さらに爆熱・大爆音・超消費電力のデスクトップPCを組まなければなりません。
* 最新のMacで64GB環境を作ろうとした場合:
M3 MaxやM4 Maxでメモリを盛る必要があり、Appleストアの新品価格ベースでは50万〜60万円コースになります。
これが、「すべてが揃った完成品の16インチMacBook Pro(しかもディスプレイもスピーカーも極上)」として、20万円ポッキリで手に入ってしまうわけです。コストパフォーマンスの次元が違います。
以上。Gemini がまとめました。
値段の割に速い。
https://x.com/kir1ca/status/1892541263993274618?s=20