MBP 64GB で Qwen Flash Next を動かすのがよい。70wくらい。
重みは 2, 2.6, 2.75, 3bpw の中からお選びいただけます。
---
GitHub - beamivalice/sushi: Sushi engine runs very high quality quant model in Apple Silicon, using both STQ and EXL3 format with special tuning technology to achieve frontier sub 4 bits compression. · GitHub -
https://github.com/beamivalice/sushi
125Bのくせに単文なら5~6秒で応答するし、巨大コンテキスト突っ込んでもOOMクラッシュせずに3分くらいで応答するからホンマ凄い。なのに日本人でこれ取り上げてる人あんまり見ない。