MBP 64GB で Qwen Flash Next を動かすのがよい。70wくらい。
重みは 2, 2.6, 2.75, 3bpw の中からお選びいただけます。
---
GitHub - beamivalice/sushi: Sushi engine runs very high quality quant model in Apple Silicon, using both STQ and EXL3 format with special tuning technology to achieve frontier sub 4 bits compression. · GitHub -
https://github.com/beamivalice/sushi