个人体验，qwen3 32b 和 30b的moe 的4比特量化模型5090 可以没问题，然后70b 应该不行。然后感觉瓶颈不在卡上，是显存。但是pro 6000 实在太贵了，8000 都可以买3张5090 了 
。现在也有ktransformers 可以利用内存，在4090 上跑671b的模型，但是得有大内存。然后如果不训练的话，amd ai395+128gb xjb 更高？
1 个赞
没得比，吊打所有。不是一个时代的东西。
目前最便宜的方案应该是买512g unified memory的m3 ultra。
https://www.bhphotovideo.com/c/product/1884035-REG/apple_msm4ul25_mac_studio_with_m3.html
Max Weinbach 提及， AI 开发者几乎清一色都用 Mac，甚至可以夸张地说——所有顶级实验室、顶级开发者的工作环境中，Mac 早已成为标配。
MLX 是目前最好的框架