在我的Mac上使用@咬它丫的运行WizardLM 8x22b Q4_K_M（对新的Mixtral 8x22b模型的细微调整）。看起来这是最高配额，仍然适合128GB统一内存。

机器：Mac M3 Max 128GB
RAM使用：80.5GB
速度：约7.5个标记/秒

质量很棒。零审查。它会写下你要求的任何内容。

我喜欢！

新的开源LLMs之王。