最新的 MLX LM 更新带来了一些好东西：

pip install -U mlx-lm

- 为 Llama 3.1、Phi-3、DeepSeek 提供更快的长上下文处理
- Phi 3.5 MOE 致敬 @huhucs2018
- 使用 mx.compile 提供更快的采样

4-bit Phi 3.5 MOE（6.6B 活跃/41B）在 M2 Ultra 上的生成速度约为 80 词/秒