推文原文：Llama 3.2 1B 在 M2 Ultra 上以 4 位生成，每秒生成约 350 个令牌 (!)。这很有趣。

命令：mlx_lm.generate --model mlx-community/Llama-3.2-1B-Instruct-4bit --prompt "Write a story about Einstein" --temp 0.0 --max-tokens 512

未加速：