热门

最新

红包

立Flag

投票

同城

我的

发布
m0_46163918
程序员的店小二
2 年前
truem0_46163918

「Apple MLX LLaMA2性能实测」
llama2-7b-chat模型,对比llama.cpp的速度
注意,虽然llama.cpp要快一些,但是MLX使用的是非量化模型,而llama.cpp使用的是Q5量化模型。
所以MLX实际性能还是非常棒的(@nash_su)

https:// github.com/ml-explore/mlx

AI资讯
CSDN App 扫码分享
分享
1
3
打赏
  • 复制链接
  • 举报
下一条:
「狗狗展示什么是强化学习」
立即登录