热门
最新
红包
立Flag
投票
同城
我的
发布
2024/4/27 关注AI进展
最新信息的详细内容请关注（ @jimwalk2014 ）！
· 保持图像中面部一致性的 ConsistentID
· 什么是机器人的可爱？ Loona
· 仅通过相机捕捉吉他演奏
· 来自中国的长时间、高一致性视频模型 Vidu
· Pika的风格转换功能发布
· 远程操作软件 Open-TeleVision
· 更新从动作生成视频的模型
· Stability AI API增加了两个新功能
· LLM的成本效益对比表
<Catch up on AI>
https://note.com/taziku/n/n6d15ac5dd23a
CSDN App 扫码分享
评论
12
- 复制链接
- 举报
下一条：
我之前也在博客中验证过，但是Reddit上有人好奇模型的量子化在多大程度上会影响性能，因此他们创建了一个MPA基准测试来进行验证。那么这个基准测试是什么呢？就是进行五位数的加法运算。结果出人意料。在对Llama3-8B模型进行测试时，F16（无量子化）的得分是94分，而当切换到Q8_0（8位量子化）时，得分竟然下降到了74分！！之前大家都认为8位量子化不会对性能造成任何负面影响，但现在看来，即使是8位量子化，在处理细腻的任务时也可能会明显降低性能。https://www.reddit.com/r/LocalLLaMA/comments/1cdxjax/i_created_a_new_benchmark_to_specifically_test/
