热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
评论
28
- 复制链接
- 举报
下一条：
Baku先生再次发布了一篇超赞的文章。这次他使用Japanese-Starling-ChatV-7B深入探讨了量子化与性能之间的关系。首先，在4bit及以下的量子化中，与常规的量子化方法相比，iMat量子化显著地防止了性能下降，这一点在ElyzaTask100基准测试中也得到了验证！此外，创建iMatrix应该使用哪种文本？通常情况下会使用wiki_train，但也有说法认为使用groups_merged会更好。试验结果出人意料，使用groups_merged进行4bit量子化的性能竟然超过了8bit量子化的性能！而且，与英语相比，日语似乎更容易受到量子化的负面影响！Baku先生进一步提出，“或许使用日语文本来创建iMatrix会更好？”经过各种尝试和错误后，他发现使用C4来源的英语和日语文本各半是最佳选择！与使用wiki_train相比，基准得分显著提高了大约0.2分。太厉害了llama.cpp：iMatrix量子化对日语性能有何影响？ - 本地LLM自由笔记 https://sc-bakushu.hatenablog.com/entry/2024/04/20/050213
