什么是最佳的用于大型语言模型的权重量化算法,能够在保持推理任务性能的前提下最大程度地实现效果?我最近一直在摆弄AutoAWQ,发现4位量化会导致准确率明显下降,即使使用了领域内数据集进行校准🤔也许@未眠叹流年、 或 @李祥JasonLee 知道答案?