我们通过使得稀疏微调(SFT)在LLMs(如Llama 2)上既参数又内存高效化,实现了性能的提升!SFT指令调整性能通常优于具有可比较速度和内存负载的LoRA。论文链接:https://arxiv.org/abs/2401.16405代码链接:https://github.com/AlanAnsell/peft (SFT PEFT) https://github.com/ducdauge/sft-llm (实验)@不思蜀小众旅行 @曾根安娜 @闫勇臣 @Aelius Censorius