微调LLaMA-2-Chat模型可能会降低其原有能力(https://arxiv.org/abs/2401.03129)。但这里有一个解决方法:Chat Vector(https://arxiv.org/abs/2310.04799)可以保留聊天模型的原始能力(它也适用于Mistral)。推荐给所有想要微调他们的大型语言模型(LLMs)的人。