「数据多样性对于稳健指令微调很重要」

地址：https://arxiv.org/abs/2311.14736v1

指令调优已成为对齐大型语言模型的关键步骤。指令调优的一个核心挑战是数据集选择，因为指令调优数据集的组成会对下游性能产生重大影响。特别是，研究人员猜测数据集的多样性和质量是下游性能的重要指标。然而，如何自动选择高质量和多样性数据，以及质量和多样性如何影响指令跟踪能力，尚不清楚。为了解决这些问题，我们提出了一种新算法，Quality-Diversity Instruction Tuning (QDIT)。QDIT提供了一种控制数据集多样性和质量的原则性算法，使我们能够对多样性和质量对指令调优性能的影响进行深入研究。从这项研究中，我们得出了两个关键见解：(1)数据集多样性和质量之间存在自然的权衡；(2)增加数据集多样性显著改善了最坏情况下的指令跟踪性能，从而提高了鲁棒性。我们在几个大规模指令调优数据集上验证了QDIT的性能，在保持或提高平均性能的同时，可以将最坏情况下的性能提升18%与以质量为驱动的基线相比。