我们还展示了如何使用 SFR-Judge 改进原生指令微调模型。我们使用了我们的 70B 模型，不仅对 Llama-3.1-8B 的模型响应进行评分，还生成了改进的响应。这些评估和改进的响应被用于创建 DPO 训练数据，以继续微调 Llama-3.1-8B。使用 SFR-Judge-70B 创建 DPO 训练样本，在 AlpacaEval-2 上与其他基于分类器的方法相比，带来了下游性能的提升，其中更大的性能提升来自于使用我们的评估模型生成的改进响应。