轻松的评论，适合那些失眠的人...⚡️🚀迈克的每日文章 2024年09月03日: ⚡️🚀更小、更弱、但更好：通过计算优化采样训练LLM推理器别忘了订阅迈克的评论频道：https://t.me/MathyAIwithMike1⃣改进语言模型推理能力的一种相当令人惊讶的方法是自我改进。基本上，对于一个问答数据集，我们要求语言模型回答问题并提供解释。然后过滤掉没有收敛到期望答案的推理链。经过过滤后，对过滤后的数据集进行微调。相当令人惊讶的是（至少对我来说），这一过程确实提升了语言模型的推理能力。2⃣如果我们有一个更强大的模型，我们可以通过它来构建这个数据集，并以类似的方式对生成的数据进行微调。3⃣然而，这篇文章提出了一个相当有趣的问题：从性能的角度来看，是使用一个大而强的模型生成相对较少的数据好，还是使用一个小而弱的模型生成相对较多的数据好。毕竟，用强大的模型生成数据是更昂贵的（就所需的总FLOPS数量而言），但另一方面，它生成的数据质量更高。4⃣作者建议进行“橘子对橘子”的比较——也就是说，在相同的FLOPS预算下，比较强大模型和弱小模型生成的数据，看哪个能带来更好的微调模型性能。文章中有一些相当有趣的结果....https://arxiv.org/pdf/2408.16737