🔗 https://arxiv.org/abs/2404.02305

自我训练的语言模型崩溃

本文讨论了自我训练语言模型的局限性，特别关注了 GPT-2 模型在应用扩展自我训练时性能下降的问题。

用户评论深入探讨了自我训练的挑战、学习中的反馈需求以及通过对特定提示进行选择性训练来提高性能的潜力。

一些用户强调了学习中真实世界输入的重要性，而其他人则讨论了自我训练对模型性能的影响以及训练中平衡的必要性。

总体而言，讨论探索了自我训练语言模型的复杂性，以及在学习过程中反馈和外部验证的重要性。

💬 https://news.ycombinator.com/item?id=40068170
@朱恒玉