这周学到一些超级有趣的东西如果你训练GPT-2进行乘法运算，你甚至无法训练它去乘四位数（30%的准确率）但如果你使用一个非常聪明（且有点复杂）的训练方案，GPT-2能够泛化到20位数的乘法（100%的准确率）事实证明，GPT-2无法乘四位数的原因并不是层数不够、隐藏维度太小或是训练数据不好。这些都没问题。问题出在学习算法本身更好的模型是通过在常规训练中的一个巧妙技巧构建的 —— 首先使用链式思维，然后在模型学会用越来越少的步骤解决问题后逐步移除标记这告诉我，我们的标准模型训练方法是次优的（监督学习 + SGD + Adam）这些实验来自这篇论文：《From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step》。这篇论文才几个月虽然隐式链式思维非常酷，但它的见解更具普遍性：这是我们当前优化方式不是最佳的一个证明显然有一种更好的学习算法在那里