新论文 - “使用正确的嵌入，Transformers可以进行算术运算”表明，Transformers在算术任务上的表现比你想象的要好得多！简要背景：自从2020年5月发布的GPT-3论文（https://arxiv.org/abs/2005.14165）显示，即使GPT-3在1万个V100s上训练并拥有1750亿参数，仍然在3位数加法上挣扎以来，人们一直在讨论这是这些系统的某种基本限制，我们需要编码显式的世界模型或其他（插入你最喜欢的中智段子）。从那时起，我们了解到很多实际上与分词器有关（例如，你，人类，看到的是23200 + 17239，但GPT-3看到的是“232”，“00”，“+”，“1”，“72”，“39” - 即不对应单个数字的部分），而不是与LLMs的基本限制及其训练方式有关。确保分词器将数字分解成单个数字成分是重要的。这篇论文进一步表明，通过聪明地使用嵌入（他们为每个数字添加一个嵌入，编码其相对于数字开头的位置，基本上编码了位置数字系统）可以大大提高性能。他们展示了在单个GPU上仅用1天时间训练20位数就能达到SOTA结果！100位数加法的准确率为99%！他们进一步表明，这对其他多步推理问题（排序，乘法等）也有好处。活在这种时代真是好啊。进步每天都在发生，只是公众认为它是以量变的形式发生的（“AlexNet时刻”，“ChatGPT时刻”等）。注意：没有深入阅读论文，不完全确定这里面没有潜在问题，会一直关注的。论文：https://arxiv.org/abs/2405.17399