语言模型算法进步研究我们研究了自深度学习问世以来，预训练语言模型的算法进步速度。使用一个包含2012年至2023年间Wikitext和Penn Treebank上进行的超过200次语言模型评估的数据集，我们发现达到一个设定的性能阈值所需的计算量大约每8个月减半一次，95%的置信区间大约在5到14个月之间，这远远快于根据摩尔定律所预测的硬件增益速度。我们估计了增强的规模化法则，这使我们能够量化算法进步并确定模型规模扩大与训练算法创新的相对贡献。尽管算法进步的步伐迅猛，并且出现了新的体系结构，如变换器（transformer），我们的分析揭示，在此期间，计算增加对整体性能改进的贡献更大。尽管受到噪声基准数据的限制，我们的分析量化了语言建模的快速进步，并揭示了计算和算法的相对贡献。
