您的变压器在秘密地保持线性

这篇论文揭示了变压器解码器独有的一种新型线性特性，包括GPT、LLaMA、OPT、BLOOM等模型。我们分析了顺序层之间的嵌入转换，发现了近乎完美的线性关系。