您的变压器在秘密地保持线性这篇论文揭示了变压器解码器独有的一种新型线性特性，包括GPT、LLaMA、OPT、BLOOM等模型。我们分析了顺序层之间的嵌入转换，发现了近乎完美的线性关系。