MIT 博士生发现新方法“LASER”

MIT 博士生发现，只需对 Transformer 的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。效果主要体现在文本理解任务上，最高可达 30%。除了文本理解，它也适用于强化学习。这个操作只需在模型训练完成之后进行，不需要额外的参数和数据。

该方法全称“Layer-Selective Rank Reduction”，简称“LASER”。这是一种选择性地去除 LLM 权重矩阵高阶组件（components）的干预措施，操作就在 Transformer 模型的特定权重矩阵和层中进行。研究发现，即使完全去除 90% 以上，模型性能一般也不会下降。