「稀疏化再分类：从大语言模型的内部神经元到高效文本分类器」
地址：https://arxiv.org/abs/2311.15983v1
大语言模型（LLMs）已经在许多任务中取得了革命性的突破，其中包括文本分类。然而，现有的将预训练的LLMs应用于文本分类的方法主要依赖于仅使用隐藏状态的最后一层的单个标记输出。结果，它们在效率、任务特定性和可解释性方面存在限制。在我们的工作中，我们提出了一种方法，通过在所有激活和隐藏状态上使用多个汇集策略，利用所有内部表示。我们的新颖的轻量级策略Sparsify-then-Classify（STC）首先逐层稀疏化任务特定特征，然后在各层之间进行聚合以进行文本分类。STC可以作为一个无缝的即插即用模块应用于现有的LLMs之上。我们在全面的模型和数据集上进行的实验表明，STC不仅持续改善了预训练和微调模型的分类性能，而且在培训和推断方面更高效，并且更具内在可解释性。