「YUAN 2.0: 具有基于本地过滤注意力的大语言模型」

地址：https://arxiv.org/abs/2311.15786v1

本文介绍了基于定位过滤的注意力（Localized Filtering-based Attention，LFA）方法，将自然语言的局部依赖知识纳入注意力机制中。基于LFA，我们开发和发布了Yuan 2.0的大语言模型，参数范围从21亿到1026亿。提出了一种数据过滤和生成方法，用于构建高质量的预训练和微调数据集。我们提出了一种分布式训练方法，包括非均匀流水线并行、数据并行和优化器并行，极大地减少了节点内通信带宽需求，并在大规模分布式训练中取得了良好的性能。与现有模型相比，Yuan 2.0模型在代码生成、数学问题求解和聊天方面显示出令人印象深刻的能力。包括模型权重和源代码的最新版本Yuan 2.0可以在Github上获取。

大语言模型（LLMs）已经在许多任务中取得了革命性的突破，其中包括文本分类。然而，现有的将预训练的LLMs应用于文本分类的方法主要依赖于仅使用隐藏状态的最后一层的单个标记输出。结果，它们在效率、任务特定性和可解释性方面存在限制。在我们的工作中，我们提出了一种方法，通过在所有激活和隐藏状态上使用多个汇集策略，利用所有内部表示。我们的新颖的轻量级策略Sparsify-then-Classify（STC）首先逐层稀疏化任务特定特征，然后在各层之间进行聚合以进行文本分类。STC可以作为一个无缝的即插即用模块应用于现有的LLMs之上。我们在全面的模型和数据集上进行的实验表明，STC不仅持续改善了预训练和微调模型的分类性能，而且在培训和推断方面更高效，并且更具内在可解释性。