「更像人脑的新型注意力机制，Meta让大模型自动屏蔽任务无关信息，准确率提高27%」

https://news.miracleplus.com/share_link/12009

关于大模型注意力机制，Meta又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练，只靠Prompt就能让大模型的准确率上升27%。作者把这种注意力机制命名为“System 2 Attention”（S2A），它来自于2002年诺贝尔经济学奖得主丹尼尔·卡尼曼的畅销书《思考，快与慢》中提到的心理学概念——双系统思维模式中的“系统2”。所谓系统2是指复杂有意识的推理，与之相对的是系统1，即简单无意识的直觉。S2A通过提示词对Transformer中的注意力机制进行了“调节”，使模型整体上的思考方式更接近系统2。