从RAG到丰富参数更仔细地研究了LLMs在处理事实查询时如何利用外部知识而不是参数信息。发现，在RAG管道中，LLMs采取了一种“捷径”，显示出强烈的倾向，仅利用上下文信息来回答问题，而对其参数记忆的依赖程度极低。引用：“通过注意力贡献、注意力失效和因果追踪，我们特别观察到，当上下文通过RAG增强时，对主题标记及与之相关的MLP激活的依赖减少。”https://arxiv.org/abs/2406.12824
